Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation
Este artigo identifica a "interferência de rubrica" como um problema de consistência na avaliação de LLMs com múltiplas rubricas e propõe o Self-Anchored Rubric Alignment (SARA), um método de autodestilação on-policy que utiliza julgamentos de rubrica única como âncoras estáveis para melhorar significativamente a consistência de avaliação entre conjuntos de dados e famílias de modelos sem supervisão externa.
Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No cenário moderno da inteligência artificial, os grandes modelos de linguagem evoluíram de simples geradores de texto para avaliadores sofisticados. Eles são cada vez mais incumbidos de avaliar o trabalho de outras máquinas, atuando como juízes automatizados para tudo, desde conselhos médicos até o raciocínio científico. Para tornar esses julgamentos justos e detalhados, pesquisadores se afastaram de atribuir uma única pontuação geral. Em vez disso, utilizam listas de verificação, conhecidas como rubricas, que decompõem uma resposta em itens específicos e verificáveis, como segurança, precisão ou completude. O objetivo é fazer com que o modelo verifique cada item da lista de forma independente, garantindo que uma resposta seja segura mesmo que não seja perfeitamente precisa, ou precisa mesmo que não seja perfeitamente segura. Essa abordagem promete um nível de clareza diagnóstica que um número único não pode fornecer, permitindo que os desenvolvedores vejam exatamente onde um sistema tem sucesso ou falha.
No entanto, um novo estudo revela uma falha sutil, mas significativa, na forma como esses juízes automatizados operam quando confrontados com múltiplos itens de uma lista de uma só vez. Embora os modelos sejam excelentes em avaliar um único item isoladamente, seu julgamento muda quando lhes é pedido para avaliar vários itens simultaneamente em uma única passagem. Os pesquisadores descobriram que a presença de outros itens na lista de verificação interfere na avaliação de qualquer item individual. Um veredito sobre segurança pode mudar simplesmente porque uma questão de precisão foi adicionada à lista, ou porque a ordem das perguntas foi reorganizada. Esse fenômeno, que os autores chamam de interferência de rubrica, significa que a mesma resposta poderia receber notas diferentes dependendo do contexto das outras perguntas que estão sendo feitas, minando a confiabilidade do sistema de avaliação automatizada.
Para resolver isso, uma equipe de pesquisadores da Universidade de Pequim e da Tencent desenvolveu um método para treinar os modelos a ignorar essas distrações. Eles descobriram que, embora um modelo tenha dificuldade em julgar vários itens juntos, ele permanece notavelmente estável e consistente quando julga cada item sozinho. Eles usaram essa estabilidade como guia. Os pesquisadores criaram um processo de treinamento onde o modelo gera uma avaliação completa de todos os itens de uma vez, mas depois compara seu raciocínio para cada item contra uma versão "professor" de si mesmo que havia avaliado esse mesmo item isoladamente. Ao alinhar o raciocínio conjunto do modelo com seus próprios julgamentos isolados e estáveis, eles ensinaram o modelo a focar nos critérios específicos de cada item sem ser influenciado pela presença dos outros. Essa técnica, que chamam de alinhamento de rubrica autoancorado, permite que o modelo produza um relatório unificado que é tão consistente quanto se tivesse verificado cada item separadamente.
Os resultados dessa abordagem foram testados em três conjuntos de dados diferentes, abrangendo conversas médicas, seguimento de instruções gerais e questões científicas, utilizando várias famílias de modelos diferentes. Os achados mostraram uma melhoria marcante na consistência. Por exemplo, em um conjunto de dados envolvendo questões científicas, a porcentagem de amostras onde o modelo deu exatamente o mesmo veredito, quer estivesse verificando os itens juntos ou separadamente, quase triplicou após o treinamento. Os modelos tornaram-se muito menos sensíveis ao número de itens na lista de verificação; onde os modelos não treinados mudavam de ideia conforme a lista crescia, os modelos treinados mantinham um padrão constante. Eles também se tornaram mais robustos contra a ordem das perguntas, não mudando mais seus vereditos simplesmente porque a lista de verificação foi embaralhada.
Crucialmente, os pesquisadores confirmaram que esse aumento na consistência não veio à custa da precisão. Os modelos treinados não se tornaram apenas robóticos em sua concordância; eles permaneceram tão bons quanto os modelos originais em determinar se uma resposta era realmente útil ou correta. Na verdade, ao remover a confusão causada pela interferência, os modelos às vezes performaram ainda melhor em relação a padrões externos. O estudo também demonstrou que a habilidade aprendida foi geral. Um modelo treinado em um tipo de conjunto de dados pôde aplicar essa nova capacidade a um conjunto de dados completamente diferente sem qualquer treinamento adicional, sugerindo que ele aprendeu uma forma fundamental de separar seu raciocínio, em vez de apenas memorizar respostas específicas.
O mecanismo por trás dessa melhoria foi rastreado através dos padrões de atenção interna do modelo. Quando o modelo não treinado avaliava múltiplos itens, seu foco vazava de um item para outro, fazendo com que a análise de um ponto fosse influenciada pelo raciocínio de um ponto diferente. Após o treinamento, esse vazamento foi significativamente reduzido. O modelo aprendeu a direcionar sua atenção quase exclusivamente ao item específico que estava analisando no momento, bloqueando efetivamente o ruído dos outros itens na lista. Essa mudança permitiu que o modelo mantivesse uma linha de raciocínio clara e independente para cada critério, mesmo enquanto processava todos eles juntos.
As implicações deste trabalho estendem-se à forma como os sistemas de inteligência artificial são avaliados e aprimorados. À medida que esses modelos são cada vez mais usados para fornecer feedback para o treinamento de outros sistemas, a confiabilidade desse feedback é primordial. Se o juiz é inconsistente, o sinal de treinamento torna-se ruidoso e não confiável. Ao demonstrar que a interferência de rubrica é um problema real e sistemático, e ao fornecer um método para corrigi-lo sem a necessidade de anotadores humanos para fornecer as respostas corretas, o estudo oferece um caminho prático a seguir. Ele sugere que a avaliação automatizada pode ser tornada mais robusta e confiável, garantindo que o ciclo de feedback que impulsiona a próxima geração de inteligência artificial seja construído sobre uma base de julgamento estável e consistente.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.