Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks

1. Declaração do Problema

À medida que a Geração de Linguagem Natural (NLG) se torna ubíqua, a avaliação de saídas de modelos deslocou-se de métricas tradicionais (por exemplo, BLEU, ROUGE) para frameworks de LLM como Juiz, onde Modelos de Linguagem de Grande Escala (LLMs) atribuem pontuações ou classificações a textos gerados. Embora esses frameworks ofereçam escalabilidade e melhor alinhamento com preferências humanas do que métricas de n-gramas, eles sofrem de uma falha crítica, muitas vezes negligenciada: baixa confiabilidade intra-avaliador (autoconfiabilidade).

Os autores identificam que juízes LLM exibem significativa auto-inconsistência. Quando o mesmo LLM é solicitado com entradas idênticas, hiperparâmetros e configurações em múltiplas execuções, ele frequentemente produz classificações diferentes. Essa variância torna julgamentos individuais potencialmente arbitrários e dificulta a determinação da verdadeira qualidade das capacidades de avaliação do LLM. Além disso, estudos existentes frequentemente dependem de métricas como correlação ou precisão para comparar LLMs com humanos, o que falha em contabilizar o acordo por acaso, potencialmente inflando a confiabilidade percebida.

2. Metodologia

Os autores conduziram um estudo empírico abrangente em três benchmarks distintos de NLG para quantificar a autoconfiabilidade e seu impacto no desempenho de avaliação.

Conjuntos de Dados e Tarefas

1. SummaC: Uma tarefa de classificação binária (Consistente vs. Inconsistente) para consistência factual em sumarização.
2. SummEval: Uma avaliação de sumarização com múltiplas métricas usando uma escala Likert de 1 a 5 em quatro dimensões: Coerência, Consistência, Fluência e Relevância.
3. MT-Bench: Uma tarefa de classificação de conversas multi-turno onde um juiz seleciona a melhor resposta entre dois modelos (Modelo A, Modelo B ou Empate).

Configuração Experimental

• Modelos: Três LLMs foram usados como juízes: Llama-3.1-70B-Instruct, DeepSeek-R1-Distill-Qwen e Qwen3-32B.
• Procedimento: Cada juiz foi executado três vezes no mesmo conjunto de dados com prompts e configurações idênticos para medir a variância intra-avaliador.
• Métricas de Acordo:
  • Alfa de Krippendorff ($\alpha$): A métrica principal usada para medir o acordo. Foi escolhida em vez de precisão ou correlação porque corrige o acordo por acaso e lida com dados ausentes, números variados de avaliadores e diferentes tipos de dados (nominal, ordinal, intervalar).
  • Funções de Distância: Distância nominal para tarefas binárias (SummaC); distância ordinal para escalas Likert e classificações (SummEval, MT-Bench).
  • Precisão Balanceada: Usada para SummaC para contabilizar o desequilíbrio de classes.
• Comparações: O estudo comparou:
  • Autoconfiabilidade: Acordo de um LLM consigo mesmo entre execuções.
  • Confiabilidade Inter-Avaliador: Acordo entre LLMs e juízes humanos (Especialistas e Trabalhadores de Plataforma/Turkers).
  • Impacto no Desempenho: O efeito de "Votação Majoritária" (agregando múltiplas execuções) versus "Sem Amostragem" (definindo temperatura para 0) no acordo com padrões-ouro humanos.

3. Principais Contribuições

1. Quantificação da Auto-Inconsistência: O artigo fornece a primeira quantificação sistemática da baixa confiabilidade intra-avaliador em juízes LLM em diversas tarefas (sumarização, verificação de fatos e diálogo).
2. A Compensação Variância-Desempenho: Os autores demonstram uma descoberta contra-intuitiva: Desativar a amostragem (definindo temperatura para 0) para forçar saídas determinísticas reduz o acordo do LLM com julgamentos humanos. Isso sugere que a estocasticidade inerente dos LLMs, embora cause auto-inconsistência, pode realmente ajudar a explorar o espaço de soluções para encontrar respostas mais próximas do consenso humano.
3. Crítica às Métricas de Avaliação: O estudo destaca que métricas padrão como Precisão e Correlação superestimam o acordo entre LLMs e humanos porque não corrigem o acaso. O Alfa de Krippendorff revela níveis de acordo significativamente menores e mais realistas.
4. Variabilidade Específica da Tarefa: A inconsistência não é uniforme; varia significativamente por tarefa (por exemplo, menor no MT-Bench do que no SummaC) e por métrica (por exemplo, "Fluência" é notoriamente difícil para LLMs avaliarem consistentemente).

4. Principais Resultados

Autoconfiabilidade (Intra-Avaliador)

• SummaC: O $\alpha$ de Krippendorff variou de 0,32 (Llama 3.1) a 0,79 (Qwen 3). Mesmo o melhor modelo (Qwen 3) mal atingiu o limiar de 0,8 para acordo "bom".
• SummEval: A autoconfiabilidade variou por métrica. Enquanto Coerência e Consistência mostraram confiabilidade moderada, Fluência teve confiabilidade muito baixa em todos os modelos.
• MT-Bench: A autoconfiabilidade foi a mais baixa, com valores de $\alpha$ em torno de 0,26–0,56. O Qwen 3 concordou consigo mesmo em apenas 61,3% dos casos em três execuções.
• Conclusão: Juízes LLM são altamente voláteis, muitas vezes mais do que juízes humanos.

Acordo com Humanos

• Viés da Métrica: Usando Precisão, os LLMs pareciam concordar com humanos em taxas altas (por exemplo, 0,827 para humanos vs. humanos no MT-Bench). No entanto, usando o Alfa de Krippendorff, o acordo humano-humano caiu para 0,478, e o acordo LLM-humano caiu ainda mais (por exemplo, Qwen 3 vs. Humanos: 0,426).
• Especialista vs. Multidão: Especialistas humanos mostraram maior acordo entre si do que trabalhadores de plataforma. LLMs mostraram acordo modesto com especialistas, mas divergiram significativamente dos trabalhadores de plataforma, sugerindo que LLMs podem se alinhar melhor ao raciocínio de especialistas, mas ainda ficam aquém do "padrão-ouro".

Impacto das Estratégias de Amostragem

• Votação Majoritária: Agregando resultados de múltiplas execuções (por exemplo, tomando o voto majoritário de 3 execuções) melhorou o acordo com rótulos humanos em comparação com uma única execução.
• Modo Determinístico (Temp=0): Executar o modelo sem amostragem (para eliminar variância) degradou o desempenho. Por exemplo, no SummaC, a precisão balanceada do Qwen 3 caiu de 80,6% (Votação Majoritária) para 79,2% (Sem Amostragem). Isso indica que forçar o determinismo prejudica a capacidade do modelo de se alinhar às preferências humanas.

5. Significado e Recomendações

Significado:
O artigo desafia o paradigma atual de avaliação de LLM de "execução única". Revela que o "padrão-ouro" de LLM como Juiz é instável. Se um LLM não consegue concordar consigo mesmo, sua utilidade como avaliador confiável fica comprometida. As descobertas sugerem que a natureza estocástica dos LLMs não é apenas um defeito, mas um recurso que auxilia na obtenção de consenso alinhado aos humanos, e removê-lo é prejudicial.

Recomendações para Pesquisa Futura:

1. Relatar Autoconfiabilidade: Frameworks de avaliação devem relatar confiabilidade intra-avaliador (por exemplo, Alfa de Krippendorff) juntamente com o acordo inter-avaliador.
2. Usar Métricas Corrigidas pelo Acaso: Evitar Precisão/Correlação para avaliação de juízes; usar Alfa de Krippendorff ou Kappa de Cohen.
3. Agregação de Múltiplas Execuções: Em vez de uma única inferência, usar votação majoritária ou agregação de múltiplas execuções para estabilizar pontuações e melhorar o alinhamento com julgamentos humanos.
4. Não Forçar Determinismo: Evitar definir temperatura para zero para corrigir problemas de consistência, pois isso degrada o desempenho.
5. Medir Autoconfiabilidade Humana: Benchmarks futuros devem incluir anotações humanas repetidas para estabelecer um limite superior realista para a autoconfiabilidade de LLMs.

Em conclusão, os autores argumentam que, embora LLM como Juiz seja uma alternativa escalável à avaliação humana, sua implementação atual sofre de significativa "Roleta de Classificação" (aleatoriedade). Uma avaliação robusta requer reconhecer essa variância, usar métricas estatísticas apropriadas e aproveitar múltiplas execuções de inferência em vez de depender de julgamentos de tiro único.