LLMs Judge Themselves: A Game-Theoretic Framework for Human-Aligned Evaluation

1. O Problema

A avaliação de Grandes Modelos de Linguagem (LLMs) enfrenta desafios críticos à medida que as capacidades dos modelos evoluem:

• Limitações das Métricas Atuais: Os métodos convencionais dependem de tarefas com formato fixo e respostas de referência (ground truth), o que falha em capturar a natureza subjetiva, aberta e matizada do comportamento moderno dos LLMs.
• Viés de Auto-Preferência: Quando os LLMs atuam como juízes (LLM-as-a-Judge), eles tendem a favorecer suas próprias saídas, distorcendo a avaliação e comprometendo a objetividade.
• Desalinhamento com o Juízo Humano: As avaliações baseadas em modelos únicos frequentemente produzem resultados que não refletem as preferências comparativas humanas, que são complexas e agregam múltiplas perspectivas.
• Falta de Consenso: Não existe um mecanismo robusto para agregar julgamentos parciais de múltiplos agentes (modelos) em um ranking global coerente, similar ao processo de consenso humano.

2. Metodologia

Os autores propõem um framework de avaliação descentralizado baseado em teoria dos jogos, onde os LLMs atuam simultaneamente como avaliadores e avaliados (autoavaliação e avaliação por pares).

Componentes Principais:

1. Protocolo de Avaliação por Pares (Peer Evaluation):

   • Um conjunto de $M$ modelos gera respostas para um conjunto de $N$ perguntas.
   • Para cada pergunta, cada modelo recebe um conjunto anônimo e aleatoriamente ordenado de todas as respostas (incluindo a sua própria).
   • Cada modelo gera um ranking completo ($\pi$) sobre as respostas dos outros modelos, baseando-se na qualidade percebida.

2. Agregação Teórico-Game (Rank Aggregation):

   • Os rankings individuais são tratados como preferências de agentes em um sistema de votação.
   • O objetivo é encontrar um ranking de consenso que minimize o conflito entre as preferências individuais.
   • O estudo compara vários algoritmos de agregação clássicos da teoria da escolha social:
     • Contagem de Borda (Borda Count)
     • Método de Copeland
     • Votação Instantânea (IRV)
     • Método de Kemeny-Young: Identificado como o método mais robusto, busca o ranking que minimiza a distância total de Kendall-Tau em relação aos rankings de entrada (minimizando a discordância de pares).

3. Validação com Humanos:

   • Os rankings gerados pelos modelos são comparados com rankings de preferência humana derivados do Chatbot Arena (uma plataforma de crowdsourcing onde humanos votam em pares de respostas).
   • Métricas de alinhamento: Coeficiente de correlação de Pearson e Coeficiente de correlação de Kendall ($\tau$).

4. Análise de Viés e Escalabilidade:

   • Viés de Auto-Preferência: Compara-se protocolos onde o modelo avalia a si mesmo (SR) versus protocolos onde apenas pares avaliam (PR), e como a agregação (SIA vs. SFA) mitiga esse viés.
   • Escalabilidade (Expander Graphs): Testa-se a eficiência reduzindo o número de comparações necessárias (de $O(M^2)$ para $O(KM)$) usando grafos expansores, mantendo a conectividade global com menos avaliações por modelo.

3. Contribuições Principais

• Integração Inovadora: É o primeiro trabalho a integrar simultaneamente avaliação mútua (peer review), agregação baseada em teoria dos jogos e validação fundamentada em humanos para avaliar LLMs.
• Mitigação de Viés: Demonstra que a agregação de rankings (especialmente via Kemeny-Young) reduz drasticamente o impacto do viés de auto-preferência, produzindo rankings mais justos e estáveis do que a avaliação de um único modelo.
• Superioridade sobre Métricas de Precisão: Mostra que métodos de agregação de preferências superam rankings baseados apenas em precisão (accuracy) em tarefas subjetivas, alinhando-se melhor às preferências humanas.
• Escalabilidade Eficiente: Prova que o framework mantém alta fidelidade com o julgamento humano mesmo em cenários de comparações esparsas (usando grafos expansores), permitindo a avaliação de grandes pools de modelos com custo computacional reduzido.

4. Resultados Chave

• Alinhamento Superior: Métodos de agregação (especialmente Kemeny-Young) alcançam correlações significativamente mais altas e estáveis com o ranking do Chatbot Arena em comparação com avaliações de modelos individuais.
  • Exemplo: No conjunto de dados GenOverall, o método Kemeny-Young atingiu uma correlação mediana de Pearson de 0.571, superando o melhor modelo individual (0.343).
• Robustez ao Viés de Auto-Preferência:
  • Rankings baseados apenas na autoavaliação (SR) mostram alinhamento fraco e instável com humanos.
  • A agregação (SIA - Self-Inclusive Aggregation) produz rankings que permanecem bem alinhados com humanos mesmo quando as autoavaliações enviesadas são incluídas, demonstrando que o mecanismo de consenso "dilui" o viés individual.
• Desempenho por Domínio:
  • Tarefas Objetivas (Matemática, Código): O alinhamento é extremamente forte (ex: GSM8K atingiu 0.941 de correlação Pearson macro).
  • Tarefas Subjetivas (Escrita Criativa): O alinhamento é mais variável em nível micro (por pergunta), mas ainda captura um consenso humano significativo em nível macro (conjunto de dados), com correlação de 0.914.
• Escalabilidade: A redução do número de comparações (de avaliar todos contra todos para avaliar apenas 3 contra 3) não degradou significativamente a qualidade do ranking final, validando a viabilidade do método para grandes ecossistemas de modelos.

5. Significado e Conclusão

Este trabalho redefine a avaliação de LLMs, propondo que a avaliação de capacidades não deve ser vista apenas como uma comparação de pontuações absolutas, mas como um problema estruturado de agregação de preferências e tomada de decisão.

• Implicações Práticas: Sugere que futuros protocolos de avaliação devem priorizar mecanismos de agregação orientados a consenso e conscientes de viés, em vez de depender de um único "juiz" de modelo ou de benchmarks estáticos saturados.
• Contribuição Teórica: Estabelece uma ponte sólida entre a teoria dos jogos (especificamente a teoria da escolha social) e a avaliação prática de IA, oferecendo um método escalável, justo e alinhado com humanos para classificar modelos em um cenário competitivo e descentralizado.
• Futuro: O framework oferece uma base para avaliações contínuas e dinâmicas de modelos, essenciais para o desenvolvimento seguro e confiável de sistemas de IA generativa.