Resumo Técnico: Verificação de Sanidade da Preferência Própria em Avaliadores de LLM

Declaração do Problema

A literatura recente sugere que Grandes Modelos de Linguagem (LLMs) atuando como avaliadores exibem "preferência própria" ou "narcisismo", favorecendo seus próprios outputs em detrimento dos de outros modelos. Esse comportamento é interpretado como uma forma de consciência situacional que poderia comprometer fluxos de trabalho automatizados de pós-treinamento, alinhamento e segurança. No entanto, achados existentes frequentemente falham em distinguir o viés de auto-preferência genuíno de confundimentos experimentais, especificamente a correlação entre o desempenho da tarefa do modelo e sua precisão de avaliação.

Existe uma lacuna crítica na distinção entre a Preferência Própria Legítima (LSP — Legitimate Self-Preference) — onde um juiz identifica corretamente seu próprio output superior — e a Preferência Própria Ilegítima (ILSP — Illegitimate Self-Preference) — onde um juiz favorece seu próprio output inferior. Estudos anteriores frequentemente confundiram esses conceitos, podendo ter confundido a avaliação precisa de um modelo sobre seu próprio desempenho superior com viés. Além disso, quando os modelos falham em uma tarefa, sua incerteza avaliativa pode levar a uma seleção aleatória, o que pode parecer artificialmente uma preferência própria se o modelo por acaso selecionar sua própria resposta incorreta. A incapacidade de separar a proficiência avaliativa geral do viés ativo de auto-preferência compromete a causalidade dos resultados estabelecidos anteriormente.

Metodologia

Os autores propõem uma Linha de Base de Qualidade do Avaliador para isolar o verdadeiro viés de preferência própria do ruído de avaliação impulsionado pela dificuldade da tarefa e pela incerteza.

1. Decomposição do Viés

O artigo define o viés de preferência própria não como uma métrica monolítica, mas como uma função de dois modos de falha distintos baseados em rótulos oráculos (verdade fundamental/ground truth):

• Preferência Própria Legítima (LSP): A probabilidade de um juiz favorecer seu próprio output quando este é objetivamente superior ($Y=1$).
• Preferência Própria Ilegítima (ILSP): A probabilidade de um juiz favorecer seu próprio output quando este é objetivamente inferior ($Y=0$).

Os autores argumentam que a ILSP é a única variável de interesse para medir o viés "prejudicial", pois a LSP e a precisão da tarefa naturalmente se contrabalancam.

2. A Linha de Base de Qualidade do Avaliador

Para medir a ILSP sem fatores de confusão, os autores introduzem um grupo de controle baseado em proxies.

• Correspondência de Resultados: Para cada exemplo onde um juiz $J$ produz uma resposta incorreta ou inferior, o sistema recupera respostas de outros modelos (proxies $K$) que também produziram respostas incorretas/inferiores para a mesma consulta.
• Construção de Proxy: O conjunto de proxy $X_K$ é definido tal que $G(x, o_J, o_R) = G(x, o_K, o_R)$, garantindo que o juiz avalie respostas de qualidade de resultado equivalente. Esta é uma correspondência de resultado ao nível do exemplo, não uma correspondência de capacidade ao nível do modelo.
• Estatística de Teste: Os autores calculam a diferença na probabilidade de votação entre o juiz avaliando a si mesmo versus o juiz avaliando um proxy de capacidade correspondente:
  $$\Delta s_J(x) = s_J(x, o_J, o_R) - s_J(x, o_K, o_R)$$
  A estatística de teste de linha de base $T_{quality}$ é a média deste diferencial através do conjunto de proxies. Uma hipótese nula ($H_0: T_{quality} \le 0$) postula que o juiz não prefere suas próprias gerações mais do que as de um proxy.

3. Reprodução Experimental

A metodologia foi aplicada para reproduzir quatro estudos marcos de auto-preferência em 16 modelos e 9 conjuntos de dados:

• Saídas Verificáveis: MATH-500, MBPP-Plus, MMLU (usando execução baseada em código ou correspondência exata de strings para a verdade fundamental).
• Juízes de Ouro Sem Viés: AlpacaEval, TruthfulQA, Tradução WMT19 (usando juízes oráculos para a verdade fundamental).
• Anotações Humanas: Sumarização CNN/DailyMail e XSum (usando resumos validados por humanos ou por juízes de ouro).
• Ofuscação de Autoria: Conjunto de dados QualiTY com perturbações estilísticas.

O estudo também testou a eficácia do prompting de Cadeia de Pensamento (CoT — Chain-of-Thought) para mitigar o viés e analisou a Entropia de Shannon nas distribuições de votos para avaliar a incerteza.

Principais Contribuições

1. Linha de Base de Qualidade do Avaliador: Um novo framework estatístico que utiliza proxies correspondentes em termos de resultado para calibrar as estatísticas de viés de auto-preferência, removendo efetivamente a variável "si mesmo" enquanto retém a dificuldade e a incerteza da tarefa.
2. Reavaliação de Achados Existentes: Os autores demonstram que, ao controlar a qualidade do avaliador, a maioria dos sinais de auto-preferência relatados anteriormente são artefatos da incerteza de avaliação.
3. Análise de Entropia: Uma análise preliminar mostrando que a entropia (incerteza) das distribuições de votação permanece consistente independentemente de o modelo estar avaliando a si mesmo ou um proxy, sugerindo que o "narcisismo" não é o principal motor da incerteza em exemplos difíceis.

Resultados

• Redução do Viés: A Linha de Base de Qualidade do Avaliador reduz substancialmente a medida de auto-preferência. Nos conjuntos de dados, 51% dos exemplos de achados anteriores perderam significância estatística contra a hipótese nula.
• Massa de Probabilidade: A linha de base explica 89,6% da massa de probabilidade total de auto-preferência anteriormente atribuída ao viés.
• Variância da Tarefa:
  • Tarefas Objetivas (Matemática/Código): Os sinais de auto-preferência colapsaram quase inteiramente (ex: MATH-500 mostrou uma redução média de 98,76%).
  • Tarefas Subjetivas: Reduções significativas foram observadas em tradução (-82,57%) e seguimento de instruções (-79,19%), embora algum viés residual tenha permanecido.
  • Anomalia MMLU: Ao contrário de outras tarefas objetivas, o MMLU reteve um forte sinal de auto-preferência para muitos modelos, potencialmente devido a preferências estilísticas incorporadas no pós-treinamento.
• Cadeia de Pensamento (CoT): O teste de estresse do prompting CoT revelou resultados inconsistentes; embora tenha reduzido o viés em alguns casos, aumentou a auto-preferência em outros (notadamente para modelos Qwen), sugerindo que não é uma estratégia de mitigação universal.
• Correlação de Entropia: A correlação entre a entropia em exemplos difíceis (onde o juiz está errado) e a avaliação do proxy foi extremamente forte ($\rho = 0,85$), indicando que os níveis de confiança não mudam com base no fato de o modelo estar avaliando a si mesmo.

Significância e Alegações

O artigo afirma fornecer um framework de "sensatez" para meta-avaliação que recupera com sucesso o verdadeiro viés de dados ruidosos. Sua principal significância reside na eliminação de falsos positivos de alinhamento.

• Identificação Causal: Os autores argumentam que intervenções anteriores podem ter visado o "ruído entrópico" em vez da verdadeira auto-preferência. Ao isolar o viés residual que persiste após o controle da qualidade do avaliador, pesquisas futuras podem focar em subconjuntos de comportamento identificados causalmente.
• Reenquadramento do Narcisismo: O estudo não contesta a existência da auto-preferência, mas aconselha onde não procurar. Sugere que o que era anteriormente rotulado como "narcisismo" é frequentemente um subproduto da incapacidade de um modelo de distinguir seu próprio output incorreto de um output incorreto de outro modelo sob condições de alta incerteza.
• Impacto Prático: Para a pesquisa de segurança e alinhamento, a medição precisa é vital. O artigo afirma que as intervenções atuais correm o risco de atingir o "culpado errado" se não considerarem a linha de base da incerteza do avaliador. Ao identificar que apenas uma pequena fração (aprox. 10,4%) do viés de auto-preferência excede a linha de base do grupo de controle, os autores sugerem que as estratégias de mitigação devem ser refinadas para visar esses resíduos especificamente identificados e causais, em vez de sinais amplos e ruidosos.

Os autores concluem que, embora a auto-preferência exista, a priorização de modelos em risco na literatura anterior foi equivocada devido a erros de medição, e que trabalhos futuros devem adotar protocolos que eliminem sistematicamente explicações alternativas, como a incerteza de avaliação.