Resumo Técnico: Julgando Contra a Referência

Definição do Problema

O artigo aborda um modo de falha crítico e subexplorado no paradigma "LLM-como-juiz" para a avaliação de Questionamento e Resposta (QA). Embora os Grandes Modelos de Linguagem (LLMs) sejam cada vez mais usados para graduar automaticamente respostas candidatas em relação a uma resposta de referência (gold) fornecida, sua capacidade de aderir estritamente a essa referência quando ela entra em conflito com o conhecimento paramétrico interno do modelo é pouco compreendida. Os autores identificam que, quando uma resposta de referência fornecida é intencionalmente substituída por uma entidade incorreta que contradiz as crenças internas do juiz, o juiz frequentemente desconsidera a referência fornecida. Em vez de avaliar a resposta candidata com base na instrução e na referência dadas, o juiz retorna ao seu próprio conhecimento paramétrico, levando a pontuações não confiáveis e à degradação da fidelidade da avaliação. Este problema é particularmente saliente porque o conhecimento factual evolui, e os conjuntos de dados podem codificar intencionalmente alvos contrafatuais que divergem dos dados de treinamento de um modelo.

Metodologia

Para investigar sistematicamente este fenômeno, os autores introduzem um Framework de Avaliação de QA com Referência Trocada (Swapped-Reference QA Evaluation Framework). Este framework constrói instâncias de avaliação controladas para induzir conflitos entre a referência fornecida e o conhecimento interno do juiz.

1. Construção do Dataset: Os autores selecionaram quatro conjuntos de dados de QA existentes (NaturalQuestions-Open, PopQA, SciQ e FreshQA). Eles aplicaram Reconhecimento de Entidades Nomeadas (NER) para identificar entidades nas respostas de referência e, em seguida, realizaram a Troca de Referência (Reference Swapping) usando diversas estratégias:

   • Troca Aleatória (Random Swap - RS): Substituir a referência original por outra entidade do mesmo tipo do dataset (ex: trocar uma pessoa por outra).
   • Troca Plausível (Plausible Swap - PS): Substituir a referência por uma resposta plausível, porém incorreta, gerada por um modelo forte (GPT-5).
   • Troca de Alta/Baixa Popularidade: Trocar referências com entidades de variados níveis de popularidade de visualização de páginas da Wikipedia para testar o efeito da força do conhecimento.
   • Troca de Conhecimento do Avaliador (Evaluator-Knowledge Swap): Substituir a referência pela resposta específica que o próprio modelo juiz geraria, criando um cenário onde a referência trocada se alinha perfeitamente com a crença interna do juiz.

2. Geração de Candidatos: Para cada referência trocada, o framework gera correspondentes respostas candidatas de formato longo que se alinham com a referência trocada, bem como candidatos alinhados com a referência original.

3. Meta-Avaliação: O estudo avalia 13 diferentes juízes LLM (incluindo famílias GPT-4o, GPT-5, Llama-3 e Qwen-3) através destes datasets. A métrica central é o Gap de Precisão de Polaridade da Referência (Reference-Polarity Accuracy Gap - RPAG), definido como a diferença na precisão entre a configuração de referência original ($ACC_o$) e a configuração de referência trocada ($ACC_s$). Um RPAG alto indica que o desempenho do juiz degrada significativamente quando a referência é trocada, revelando uma falha em condicionar-se ao texto fornecido.

4. Análise de Mitigação: Os autores testaram se estratégias comuns de prompting — Instruções Diretas, Aprendizado em Contexto (ICL), Cadeia de Pensamento (CoT) e CoT com Consistência de Auto-verificação (Self-Consistency) — poderiam mitigar esta vulnerabilidade.

Principais Descobertas

• Vulnerabilidade Generalizada: Em todos os 13 modelos juízes e quatro datasets, a troca da resposta de referência causou uma queda acentuada na confiabilidade da graduação. Mesmo modelos fortes como GPT-4o e GPT-5 exibiram degradação significativa de precisão (ex: quedas de 30–50% em cenários de Troca Aleatória).
• Dependência Excessiva de Conhecimento Paramétrico: A falha é impulsionada pela dependência excessiva do juiz em suas crenças internas. Quando a referência trocada se alinha com o conhecimento paramétrico do juiz (Evaluator-Knowledge Swap), a vulnerabilidade desaparece (RPAG aproxima-se de zero). Por outro lado, quando a referência trocada entra em conflito com crenças internas fortes, o juiz ignora a referência fornecida.
• Força do Conhecimento e Popularidade: A vulnerabilidade correlaciona-se com a força do conhecimento conflitante. Trocas envolvendo entidades altamente populares (priors fortes) causam maiores quedas de precisão do que trocas envolvendo entidades obscuras. Da mesma forma, perguntas envolvendo fatos estáveis e de longa data mostram maior vulnerabilidade do que aquelas envolvendo conhecimento de rápida mudança ou sensível ao tempo.
• Escalabilidade Não Ajuda: Aumentar a capacidade do modelo (ex: passar de 8B para 70B parâmetros) não mitiga o problema; em alguns casos, modelos maiores exibiram maior vulnerabilidade, sugerindo que o aumento da capacidade fortalece a dependência do conhecimento de mundo interno em vez de melhorar a adesão às instruções externas.
• Limitações de Prompting: Estratégias comuns de mitigação, incluindo instruções detalhadas e prompting de Cadeia de Pensamento (CoT), falharam em resolver o problema. Notavelmente, o prompting de CoT às vezes aumentou a vulnerabilidade sob condições de alto conflito (Random Swap), pois o processo de raciocínio pareceu amplificar a dependência do modelo em suas próprias crenças paramétricas para sobrepor a referência fornecida.

Significância e Contribuições

O artigo apresenta três contribuições primárias:

1. Identificação de um Modo de Falha Crítico: Ele revela que os juízes LLM frequentemente ignoram as instruções de avaliação quando a resposta de referência contradiz seu conhecimento paramétrico, uma limitação fundamental na avaliação condicionada por referência.
2. Framework Sistemático: Introduz um framework de avaliação de QA com referência trocada que permite uma análise detalhada da adesão do juiz através de datasets, tipos de troca e alinhamentos de conhecimento.
3. Insights Diagnósticos: Identifica que a causa raiz é a incapacidade de resolver conflitos de conhecimento em favor da referência fornecida, e que técnicas de prompting padrão oferecem alívio limitado.

Os autores concluem que estas descobertas destacam um risco fundamental no paradigma de LLM-como-juiz. A incapacidade de seguir confiavelmente as referências fornecidas quando elas conflitam com o conhecimento interno sugere que os protocolos de avaliação atuais podem estar falhos quando aplicados a tarefas envolvendo fatos em evolução ou cenários contrafatuais. O artigo motiva o desenvolvimento de novos protocolos e métodos de treinamento que possam impor uma adesão mais forte às referências fornecidas, em vez de depender dos priors internos do modelo.

Nota: O artigo afirma explicitamente que não propõe uma estratégia de mitigação concreta, focando em vez disso no diagnóstico do modo de falha. Também limita seu escopo à avaliação de QA, observando que as descobertas podem não se generalizar diretamente para outras tarefas condicionadas por referência, como sumarização ou avaliação de diálogo, sem estudos adicionais.