Resumo Técnico: Matriz de Par de Avaliação (Eval-Pair Matrix)

Declaração do Problema

Sistemas de Geração Aumentada por Recuperação (RAG) enfrentam um desafio crítico de avaliação: uma resposta pode ser fluente e bem citada, mas ainda assim contradizer as passagens da fonte. Embora o "LLM-as-a-judge" (LLM como juiz) tenha se tornado um padrão para avaliar RAG devido à sua velocidade e capacidade de emitir justificativas estruturadas, existe uma lacuna metodológica significativa quando o gerador e o juiz pertencem à mesma família de modelos.

A literatura existente sobre auto-preferência (ex: Dubois et al., 2024; Shi et al., 2024) sugere que os juízes podem favorecer saídas de sua própria família de modelos. No entanto, isso é frequentemente um problema de identificação: um juiz pode preferir sua própria saída porque ela é estilisticamente familiar ou de maior qualidade, em vez de ser devido a uma "autocomplacência" (falha em penalizar erros). No RAG baseado em fontes, a tarefa muda da preferência para a consistência factual. A questão central é se um juiz falha em detectar contradições na saída de seu próprio modelo quando essas contradições são induzidas e ocultadas do juiz.

Metodologia: Matriz de Par de Avaliação (Eval-Pair Matrix)

Os autores introduzem a Eval-Pair Matrix, um protocolo de meta-avaliação controlado projetado para isolar os efeitos de julgamento do mesmo modelo da qualidade do gerador e da dificuldade da resposta.

1. Construção de Dados e Perturbação

O estudo utiliza o GaRAGe, um benchmark com respostas escritas por humanos e fundamentação ao nível de passagem.

• Perturbação: Para cada registro, um perturbador LLM seleciona uma proposição "causal à resposta" (uma afirmação essencial para a resposta) e reescreve todas as passagens de suporte para sustentar um valor de substituição plausível, mas falso (ex: alterar uma estatística de 48% para 35%).
• Validação: Um processo de validação de cinco etapas garante que a perturbação seja válida, causal à resposta, globalmente consistente, livre de vazamento do valor original e que a passagem original contradiga a perturbada.
• Dataset: A análise final utiliza 275 registros totalmente validados (de um pool inicial de 300), gerando 897 respostas utilizáveis.

2. O Design de Matriz Cruzada

O experimento emprega uma matriz cruzada de $3 \times 3$ usando três famílias de modelos: GPT, Grok e Gemini.

• Geradores: Cada modelo gera respostas usando apenas a fundamentação perturbada (falsa).
• Juízes: Os mesmos três modelos atuam como juízes cegos. Eles avaliam as respostas geradas contra a fundamentação original (não perturbada).
• Cegueira: Os juízes veem a pergunta, a resposta candidata e as passagens originais. Eles são cegos para a perturbação, a identidade do gerador e o erro induzido.

3. O Estimando de Par de Resposta

A análise tradicional compara células diagonais (mesmo modelo) contra células fora da diagonal (modelos cruzados). Os autores argumentam que isso é inferencialmente fraco porque compara respostas diferentes com variados estilos e taxas de recusa.
Em vez disso, a Eval-Pair Matrix utiliza um estimando de par de resposta:

• Para uma resposta candidata específica gerada pelo modelo $G$, todos os três juízes avaliam essa resposta.
• A análise compara o juiz correspondente (modelo $G$) contra os juízes não correspondentes (os outros dois modelos) sobre a mesma resposta.
• Isso isola o "efeito de mesmo modelo" de comportamentos específicos do gerador (ex: taxas de recusa, estilo).

4. Rotulagem e Avaliação Humana

• Rótulos de Comportamento: As respostas são rotuladas por comportamento (ex: "Segue o contexto", "Sobrescrita de memória", "Recusa/insuficiência").
• Adoção de Erro Induzido: Um avaliador de rótulos separado determina se a resposta adotou a afirmação falsa perturbada.
• Auditoria Humana: Uma avaliação humana direcionada revisou 88 casos, focando especificamente em "falsos positivos aparentes" (onde o juiz sinalizou um erro, mas a resposta evitou a afirmação induzida).

Principais Resultados

1. Ausência de Autocomplacência Robusta no Modelo no Detecção de Erros

Ao contrário da hipótesagem de que juízes são complacentes com os erros de seu próprio modelo:

• Efeito de Recall Global: A análise de par encontrou nenhuma evidência robusta de que juízes do mesmo modelo percam erros induzidos em suas próprias respostas. A diferença de recall é próxima de zero ($\Delta = -0,5$ pontos percentuais; 95% CI $[-2,7, +1,7]$).
• Scores F1: O F1 bruto da diagonal (84,4%) e o F1 fora da diagonal (83,4%) são estatisticamente similares.

2. A Lacuna da "Afirmação Evitada"

A única diferença de par robusta foi observada em respostas que evitaram a afirmação falsa induzida (ex: por recusa ou hesitação).

• Achado: Juízes correspondentes sinalizaram essas respostas com menos frequência do que juízes não correspondentes ($\Delta = -4,3$ pp; 95% CI $[-6,6, -2,0]$).
• Interpretação: Isto não é uma taxa menor de falsos alarmes. O rótulo "afirmação evitada" apenas verifica se o erro induzido específico foi adotado. No entanto, a tarefa do juiz é sinalizar qualquer erro factual contra a fonte. Respostas que evitaram a afirmação induzida frequentemente continham outros erros relativos à fonte (ex: alucinações sobre fatos não relacionados ou atribuições incorretas).

3. Avaliação Humana de Falsos Positivos Aparentes

Os autores auditaram 25 "falsos positivos aparentes" (respostas sinalizadas pelo juiz, mas rotuladas como "evitando a afirmação induzida").

• Resultado: Nenhum foi um falso alarme genuíno.
  • 22 foram detecções válidas de outros erros da fonte.
  • 2 foram erros no rótulo de adoção do erro induzido.
  • 1 foi um caso obscuro.
• Conclusão: O gap observado é um desalinhamento de rótulo/tarefa, não evidência de autocomplacência. O rótulo de adoção é muito estreito para capturar a tarefa mais ampla do juiz de detectar qualquer erro de fundamentação na fonte.

4. Localização

Quando os juízes sinalizaram erros, eles identificaram corretamente a passagem da fonte em 94,0–98,5% dos casos, demonstrando alta precisão na localização de contradições.

Contribuições e Significância

Contribuições Metodológicas

1. Protocolo: Uma configuração de meta-avaliação controlada usando contradições de fonte localizadas e ocultas e julgamento cego.
2. Estimando de Par: Uma mudança de comparar distribuições de respostas diferentes para comparar juízes no mesmo candidato de resposta, controlando efetivamente a dificuldade e o estilo do gerador.
3. Estratificação de Comportamento: Demonstrar que comportamentos do gerador (recusas, hesitações) impactam significativamente as métricas de avaliação e devem ser analisados separadamente.

Achados Empíricos

• Refutação da Autocomplacência Ampla: No RAG centrado em fatos, não há evidência robusta de que juízes do mesmo modelo percam erros induzidos em suas próprias respostas.
• Reinterpretação de Gaps: Discrepâncias aparentes nas taxas de sinalização são melhor explicadas pelo desalinhamento entre rótulos estreitos de "adoção" e a tarefa mais ampla de detecção de "qualquer erro" do juiz, em vez de viés do modelo.

Significância

O artigo argumenta que o julgamento de RAG do mesmo modelo é um problema de identificação, não uma proibição binária. Embora as comparações brutas de diagonal vs. fora da diagonal sejam descritivamente úteis, elas são inferencialmente insuficientes. Para fazer afirmações válidas sobre autocomplacência, os estudos devem:

• Reportar matrizes completas de juiz-por-gerador.
• Usar efeitos de par de resposta.
• Estratificar por comportamento do gerador.
• Garantir o alinhamento entre os rótulos de verdade fundamental e a tarefa específica de detecção de erro atribuída ao juiz.

O estudo sugere que a fundamentação factual pode reduzir os efeitos de auto-preferência baseados em estilo vistos em tarefas de preferência abertas, mas introduz novas complexidades sobre como "erros" são definidos e rotulados na geração fundamentada.