Resumo Técnico: Reavaliando Conjuntos de Dados de QA Extrativo em Escala

Declaração do Problema

As tarefas de Question Answering (QA) extrativo são tradicionalmente avaliadas usando Exact Match (EM) e F1-score. No entanto, essas métricas frequentemente falham em refletir o verdadeiro desempenho do modelo, particularmente quando as respostas previstas são semanticamente equivalentes às respostas de referência (gold answers), mas formuladas de maneira diferente (por exemplo, "EPA" vs. "Environmental Protection Agency"). Embora estudos recentes tenham proposto o uso de Grandes Modelos de Linguagem (LLMs) como juízes (LLM-as-a-judge) para abordar isso, aspectos críticos de seu desempenho permanecem inexplorados. Especificamente, não está claro como esses juízes lidam com diversos tipos de respostas, se exibem vieses (como preferência por si mesmos ou preferência por modelos irmãos) e quão robustos são seus julgamentos sob diferentes estratégias de prompting.

Metodologia

Os autores conduziram um estudo sistemático através de quatro conjuntos de dados diversificados de QA extrativo: Quoref (raciocínio coreferencial), DROP (raciocínio numérico), HotpotQA (raciocínio multi-salto/multi-hop) e 2WikiMultiHopQA.

• Curadoria de Dados: Dos conjuntos de desenvolvimento desses quatro datasets, os autores curaram um subconjunto representativo de aproximadamente 1.000 amostras por dataset (totalizando ~4.200 amostras), estratificado em oito tipos distintos de resposta: Lugar (Place), Nome (Name), Cargo (Job), Data (Date), Número (Number), Ano (Year), Booleano (Bool) e String.
• Modelos:
  • Modelos de QA: Oito modelos de quatro famílias (Mistral, Qwen, Gemma, Llama) variando de 7B a 72B de parâmetros foram usados para gerar previsões.
  • Juízes: Três famílias de modelos (Mistral 7B v0.3, Llama 3.3 70B e Qwen 2.5 72B) serviram como o "LLM-as-a-judge".
• Protocolo de Avaliação:
  • Baseline Humano: 161 amostras (1.288 respostas previstas) foram anotadas manualmente por especialistas humanos para estabelecer uma base de comparação para análise de correlação.
  • Análise de Viés: O estudo investigou o viés de auto-preferência (um modelo julgando sua própria saída favoravelmente) e o viés de preferência de irmãos (um modelo favorecendo saídas da mesma família).
  • Robustez de Prompt: Os autores testaram várias configurações de prompting, incluindo diferentes contagens de shots (zero-shot, 2-shot, 6-shot), a inclusão/exclusão de contexto e variações na redação do prompt.

Principais Resultados

1. Correlação com o Julgamento Humano

O LLM-as-a-judge supera significativamente as métricas tradicionais na correlação com as avaliações humanas.

• EM e F1: Correlacionaram-se com os julgamentos humanos em 0,22 e 0,40, respectivamente.
• LLM-as-a-Judge: Alcançou correlações de até 0,85 (especificamente com o Qwen 2.5 72B), indicando um alinhamento muito mais forte com a avaliação humana de correção de resposta.

2. Desempenho por Tipo de Resposta

A eficácia do LLM-as-a-judge varia conforme o tipo de resposta:

• Alto Desempenho: A abordagem performa excepcionalmente bem em respostas de Número (correlação de 0,899) e Data (correlação de 1,000).
• Desafios: O desempenho cai significativamente para títulos de Cargo (correlação de 0,352), devido à ambiguidade de múltiplas descrições de cargos válidas nas respostas de referência versus as respostas previstas.
• Tendência Geral: Para a maioria dos outros tipos (Nome, Lugar, String), as correlações permanecem altas (0,77–0,86).

3. Análise de Viés

Contrariamente aos achados em outras tarefas de NLP, o estudo não encontrou evidência de viés significativo:

• Viés de Auto-preferência: Quando o mesmo modelo serviu tanto como gerador de QA quanto como juiz, nenhum viés de auto-preferência significativo foi observado.
• Viés de Preferência de Irmãos: Da mesma forma, nenhum viés foi detectado quando um juiz da mesma família de modelos avaliou saídas de um modelo irmão.

4. Robustez de Prompt

Os resultados de avaliação foram altamente estáveis através de diferentes variações de prompt:

• Zero-Shot & Sem Contexto: Surpreendentemente, o prompting zero-shot e as avaliações sem contexto frequentemente renderam os melhores scores de correlação (por exemplo, o Qwen 2.5 72B atingiu 0,909 sem contexto).
• Estabilidade: Variações na redação e na configuração tiveram impacto mínimo, com uma variância muito baixa nos scores de correlação (0,0007 a 0,0037), sugerindo que a abordagem é robusta às nuances de engenharia de prompt.

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Avaliação Abrangente: Uma avaliação em larga escala de múltiplos modelos de pesos abertos através de quatro diversos datasets de QA, com código e dados liberados para reprodutibilidade.
2. Análise Granular: A primeira análise detalhada de como a qualidade do julgamento varia entre tipos específicos de resposta, identificando pontos fortes em raciocínio numérico e fraquezas em cargos complexos.
3. Investigação de Viés: Uma investigação sistemática sobre os vieses de auto-preferência e de preferência de irmãos, não encontrando evidências desses efeitos em tarefas de QA extrativo.
4. Estudo de Robustez de Prompt: Uma demonstração de que os resultados do LLM-as-a-judge são estáveis através de variações de prompt, onde o julgamento zero-shot e sem contexto muitas vezes provou ser superior.

Significância e Alegações

Os autores alegam que suas descobertas oferecem uma alternativa prática e confiável aos scores de EM e F1 para avaliar datasets de QA extrativo e de formato curto. Eles argumentam que os LLMs podem servir como avaliadores robustos que capturam melhor a correção semântica, particularmente para correspondências não exatas. O estudo sugere que pesquisas futuras podem confiar no LLM-as-a-judge sem necessidade de extensa engenharia de prompt ou medo de vieses inerentes ao modelo, desde que a tarefa envolva respostas de referência claras. O artigo conclui que, embora o LLM-as-a-judge não seja perfeito (notadamente com dificuldades em cargos complexos), ele representa uma melhoria significativa sobre as métricas tradicionais para avaliar o desempenho de modelos em tarefas de compreensão de leitura.