Resumo Técnico: SAGE (Search-AuGmented Evaluation)

Declaração do Problema

A avaliação de Grandes Modelos de Linguagem (LLMs) em Respostas a Perguntas (QA) de formato livre enfrenta um gargalo crítico. A avaliação tradicional baseia-se em respostas de referência estáticas, pré-anotadas, comparadas por meio de métricas léxicas (ex: Correspondência Exata, F1). No entanto, esses métodos falham em capturar a diversidade das respostas abertas, são dispendiosos para escalar devido aos requisitos de anotação humana e são fundamentalmente desalinhados com os outputs não determinísticos e dependentes de contexto dos LLMs.

Inversamente, o paradigma emergente de "LLM-como-juiz", que utiliza modelos para avaliar outputs sem referências externas, mostra-se pouco confiável para tarefas objetivas e centradas em fatos. Sem fundamentação externa, esses juízes dependem exclusivamente do conhecimento paramétrico congelado, o que leva a modos de falha específicos:

1. Obsolescência do Conhecimento: Juízes endossam confiantemente respostas que estão desatualizadas em relação ao seu corte de treinamento (training cutoff).
2. Viés de Comprimento: Respostas mais longas e verbosas são frequentemente superestimadas, mesmo quando factualmente incorretas.
3. Sensibilidade ao Prompt: Os vereditos podem mudar com base em pequenas variações de prompt ou na ordem das respostas candidatas.
4. Racionalidades Alucinadas: Juízes fabricam evidências de suporte para justificar decisões incorretas.

O artigo argumenta que a correção objetiva não pode ser avaliada apenas através do conhecimento interno ou preferências de um LLM, necessitando de um framework que preencha a lacuna entre a automação escalável e a fundamentação factual.

Metodologia: SAGE (Search-AuGmented Evaluation)

O SAGE é um framework livre de referência projetado para avaliar outputs de LLMs, equipando um LLM juiz com a capacidade de recuperar, sintetizar e refletir ativamente sobre evidências externas. Diferente dos métodos de busca aumentada de passagem única, o SAGE opera como um agente iterativo.

Componentes Principais

O framework utiliza um LLM juiz ($J$) que desempenha quatro papéis distintos via templates de prompt de disparo único (one-shot), interagindo com uma ferramenta de busca na web ($S$) e um buffer de memória de curto prazo ($M$):

1. Geração de Consulta ($Q$): Em cada iteração $i$, o gerador produz uma consulta de busca $q_i$ condicionada à pergunta de entrada $x$ e à memória acumulada $M_{i-1}$. A consulta inicial é de nível tópico; consultas subsequentes são refinadas com base em achados anteriores para visar lacunas de informação específicas.
2. Busca na Web ($S$): As consultas são enviadas a um mecanismo de busca (ex: Serper API), retornando um conjunto de trechos (título, texto, URL) como evidência externa bruta.
3. Sumarização ($\Sigma$): Os resultados recuperados são condensados em um segmento de evidência focado $E_i$, filtrando redundâncias e extraindo conteúdo factual saliente.
4. Reflexão ($\Phi$): O sumarizador avalia a evidência $E_i$ em relação à pergunta $x$ e à resposta candidata $\hat{y}$. Ele determina se a evidência apoia, contradiz ou é inconclusiva em relação à resposta, e sinaliza informações ausentes para guiar a próxima consulta.
5. Memória de Curto Prazo ($M$): Um buffer de apenas adição registra o rastro das interações $(q_i, E_i, r_i)$ através das iterações, condicionando o refinamento de consultas futuras e fornecendo o contexto completo para o julgamento final.
6. Julgamento Final ($J$): Após um orçamento fixo de $N$ iterações (padrão $N=3$), o juiz sintetiza a memória completa $M_N$ para produzir um veredito binário ($v \in \{0, 1\}$) e uma racionalidade em linguagem natural ($\rho$).

O processo é iterativo: o módulo de reflexão impulsiona explicitamente o refinamento da consulta, permitindo que o sistema corrija o curso se as buscas iniciais produzirem evidências insuficientes ou irrelevantes.

Principais Contribuições

1. Um Framework Livre de Referência: O SAGE elimina a necessidade de verdade fundamental (ground truth) anotada por humanos, gerando dinamicamente consultas web específicas para a saída para verificar fatos.
2. Síntese de Evidência Iterativa: Ao contrário de avaliadores de busca aumentada anteriores que tipicamente realizam uma recuperação de passagem única, o SAGE emprega um ciclo de "sumarizar–refletir–refinar". Este processo iterativo permite que o sistema direcione adaptativamente as lacunas de informação e resolva ambiguidades.
3. Fundamentação em Dados Verificáveis: Ao depender de evidências externas recuperadas em vez de conhecimento paramétrico, o SAGE mitiga alucinações, obsolescência de conhecimento e vieses de comprimento inerentes aos juízes de LLM não guiados.
4. Escalabilidade e Eficiência de Custo: O framework oferece uma alternativa escalável à anotação humana, com custos ordens de magnitude menores do que a avaliação manual, mantendo alta conformidade com os julgamentos humanos.

Resultados Experimentais

Os autores avaliaram o SAGE em cinco benchmarks de QA de formato livre (AmbigQA, HotpotQA, TriviaQA, Natural Questions, FreshQA) usando vários modelos candidatos e juízes (incluindo GPT-3.5, GPT-4o, Gemini e modelos menores de pesos abertos como Mistral 7B e Qwen).

• Concordância com Métricas Baseadas em Referência: O SAGE supera significativamente os juízes puramente paramétricos. Por exemplo, no AmbigQA, um juiz GPT-3.5 usando SAGE alcançou 0,80 de precisão contra o RefGPT (um baseline baseado em referência), comparado a 0,67 sem evidência externa.
• Alinhamento com Avaliadores Humanos: Em conjuntos de dados com anotações humanas (AmbigQA e HotpotQA), o SAGE alcançou concordância substancial ou perfeita com os votos majoritários humanos.
  • Coeficiente $\kappa$ de Cohen: O SAGE reduziu a lacuna entre juízes LLM e humanos. Por exemplo, no HotpotQA, um juiz GPT-4o sem busca alcançou $\kappa = 0,38$, enquanto o mesmo juiz sob o SAGE atingiu $\kappa = 0,70$.
  • Macro-F1: O SAGE entregou consistentemente os maiores escores de Macro-F1 entre modelos e tarefas, corrigindo a tendência de juízes livres de referência de superestimar a correção (alta revocação, baixa precisão).
• Detecção de Conhecimento Obsoleto: No FreshQA, o SAGE identificou e rejeitou com sucesso respostas desatualizadas (identificando a localização atual correta de EMNLP 2025 como Suzhou, China, enquanto os candidatos frequentemente forneciam localizações do corte de pré-treinamento).
• Estudos de Ablação:
  • Iterações: O desempenho melhora com as iterações, sendo que 3 iterações oferecem o melhor equilíbrio entre desempenho e custo.
  • Geração de Consulta: Remover a etapa de refinamento de consulta (usando a pergunta de entrada diretamente) degradou significativamente o desempenho, particularmente em conjuntos de dados ambíguos como o AmbigQA.
  • Robustez do Mecanismo de Busca: Os ganhos do SAGE persistiram através de diferentes mecanismos de busca (Serper, Brave, Tavily), embora o desempenho absoluto tenha variado ligeiramente com base na qualidade da recuperação.
  • Capacidade do Juiz: Embora o SAGE melhore o desempenho em todos os tamanhos de juiz, juízes mais capazes (ex: GPT-4o) geram maior concordância com humanos do que modelos menores (ex: Mistral 7B), embora mesmo os modelos menores se beneficiem significativamente da aumentação por busca.

Significância e Alegações

O artigo afirma que o SAGE representa um avanço significativo na avaliação automatizada de LLMs para tarefas objetivas. Ao mudar de correspondência de referência estática ou julgamento paramétrico não fundamentado para um processo de verificação ativo e baseado em evidências, o SAGE aborda as limitações centrais dos protocolos de avaliação atuais.

Os autores afirmam que o SAGE fornece uma alternativa escalável, adaptável e de custo-benefício para avaliar a factualidade de LLMs. É particularmente eficaz para:

• QA de Formato Livre: Onde as respostas são abertas e carecem de uma verdade fundamental única.
• Tópicos Dinâmicos: Onde a informação evolui rapidamente e o conhecimento pré-treinado é insuficiente.
• Ambientes com Restrição de Recursos: Oferecendo uma alternativa viável à anotação humana sem sacrificar a confiabilidade necessária para a correção objetiva.

O artigo conclui que, embora o SAGE não seja um substituto perfeito para a revisão humana em cenários de alto risco, ele efetivamente preenche a lacuna entre a escalabilidade da avaliação automatizada e a confiabilidade da verificação de fatos humana, estabelecendo um novo padrão para a avaliação livre de referência da factualidade de LLMs.