Rethinking Atomic Decomposition for LLM Judges: A Prompt-Controlled Study of Reference-Grounded QA Evaluation

Resumo Técnico: Um Rubric Holístico Equivalente Rivaliza com Juízes Atômicos de Decomposição Automática

1. O Problema

A avaliação de respostas geradas por Grandes Modelos de Linguagem (LLMs) frequentemente utiliza o paradigma de "LLM como Juiz". Uma abordagem popular é a decomposição atômica, onde o modelo é instruído a quebrar uma resposta candidata em afirmações factuais individuais (claims) e verificar cada uma contra uma referência. A premissa é que essa estrutura cria um "gargalo de evidência", forçando uma verificação rigorosa.

No entanto, existe um fator de confusão (confound) não resolvido: os prompts atômicos são tipicamente mais longos, ricos em detalhes e incentivam o uso de mais tokens para raciocínio intermediário. Se os juízes atômicos superam os holísticos, é devido à decomposição em si ou simplesmente ao enriquecimento do prompt e ao maior custo computacional?

O artigo investiga especificamente a tarefa de classificação de suporte de referência sensível à completude (benchmark-style): classificar uma resposta como totalmente suportada, parcialmente suportada ou não suportada em relação a uma referência fornecida, onde a omissão de informações relevantes conta como erro.

2. Metodologia

Os autores realizaram um estudo empírico controlado comparando dois designs de juízes:

• Juiz Atômico (Auto-decomposição): Um único prompt que instrui o modelo a decompor a resposta em afirmações atômicas, verificar cada uma contra a referência e retornar um veredito estruturado.
• Juiz Holístico (Controlado por Prompt): Um prompt com a mesma entrada e um rubric (critério de avaliação) igualmente detalhado, cobrindo correção, completude e viés de estilo, mas sem instruir a decomposição em afirmações. O modelo retorna um JSON estruturado diretamente.

Controles e Configuração Experimental:

• Datasets: TruthfulQA, ASQA e QAMPARI (200 exemplos de fonte por dataset).
• Modelos: Quatro famílias de modelos (Opus-4.6, GPT-4.1, Gemini FL e DeepSeek-V3.2).
• Controle de Prompt: Três variantes de prompt independentes e pré-congeladas para cada família (atômico e holístico), totalizando 9 combinações cruzadas, para garantir que os resultados não sejam artefatos de uma redação específica.
• Métricas: Precisão (Accuracy), contagem de tokens, testes de sinal pareados ao nível da fonte e bootstrap de cluster.
• Ablações: Testes de esquema (JSON atômico sem decomposição), orçamento de tokens e sensibilidade à degradação da referência.

3. Contribuições Principais

1. Contraprova Empírica Controlada: O estudo desafia o heurística de que a decomposição atômica é automaticamente superior. Mostra que, para tarefas de classificação de suporte com referência fornecida, um rubric holístico bem calibrado é competitivo ou superior.
2. Isolamento de Variáveis: Diferente de trabalhos anteriores que apenas motivam a avaliação atômica, este trabalho compara designs "emparelhados" (mesma entrada, rubric similar, contagem de tokens real), isolando o efeito da decomposição do efeito do "prompt rico".
3. Análise de Sensibilidade: Identifica que a vantagem do método holístico está concentrada especificamente na detecção de incompletude (casos partially_supported), e não na detecção de falsidades gerais.

4. Resultados Chave

• Desempenho Geral:
  • ASQA e QAMPARI: O juiz holístico superou significativamente o atômico em todas as quatro famílias de modelos. A melhoria foi estatisticamente confiável em 3 de 4 famílias.
  • TruthfulQA: O juiz atômico manteve uma pequena vantagem, mas os dois métodos foram muito próximos.
• Custo (Tokens):
  • Nos datasets onde o holístico foi melhor (ASQA e QAMPARI), ele também foi drasticamente mais barato, usando entre 1,4x a 2,3x menos tokens de saída do que o juiz atômico. O atômico gasta tokens na enumeração intermediária de afirmações sem ganho proporcional de precisão.
• Análise por Classe de Erro:
  • A vantagem do método holístico está quase inteiramente concentrada na detecção de casos parcialmente suportados (incompletude).
  • Exemplo (ASQA, GPT-4.1): O juiz holístico teve +30,5 pontos percentuais de vantagem na classe partially_supported em comparação ao atômico. Ambos os métodos tiveram desempenho similar em respostas totalmente corretas ou totalmente erradas.
• Estabilidade de Prompt:
  • A vantagem do método holístico foi consistente em todas as 9 combinações de variantes de prompt (3 atômicos x 3 holísticos), indicando que o resultado é uma propriedade do design, não de uma redação específica.
• Sensibilidade à Referência:
  • A degradação da qualidade da referência (resumos reduzidos ou ausência de referência) causou as maiores quedas de precisão para ambas as famílias de juízes, especialmente no ASQA. Isso sugere que nenhum design oferece robustez inerente contra grounding incorreto.

5. Significado e Implicações

• Para a Prática de Engenharia de Prompt: Para tarefas de avaliação de QA baseada em referência (RAG ou benchmarks), não há necessidade automática de usar pipelines complexos de "decompor e verificar" em um único prompt. Um rubric holístico detalhado pode oferecer melhor precisão (especialmente para detectar omissões) com menor custo computacional.
• Limitações e Escopo:
  • O estudo foca apenas no padrão de decomposição automática em um único prompt. Pipelines atômicos multi-estágio (com decomposição externa fornecida ou extração separada) não foram testados e podem comportar-se diferentemente.
  • Os resultados são específicos para benchmarks de estilo QA com referências fornecidas; podem não se transferir para avaliação de domínio aberto sem referência explícita.
• Conclusão: A decomposição atômica não é uma "bala de prata". Em cenários onde a completude é crítica e a referência é fornecida, uma abordagem holística bem estruturada é uma alternativa superior ou equivalente, mais eficiente e robusta contra artefatos de prompts longos.