Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution

Resumo Técnico: Avaliação de Rubricas de LLMs para Atribuição de Fontes em Pesquisa Profunda

Definição do Problema
À medida que o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) se torna o paradigma dominante de pós-treinamento para tarefas que carecem de verificadores programáticos (ex: aconselhamento médico, escrita científica), a comunidade depende de juízes de LLM para pontuar rubricas específicas de prompts. Esses juízes atuam efetivamente como modelos de recompensa, o que significa que o design da rubrica de treinamento equivale ao design do objetivo operacionalizado. No entanto, uma questão crítica de calibração permanece: quão capaz um juiz deve ser para fornecer um sinal de recompensa confiável e como seu viés inerente afeta o treinamento downstream?

Embora a qualidade das citações em sistemas de pesquisa profunda seja um alvo primário para RLVR, trabalhos existentes não avaliaram sistematicamente LLMs prontos para uso (de propósito geral) como juízes em tarefas de rubrica específicas de citação. Sistemas anteriores frequentemente assumem que um único modelo grande ou dedicado é necessário, ou focam na qualidade da recuperação em vez da capacidade do juiz de distinguir entre fontes relevantes e fontes que apoiam fatos. Há uma lacuna na compreensão de se modelos menores e mais baratos podem fechar o ciclo de forma confiável em relação aos modelos de fronteira e, especificamente, como seus vieses direcionais (ex: falsos positivos vs. falsos negativos) podem moldar o sinal de treinamento de formas que métricas de acurácia escalar obscurecem.

Metodologia
Os autores introduzem o Deep-Research Citation Benchmark, um conjunto de dados adversarial de formato longo projetado para testar a avaliação da qualidade de citações.

• Construção do Conjunto de Dados: O benchmark abrange 25 domínios diversos (ex: computação quântica, história, biologia). Ele começa com resumos de formato longo limpos e atribuídos, dos quais aproximadamente 60% são editados adversarialmente usando 19 estratégias para introduzir erros fatuais, fontes irrelevantes ou citações plausíveis, mas que não sustentam o texto. Isso resulta em 624 pares de atribuição-citação.
• Rótulos de Ouro (Gold Labels): Um conselho de 6 juízes de LLM avaliou independentemente os pares em duas dimensões: Relevância da Fonte (ajuste tópico) e Suporte Factual (veracidade da afirmação em relação à fonte). Um revisor humano validou todas as 1.248 decisões (624 pares × 2 dimensões), adjudicando 378 casos onde o conselho discordou para criar um conjunto de dados de padrão ouro.
• Juízes Avaliados: O estudo compara 8 LLMs prontos de três famílias (Anthropic, Google, OpenAI), variando de modelos de baixo custo (ex: GPT-OSS-120B, Gemini 3.1 Flash Lite) a modelos de fronteira (ex: Claude Opus 4.6, GPT-5-mini).
• Métricas: Além da acurácia padrão (F1 de classe-Pass e $\kappa$ de Cohen), os autores medem métricas de viés direcional críticas para RLVR: desvio de taxa de aprovação (Pass-rate drift), Taxa de Falso Positivo (FPR) e Taxa de Falso Negativo (FNR). Essas métricas determinam se um juiz sistematicamente super-recompensa citações ruins ou sub-recompensa citações boas.

Resultos Principais

1. Custo vs. Desempenho: Juízes mais baratos são competitivos com modelos de fronteira.
   • Relevância da Fonte: O GPT-5-mini (o terceiro modelo mais barato) alcançou o maior F1 (0.908), superando modelos mais caros como o Claude Opus 4.6 (F1=0.866).
   • Suporte Factual: Nenhum modelo único dominou estatisticamente. Embora o Claude Opus 4.6 tenha apresentado a maior estimativa pontual (F1=0.750), seu intervalo de confiança de 95% sobrepôs-se a todos os outros modelos, incluindo o de menor custo, o GPT-OSS-120B (F1=0.649).
2. O Viés Direcional Obscurece Métricas Escalares: Modelos com pontuações F1 semelhantes exibiram diferenças substanciais de viés.
   • A maioria dos juízes foi mais rigorosa que os rótulos de ouro quanto à relevância da fonte, levando a uma alta precisão, mas recall moderado (sub-recompensa sistemática).
   • No suporte factual, as taxas de falso negativo variaram amplamente (de 0.183 a 0.470), o que significa que alguns juízes rejeitaram uma grande fração de afirmações genuinamente sustentadas.
   • Os autores observam que o F1 escalar mascara essas assimetrias, que são críticas porque um FPR alto treina modelos para explorar juízes permissivos, enquanto um FNR alto treina modelos para excesso de cautela ou sub-citação.
3. Discordância e Casos Difíceis: Nos 378 "casos difíceis" onde o conselho inicial discordou, os rankings mudaram significavelmente. Nenhum juiz único correspondeu de forma confiável ao rótulo adjudicado pelo humano nesse subconjunto, sugerindo que o F1 do conjunto completo é um proxy incompleto para a confiabilidade em citações ambíguas.

Significância e Alegações
O artigo argumenta que calibrar o juiz é um pré-requisito para usar rubricas de citação como sinais de recompensa em RLVR. Os autores afirmam que:

• Modelos de fronteira não são estritamente necessários: O modelo mais caro disponível não domina o desempenho, e modelos mais baratos podem alcançar resultados comparáveis ou superiores em dimensões específicas (ex: relevância da fonte).
• O viés importa mais do que a acurácia bruta: A escolha do juiz deve ser impulsionada pelo viés direcional específico exigido pelo loop de treinamento (ex: minimizar falsos negativos vs. falsos positivos) em vez de apenas maximizar o F1 escalar.
• A adjudicação humana é essencial: Como os rankings dos juízes mudam em casos ambíguos e nenhum modelo é perfeitamente confiável em instâncias difíceis, a revisão humana dos desacordos é necessária para estabelecer rótulos de ouro robustos.

O estudo conclui que, embora juízes de menor custo possam fechar o ciclo de forma eficaz, a seleção de um juiz deve ser uma escolha de design deliberada baseada no ajuste da rubrica por dimensão e nas características de viés, em vez de uma suposição padrão de que modelos maiores são superiores.