Resumo Técnico: Precisão não é Fidelidade

Declaração do Problema

As métricas atuais de fidelidade sem referência para geração fundamentada sofrem de um ponto cego crítico: elas medem apenas a precisão (a proporção de afirmações feitas por um modelo que são sustentadas pela verdade fundamental) mas ignoram o recall ou revocação (a proporção de fatos relevantes da verdade fundamental que o modelo realmente declarou).

Como essas métricas não penalizam omissões, elas inadvertidamente recompensam a abstenção. Um modelo pode alcançar pontuações de fidelidade quase perfeitas ao declarar um único fato seguro e omitir todas as outras informações relevantes. Em configurações de domínio aberto, medir o recall é estruturalmente difícil porque não existe um conjunto completo e enumerável de fatos relevantes para servir como denominador. Consequentemente, os benchmarks existentes não conseguem distinguir entre um modelo que é altamente informativo e um que é meramente cauteloso e pouco informativo.

Metodologia

Para abordar isso, os autores introduzem uma abordagem de oráculo completo (complete-oracle), utilizando domínios onde a verdade fundamental estratégica pode ser derivada deterministicamente e de forma exaustiva.

1. O Oráculo Completo (Fórmula 1 & Clima)

O principal domínio experimental é a explicação de estratégia da Fórmula 1. Usando a API FastF1, os autores extraem dados de cronometragem e telemetria para derivar um conjunto determinístico de eventos estratégicos (paradas nos boxes, compostos de pneus, tentativas de undercut/overcut, defesas em pista).

• Completude: Para cada instância de decisão, o sistema enumera o conjunto completo de fatos verificáveis que uma explicação fiel deve cobrir (ex: números específicos de voltas de pit stop, mudanças de composto, lacunas de tempo).
• Benchmark: Foi construído um conjunto de dados multilíngue (Inglês, Espanhol, Português) de 7.253 instâncias de decisão abrangendo 150 corridas (2018–2025).
• Domínio Secundário: Os achados foram replicados em um domínio de previsão meteorológica usando registros da NOAA, onde cada registro de previsão constitui um conjunto completo de fatos enumeráveis.

2. A Métrica: Precisão + Recall

Os autores propõem uma métrica sem referência que decompõe as gerações do modelo em afirmações atômicas e as verifica contra a verdade fundamental estruturada:

• Precisão (Fidelidade): A fração de afirmações feitas pelo modelo que são sustentadas.
• Recall (Cobertura): A fração dos fatos enumeráveis da verdade fundamental que o modelo declarou corretamente.
• F1 Score: A média harmônica da precisão e do recall, usada para avaliar o equilíbrio entre precisão e informatividade.

3. Extração e Verificação

Dois backends de extração foram empregados para garantir robustez:

• Um extrator de regex independente de dependências (para Inglês) e um extrator de LLM (para suporte multilíngue) para converter texto livre em afirmações tipadas.
• A verificação foi validada via perturbação controlada (injeção de erros) e concordância entre extratores (correlação de Spearman de 1.00 entre o regex e os extratores de família de LLM no nível do sistema).

4. Geração Guiada pelo Verificador

Um método de geração foi desenvolvido onde um modelo refina iterativamente sua saída com base no feedback de um verificador estruturado. O ciclo de feedback fornece instruções direcionadas para corrigir afirmações contraditórias e adicionar fatos da verdade fundamental não cobertos, melhorando tanto a precisão quanto o recall sem exigir textos de referência.

Principais Resultados

1. A Precisão Recompensa a Abstenção; a Cobertura Reordena o Ranking

O achado central é que o ranking dos modelos muda significamente quando a cobertura é exigida.

• O "Efeito Abstenção": O modelo mais preciso do estudo, grok-4.3 (Precisão 0.89 em Português), cobriu apenas 0.46 dos fatos relevantes, resultando na menor pontuação F1 (0.61).
• Inversão de Ranking: Por outro lado, modelos mais verbosos como o DeepSeek-V3.2 tiveram uma precisão ligeiramente menor, mas um recall significativamente maior, levando a um F1 muito superior.
• Consistência: Essa inversão ocorreu em todos os três idiomas (EN, ES, PT) e no domínio secundário de clima. O modelo mais preciso nunca foi o mais completo.

2. O Prompting Não Resolve a Lacuna

Experimentos com um prompt explícito de "cobrir tudo" (instruindo os modelos a declarar todos os fatos suportáveis) falharam em fechar a lacuna de cobertura. Na verdade, o recall médio diminuiu (de 0.60 para 0.47), e apenas 2 de 5 modelos mostraram qualquer melhoria. Isso indica que a baixa cobertura não é apenas um artefato de sub-prompting, mas uma limitação fundamental dos modelos atuais na geração de texto fundamentado abrangente.

3. Modelos Pequenos Ajustados (Fine-Tuned) Podem Competir

Um modelo pequeno de código aberto (Qwen2.5-3B) ajustado em explicações fundamentadas alcançou o maior F1 score (0.982) no estudo, superando modelos de fronteira. No entanto, os autores observam que este desempenho depende do modelo reproduzir fielmente templates determinísticos, levantando uma ressalva sobre mimetismo de template versus raciocínio genuíno.

4. Geração Guiada pelo Verificador Melhora o Desempenho

A aplicação do método de autocorreção guiada pelo verificador ao gpt-5.4-mini aumentou sua precisão de 0.640 para 0.881, demonstrando que sinais de verificação estruturada podem guiar efetivamente a geração sem textos de referência.

Significância e Alegações

O artigo afirma que precisão não é fidelidade. Ao introduzir uma estrutura de oráculo completo, os autores demonstram que:

1. Métricas de fidelidade sem referência são incompletas: Elas falham em penalizar respostas pouco informativas, levando a avaliações enganosas onde a abstenção é recompensada.
2. Os rankings dos sistemas são instáveis: Depender apenas da precisão reordena as comparações de sistemas, potencialmente promovendo modelos que são precisos, mas inúteis.
3. A cobertura é mensurável: Em domínios com verdade fundamental determinística, o recall pode ser medido exatamente, revelando uma lacuna significativa entre precisão e cobertura nos modelos de fronteira.
4. O problema é geral: O fenômeno não é exclusivo da F1, mas aparece em outros domínios de dados-para-texto (clima), sugerindo que é uma propriedade de métricas baseadas apenas em precisão, e não um problema específico de um conjunto de dados.

Os autores disponibilizam o benchmark, as anotações estruturadas, a métrica, os baselines e um demo interativo para facilitar a pesquisa em avaliação consciente de cobertura. Eles reconhecem limitações, incluindo o fato de que sua métrica de recall é limitada pela ontologia específica de alegações de seu esquema e que os resultados de fine-tuning podem refletir mimetismo de template.