ClaimDB: A Fact Verification Benchmark over Large Structured Data

Resumo Técnico: CLAIMDB

1. O Problema

A verificação de fatos no mundo real frequentemente envolve a validação de alegações baseadas em dados estruturados em larga escala (milhões de registros, múltiplas tabelas). Embora existam avanços significativos em benchmarks de verificação de fatos, a maioria deles foca em evidências pequenas (textos curtos, tabelas do Wikipedia ou pequenos conjuntos de dados) que cabem inteiramente na janela de contexto de um Modelo de Linguagem Grande (LLM).

O artigo identifica uma lacuna crítica: alegações reais de alto impacto (como as feitas por políticos sobre inflação ou crimes) são frequentemente resumos de bancos de dados massivos. Tentar verificar essas alegações "lendo" as evidências diretamente no contexto do LLM é inviável, pois o volume de dados (centenas de milhões de tokens) excede em ordens de magnitude a capacidade de contexto dos modelos atuais. Isso exige uma mudança de paradigma: da simples "leitura" para o raciocínio em programas executáveis (como SQL).

2. Metodologia

Os autores propõem o CLAIMDB, um novo benchmark projetado especificamente para testar a capacidade de verificação de fatos sobre grandes bases de dados estruturadas.

• Construção do Dataset:

  • Fonte: O benchmark é derivado do BIRD (um benchmark NL-to-SQL), utilizando 80 bancos de dados reais e únicos cobrindo 11 domínios (governança, saúde, mídia, educação, ciências naturais, etc.).
  • Escala: Cada alegação é vinculada a um banco de dados contendo, em média, 11 tabelas e 4,6 milhões de registros. Em formato de texto, isso equivale a aproximadamente 110 milhões de tokens por contexto de alegação.
  • Filtragem de Consultas: Para garantir que a verificação exija raciocínio composicional, apenas consultas SQL que envolvem agregações (AVG, SUM), ordenações (MAX/MIN), funções de janela ou joins complexos (3+ tabelas) foram selecionadas. Consultas de simples busca (lookup) foram descartadas.
  • Geração de Alegações: Utilizando o gpt-5, foram geradas três categorias de alegações para cada par Pergunta/Resposta (Q/A):
    1. Entailed (E): Alegações verdadeiras baseadas nos dados.
    2. Contradicted (C): Alegações falsas que contradizem os dados.
    3. Not Enough Info (NEI): Alegações que não podem ser verificadas. Esta categoria é subdividida em:
       • Out-of-Schema: Conceitos não presentes no esquema do banco de dados.
       • Counterfactual: Cenários hipotéticos ("e se").
       • Subjective: Opiniões ou julgamentos de valor.

• Controle de Qualidade:

  • Um painel de juízes LLM (Phi-4, Grok-3-mini, Mistral Small) foi utilizado para filtrar alegações com vazamento de esquema, referências opacas ou rótulos incorretos.
  • Para as alegações NEI, foi aplicada uma métrica de similaridade semântica (STS) entre a alegação e o contexto dourado para garantir que as alegações "fora do esquema" não fossem óbvias demais, mantendo um nível de dificuldade adequado.

• Avaliação:

  • O benchmark foi testado com 30 LLMs (proprietários e open-source, abaixo de 70B parâmetros).
  • Arquitetura de Avaliação: Os modelos foram configurados como agentes de chamada de ferramentas (tool-calling agents). Eles têm acesso a um único recurso: a capacidade de executar consultas SQL arbitrárias no banco de dados associado. O modelo deve raciocinar, gerar a consulta, executar e interpretar o resultado para chegar a uma conclusão.
  • Métricas: Precisão, Recall, F1 (Macro-F1) e Acurácia nas três classes (E, C, NEI).

3. Principais Contribuições

1. Novo Benchmark (CLAIMDB): O primeiro conjunto de dados de verificação de fatos focado em dados estruturados massivos (milhões de linhas), forçando o uso de raciocínio executável em vez de in-context learning puro.
2. Escala Realista: Com 53.368 alegações e contextos de ~110M tokens, o benchmark expõe as limitações atuais de janelas de contexto e a necessidade de agentes que interajam com bancos de dados.
3. Análise de "Abstention" (Abstenção): O estudo investiga profundamente a capacidade dos modelos de admitir quando não há evidências suficientes (classe NEI), um ponto crucial para aplicações de alto risco.
4. Liderança e Recursos: Disponibilização do benchmark, código e um leaderboard público para facilitar a pesquisa futura.

4. Resultados Chave

Os experimentos revelaram desafios significativos para os modelos de linguagem atuais:

• Desempenho Geral: Mais da metade dos modelos avaliados (17 de 30) obteve acurácia abaixo de 55%. O modelo proprietário gpt-5-mini liderou com 82,7% de acurácia, seguido por claude-haiku-4.5 e gemini-3-flash.
• Modelos Open-Source: Com exceção do gpt-oss-20b (que teve desempenho comparável aos proprietários), os modelos open-source lutaram significativamente, com a maioria ficando abaixo de 68% de acurácia. Isso indica uma lacuna na capacidade de raciocínio sobre grandes dados estruturados.
• Falha na Abstenção (NEI):
  • Modelos Proprietários: Tendem a evitar a classe NEI, mostrando um viés forte para prever "Entailed" ou "Contradicted" mesmo quando não há dados suficientes (falha em admitir incerteza).
  • Modelos Open-Source: Tendem ao oposto, prevendo NEI excessivamente (super-abstenção), falhando em distinguir entre dados insuficientes e dados que contradizem a alegação.
• Impacto da Interação Longa: O desempenho degrada-se quando o número de chamadas de ferramentas (consultas SQL) aumenta. Modelos de alto desempenho realizam em média 4-8 chamadas; interações mais longas levam a perda de foco e erros de raciocínio.
• Falhas Não Superficiais: Para os melhores modelos, a maioria das consultas SQL é executada com sucesso (93-99% de taxa de sucesso). Isso sugere que as falhas não são de sintaxe, mas sim de raciocínio lógico na composição das consultas para navegar no banco de dados.
• Sem Contaminação de Dados: Testes mostraram que, sem acesso às ferramentas (apenas conhecimento paramétrico), o desempenho dos modelos cai para níveis próximos ao aleatório, confirmando que o benchmark não pode ser resolvido por memorização.

5. Significado e Conclusão

O CLAIMDB representa um passo crucial para alinhar a pesquisa em verificação de fatos com a realidade do mundo corporativo e governamental, onde os dados são massivos e estruturados.

• Mudança de Paradigma: O trabalho demonstra que a verificação de fatos em larga escala não pode depender apenas da "leitura" de contextos longos, mas exige agentes neuro-simbólicos capazes de escrever e executar código (SQL) para extrair evidências.
• Risco em Alta Estaca: A dificuldade dos modelos em lidar corretamente com a classe NEI (admitir falta de evidência) levanta preocupações sérias sobre a confiabilidade de LLMs em tarefas críticas de análise de dados, onde a certeza indevida pode levar a decisões erradas.
• Futuro: O benchmark serve como um ponto de referência para o desenvolvimento de agentes mais robustos, focados em raciocínio composicional e interação eficiente com bancos de dados, além de destacar a necessidade de melhorar a capacidade de abstenção dos modelos.

Em suma, o CLAIMDB expõe que, embora os LLMs tenham avançado, eles ainda não são confiáveis para a verificação de fatos complexos baseados em grandes volumes de dados estruturados sem a ajuda de ferramentas executáveis e raciocínio estruturado.