ClaimDB: A Fact Verification Benchmark over Large Structured Data

1. Il Problema

La verifica dei fatti nel mondo reale spesso richiede l'analisi di dati strutturati su larga scala (milioni di righe, molteplici tabelle), come quelli utilizzati per giustificare decisioni politiche o economiche (es. tassi di inflazione, statistiche criminali).
Tuttavia, i benchmark esistenti per la verifica dei fatti (come FEVER, TabFact) si basano su evidenze piccole, spesso estratte da Wikipedia o articoli scientifici, che rientrano facilmente nella finestra di contesto (context window) di un Large Language Model (LLM).
Il gap identificato: Le affermazioni basate su database reali contengono milioni di record e richiedono ragionamenti composizionali (es. aggregazioni, ordinamenti su grandi dataset) che superano di ordini di grandezza la capacità di "lettura" in contesto degli LLM attuali (anche quelli con finestre di contesto fino a 1-2 milioni di token). I metodi attuali che tentano di "leggere" i dati falliscono, rendendo necessario un approccio basato su programmi eseguibili.

2. Metodologia e Costruzione del Benchmark

Gli autori hanno sviluppato CLAIMDB, un benchmark progettato specificamente per valutare la verifica dei fatti su grandi database strutturati.

• Origine dei Dati: Il benchmark è derivato dal benchmark BIRD (NL-to-SQL), utilizzando 80 database reali unici che coprono 11 domini principali (dalla governance e sanità ai media, all'educazione e alle scienze naturali).
• Pipeline di Generazione:
  1. Filtraggio delle Query: Partendo da 11.000 coppie domanda-SQL di BIRD, vengono selezionate solo le query che richiedono ragionamento composizionale (es. funzioni di aggregazione come AVG/SUM, ordinamenti, join multi-tabella, finestre). Le query di semplice lookup (es. "chi è il sindaco?") vengono scartate.
  2. Esecuzione: Le query SQL vengono eseguite sui database reali per ottenere risposte esatte (Question/Answer pairs).
  3. Generazione delle Affermazioni (Claims): Utilizzando gpt-5, vengono generate affermazioni basate sulle risposte:
     • Entailed (Sostenute): Affermazioni veritiere basate sui dati.
     • Contradicted (Smentite): Affermazioni false che contraddicono i dati.
     • NEI (Not Enough Info): Affermazioni non verificabili, suddivise in tre sottocategorie: Out-of-Schema (concetti non presenti nel DB), Counterfactual (scenari ipotetici) e Subjective (opinioni).
  4. Controllo di Qualità: Viene utilizzato un panel di giudici LLM (Phi-4, grok-3-mini, mistral-small) per filtrare le affermazioni, rimuovendo quelle con errori di etichettatura, riferimenti opachi al contesto o "leak" dello schema del database.
• Statistiche del Dataset:
  • Totale affermazioni: 53.368.
  • Distribuzione: 12.855 Entailed, 16.529 Contradicted, 23.984 NEI.
  • Scala: Ogni affermazione è associata a un database con una media di 11.3 tabelle e 4,6 milioni di record.
  • Contesto: Se convertito in testo, il contesto di evidenza per affermazione è di circa 110 milioni di token, ben oltre le capacità di qualsiasi LLM moderno.

3. Contributi Chiave

1. Nuovo Benchmark Realistico: CLAIMDB è il primo benchmark che sposta la verifica dei fatti dal contesto di "piccole tabelle" a quello di "grandi database relazionali", costringendo i modelli a ragionare tramite esecuzione di codice (SQL) piuttosto che tramite lettura in contesto.
2. Analisi della Scalabilità: Dimostra che l'approccio "read-and-reason" è obsoleto per dati di questa scala e che l'uso di agenti tool-calling (capaci di eseguire query SQL) è l'unica via praticabile.
3. Valutazione Estensiva: Include la valutazione di 30 modelli LLM (sia proprietari che open-source, sotto i 70B di parametri) in un'architettura neuro-simbolica.
4. Scoperta sul "Rifiuto" (Abstention): Identifica un problema critico nella capacità dei modelli di ammettere quando non ci sono prove sufficienti (categoria NEI).

4. Risultati Sperimentali

Gli autori hanno testato i modelli utilizzando agenti che possono eseguire query SQL su un database (limite di 20 chiamate per strumento).

• Performance Generali: Più della metà dei modelli valutati (17 su 30) ha ottenuto un'accuratezza inferiore al 55%.
• Leaderboard:
  • Il modello proprietario gpt-5-mini ha ottenuto le prestazioni migliori (82.7% di accuratezza, Macro-F1 0.828).
  • Seguono claude-haiku-4.5 e gemini-3-flash.
  • Tra gli open-source, gpt-oss-20b è l'unico ad avvicinarsi alle prestazioni dei modelli proprietari, mentre gli altri rimangono significativamente indietro.
• Problema dell'Abstention (NEI):
  • I modelli proprietari tendono a non rifiutare (under-abstain): quando la risposta è NEI, tendono a forzare una risposta "Entailed" o "Contradicted" con alta confidenza.
  • I modelli open-source tendono a rifiutare eccessivamente (over-abstain): classificano erroneamente come NEI affermazioni che invece sono verificabili.
  • Nessuno dei due comportamenti è ideale per compiti ad alto rischio.
• Fallimenti Non Superficiali: I modelli migliori (es. gpt-5-mini) hanno un tasso di successo delle query SQL molto alto (>93%), il che indica che gli errori non sono dovuti a sintassi SQL errata, ma a fallimenti nel ragionamento su come comporre le query per navigare il database.
• Contaminazione Dati: Testando il modello migliore senza accesso agli strumenti (solo conoscenza parametrica), le prestazioni sono crollate a livelli casuali, confermando che il benchmark non può essere risolto tramite memorizzazione dei dati di addestramento.

5. Significato e Implicazioni

• Svolta Metodologica: CLAIMDB segna il passaggio dalla verifica dei fatti basata sulla "lettura" di documenti alla verifica basata sul "ragionamento" su dati strutturati massivi.
• Sfida per gli LLM: Evidenzia che, nonostante i progressi, gli LLM attuali faticano a gestire la complessità composizionale richiesta dai dati reali su larga scala e hanno difficoltà critiche nel gestire l'incertezza (categoria NEI).
• Rilevanza per il Mondo Reale: Poiché le decisioni critiche (politiche, sanitarie, economiche) si basano su grandi dataset, la capacità di un sistema di verificare affermazioni su tali dati senza allucinazioni è fondamentale. CLAIMDB fornisce lo strumento necessario per valutare e migliorare questa capacità.
• Disponibilità: Il benchmark, il codice e la leaderboard sono stati resi pubblici per favorire la ricerca futura in questo settore.

In sintesi, il paper dimostra che la verifica dei fatti su larga scala richiede un cambio di paradigma verso agenti capaci di eseguire codice (SQL) e che i modelli attuali, pur facendo progressi, hanno ancora lacune significative nel ragionamento logico su grandi volumi di dati e nella gestione dell'incertezza.