When Verification Fails: How Compositionally Infeasible Claims Escape Rejection

Titolo: Quando la verifica fallisce: come le affermazioni composizionalmente non fattibili sfuggono al rifiuto

1. Il Problema: Limiti della Verifica delle Affermazioni Scientifiche

La verifica delle affermazioni scientifiche è il compito di determinare se un'affermazione è sostenuta da prove scientifiche. Lo standard epistemico rigoroso per questo compito è l'Assunzione di Mondo Chiuso (CWA - Closed-World Assumption): un'affermazione deve essere accettata se e solo se tutte le restrizioni (constraint) che essa asserisce sono positivamente supportate dalle evidenze. Se manca anche una sola prova o se una restrizione è contraddetta, l'affermazione deve essere rifiutata.

Il paper identifica un problema fondamentale: i benchmark esistenti per la verifica delle affermazioni (come NLI4CT, SCITAB e SciVer) non riescono a distinguere tra modelli che applicano correttamente la CWA e modelli che utilizzano una scorciatoia cognitiva chiamata Controllo delle Restrizioni Salienti (Salient-Constraint Checking).

• Scorciatoia: I modelli identificano la restrizione più "saliente" (ovvia o prominente) dell'affermazione, ne verificano il supporto e decidono in base a quella sola, ignorando le altre restrizioni non salienti.
• Fallimento dei Benchmark: I benchmark attuali costruiscono affermazioni "non fattibili" (negative) perturbando un singolo elemento saliente (es. invertire un numero o un trend). Poiché la violazione è sempre saliente, sia la CWA rigorosa che la scorciatoia portano allo stesso risultato (rifiuto). Di conseguenza, i modelli sembrano performare bene, ma in realtà stanno applicando una logica semplificata.

2. Metodologia

Gli autori propongono un nuovo approccio per esporre questo difetto strutturale:

• Costruzione di Affermazioni Composizionalmente Non Fattibili:
  Invece di perturbare un elemento saliente, gli autori creano affermazioni in cui:

  1. La restrizione saliente è supportata dalle evidenze (portando il modello a un potenziale "accettazione").
  2. La violazione risiede in una restrizione non saliente, che richiede la composizione di più parti della stessa fonte di evidenza (es. combinare due frasi di un rapporto clinico, due trend in un grafico o due colonne di una tabella) per essere rilevata.
  • Metodo di Generazione: Viene utilizzato un processo basato su grafi ("corrupt-and-propagate"). Si parte da un'affermazione fattibile e si costruisce un grafo di ragionamento a tre livelli:
    • Osservazione: Fatti direttamente estraibili.
    • Contesto: Relazioni intermedie tra le osservazioni.
    • Interpretazione: Conclusioni di alto livello.
      Si corrompe un nodo non saliente (nel livello di contesto o interpretazione) per creare un'affermazione che sembra plausibile localmente ma è globalmente falsa.

• Valutazione e Interventi:

  • Vengono testati diversi modelli (GPT-5, Gemini, Claude, Qwen3) su tre domini: testi di trial clinici, tabelle scientifiche e grafici.
  • Vengono applicati interventi di prompting (istruzioni CWA, OWA, decomposizione esplicita) per vedere se si può forzare un ragionamento più rigoroso.
  • Viene introdotto un LLM Judge basato su rubriche per analizzare le tracce di ragionamento (reasoning traces) e valutare se il modello ha effettivamente controllato tutte le restrizioni o si è fermato alla saliente.

3. Contributi Chiave

1. Identificazione di un Limite Strutturale: Dimostrano che i benchmark attuali rendono indistinguibili la verifica CWA completa e il controllo delle sole restrizioni salienti.
2. Nuovo Dataset Adversarial: Costruiscono un set di dati di affermazioni "composizionalmente non fattibili" che espone il divario tra i due approcci, mostrando che i modelli accettano sistematicamente queste affermazioni false.
3. Diagnosi del Collo di Bottiglia: Stabiliscono che il fallimento non è una scelta strategica (che può essere corretta con il prompting), ma un collo di bottiglia nel ragionamento composizionale. I modelli non riescono a compiere l'inferenza necessaria per unire le prove disparate, indipendentemente dalle istruzioni date.

4. Risultati Principali

• Divario di Performance: I modelli che ottengono punteggi elevati sui benchmark standard mostrano un calo drastico di accuratezza sulle affermazioni composizionalmente non fattibili (es. su SciVer, alcuni modelli scendono di oltre 20 punti percentuali).
• Accettazione Sistematica: I modelli tendono ad accettare le affermazioni avversarie perché la restrizione saliente è supportata, ignorando la violazione nascosta nella composizione.
• Analisi delle Tracce di Ragionamento: L'analisi delle tracce conferma che i modelli spesso terminano la verifica prematuramente alla restrizione saliente, senza esplorare le relazioni composizionali necessarie.
• Limiti del Prompting: Gli interventi di prompting (come l'istruzione esplicita di seguire la CWA o la decomposizione) spostano il modello lungo una curva ROC (migliorando il rifiuto ma peggiorando l'accettazione di affermazioni vere), ma non risolvono il problema di fondo. Anche con le istruzioni più rigide, i modelli non riescono a raggiungere la stessa accuratezza sulle affermazioni negative complesse come su quelle semplici, indicando una limitazione intrinseca nella capacità di inferenza composizionale.
• Verifica Interna: Il fenomeno si riproduce anche nella "self-verification" (quando il modello verifica le proprie risposte), suggerendo che è una tendenza generale di verifica e non specifica solo per l'analisi di dati esterni.

5. Significato e Implicazioni

Il paper evidenzia che l'attuale generazione di LLM soffre di un collo di bottiglia strutturale nel ragionamento composizionale.

• Sovra-accettazione: I modelli sono inclini a sovraccettare informazioni scientifiche false se la parte più evidente sembra corretta, un rischio critico per la disinformazione scientifica.
• Inefficacia delle Strategie Attuali: Semplici aggiustamenti nelle istruzioni (prompting) o nell'allineamento alla sicurezza non sono sufficienti a correggere questo difetto cognitivo.
• Direzione Futura: Per migliorare la verifica scientifica, sarà necessario sviluppare metodi di addestramento che incentivino specificamente il ragionamento di tipo "per tutti" (∀-type reasoning, tipico della CWA) invece del ragionamento "esistenziale" (∃-type, dove basta una prova positiva), attualmente predominante nei dati di pre-addestramento.

In sintesi, il lavoro smaschera una vulnerabilità fondamentale nei modelli attuali: la loro capacità di verificare la coerenza logica complessa è inferiore a quanto suggerito dai benchmark tradizionali, rendendoli vulnerabili a forme sofisticate di disinformazione scientifica.