Riepilogo Tecnico: ConflictScore: Identificare e Misurare come i Modelli Linguistici Gestiscono le Prove Conflittuali

Definizione del Problema

I Large Language Models (LLM) sono sempre più impiegati in contesti di generazione aumentata dal recupero (RAG) per compiti come il question answering e la generazione di report, dove devono sintetizzare informazioni provenienti da molteplici fonti. Tuttavia, queste fonti contengono frequentemente prove conflittuali dovute ad ambiguità, opinioni divergenti o fatti contraddittori. Le metriche esistenti per valutare la fattualità e la fedeltà (ad es., FactScore, SAFE) trattano tipicamente l'intero insieme di documenti di base come un unico corpus di riferimento unificato. Di conseguenza, se almeno un documento supporta una dichiarazione, la metrica spesso la etichetta come supportata, trascurando la presenza di altri documenti che la contraddicono. Questo inquadramento globale non riesce a catturare la sfumatura del disaccordo tra le evidenze, portando alla valutazione di risposte eccessivamente sicure di sé o fuorvianti che ignorano le prospettive contrastanti.

Metodologia

Gli autori introducono ConflictScore, una nuova metrica progettata per quantificare quanto bene un modello riconosca e navighi le prove conflittuali all'interno dei suoi documenti di base. A differenza degli approcci precedenti che collassano l'insieme delle evidenze, ConflictScore opera su base per singolo documento. Il framework consiste in tre fasi:

1. Decomposizione delle Dichiarazioni (Claim Decomposition): La risposta del modello viene scomposta in un insieme di dichiarazioni fattuali atomiche e minime.
2. Valutazione delle Evidenze: Ogni dichiarazione viene valutata indipendentemente contro ogni documento di base. Un documento viene etichettato come SUPPORT (Supporta), CONTRADICT (Contraddice) o IRRELEVANT (Irrilevante) rispetto alla dichiarazione. Fondamentalmente, un documento è considerato come supporta una dichiarazione anche se la supporta solo parzialmente, incoraggiando un ragionamento sfumato. Una dichiarazione è considerata dotata di "prove conflittuali" se l'insieme dei documenti di supporto ($D^+$) e l'insieme dei documenti contraddittori ($D^-$) sono entrambi non vuoti.
3. Calcolo della Metrica: Il framework aggrega queste etichette in due misure complementari:
   • ConflictScore-Count (CS-C): La proporzione di dichiarazioni in una risposta che presentano conflitti (ovvero, hanno sia prove a supporto che contraddittorie). Punteggi più bassi indicano meno dichiarazioni controverse.
   • ConflictScore-Ratio (CS-R): L'equilibrio tra le evidenze a supporto e quelle contraddittorie. Per ogni dichiarazione in conflitto, calcola il rapporto $|D^-| / (|D^+| + |D^-|)$ e ne fa la media su tutte le dichiarazioni. Ciò cattura la gravità del disaccordo (ad es., una divisione 1:1 rispetto a uno squilibrio 9:1).

Per valutare questa metrica, gli autori hanno costruito ConflictBench, un benchmark che aggrega e trasforma dataset esistenti (ContraQA, MacNoise, AmbigDocs, ConflictingQA) per coprire diversi tipi di conflitto, inclusi controfattuali, ambiguità e opinioni divergenti.

Contributi Chiave

Il documento apporta tre contributi primari:

1. Metrica ConflictScore: Un'estensione robusta e consapevole dei conflitti delle pipeline di fattualità delle dichiarazioni atomiche, che misura esplicitamente come le risposte gestiscono il supporto e la contraddizione simultanei dai documenti di base.
2. ConflictBench: Un benchmark sistematico progettato per valutare il rilevamento e la calibrazione del conflitto attraverso diversi tipi di conflitto, colmando una lacuna nei protocolli di valutazione esistenti.
3. Utilità Diagnostica e Correttiva: La dimostrazione che ConflictScore funge non solo da strumento diagnostico per identificare le dichiarazioni eccessivamente sicure di sé, ma anche da segnale correttivo. Alimentando i segnali di conflitto al modello, gli autori mostrano miglioramenti nella verità delle risposte.

Risultati

Prestazioni di Rilevamento del Conflitto:
Esperimenti su ConflictBench utilizzando modelli all'avanguardia (ad es., Gemini-3.5-Flash, GPT-5.4-Mini) mostrano che la sottoprocedura di rilevamento del conflitto sottostante raggiunge un'alta precisione (0.98) e richiamo (0.90), con un punteggio F1 complessivo di 0.94. Ciò indica che la metrica è ben calibrata per rilevare i conflitti attraverso diversi dataset e famiglie di modelli.

Benchmarking degli LLM:
Applicata a LLM allo stato dell'arte (GPT-5.4-Mini, GPT-5.4-Nano, Qwen3-32B) in un compito di generazione di report con evidenze contraddittorie, i risultati rivelano un divario significativo nella consapevolezza del conflitto. Nonostante le esplicite strategie di prompting che incoraggiano risposte "bilanciate" o "super-bilanciate", i modelli si impegnano frequentemente in una singola posizione. I punteggi CS-C rimangono costantemente alti (intorno a 0.50–0.55), indicando che anche con istruzioni per mitigare l'affermazione, i modelli spesso falliscono nel riconoscere l'intera portata delle evidenze conflittuali.

Feedback Correttivo (TruthfulQA):
In un caso di studio su TruthfulQA, gli autori hanno testato se alimentare i segnali di conflitto al modello potesse migliorare la verità. Utilizzando un'impostazione "Regenerated-RAG" dove il modello rigenera la sua risposta dopo essere stato informato dei conflitti rilevati, hanno osservato miglioramenti costanti rispetto alle impostazioni RAG standard e di controllo basate su prompt.

• Per modelli come gemide3.1-flash-lite, il processo di rigenerazione ha corretto fino al 74% delle risposte originariamente errate introducendo pochissimi nuovi errori (tasso di danno < 3%).
• Ciò suggerisce che i segnali di conflitto possono guidare efficacemente i modelli verso un ragionamento più cauto e accurato, particolarmente in contesti a scelta multipla.

Significato e Limitazioni

Il documento sostiene che ConflictScore fornisca una diagnosi necessaria per il problema dell' "overconfidence" (eccessiva sicurezza) nei sistemi RAG, dove i modelli sintetizzano fonti contraddittorie in risposte definitive e potenzialmente fuorvianti. Quantificando la tensione tra le evidenze a supporto e quelle contraddittorie, offre una via per risposte AI più veritiere e sfumate.

Gli autori riconoscono diverse limitazioni:

• Costo Computazionale: La complessità quadratica di valutare ogni dichiarazione contro ogni documento può essere costosa per output di lunga durata, sebbene siano proposte varianti leggere (ad es., campionamento delle dichiarazioni salienti).
• Affidabilità della Fonte: L'attuale framework tratta tutti i documenti di base allo stesso modo, senza ponderarli in base all'affidabilità della fonte. Sebbene il framework sia compatibile con future estensioni consapevoli dell'affidabilità, non distingue intrinsecamente tra conflitti tra fonti credibili e quelli guidati da evidenze di bassa qualità.
• Dipendenza a Monte: La metrica dipende dall'accuratezza della decomposizione delle dichiarazioni e della successiva etichettatura delle evidenze. Gli errori in questi passaggi possono propagarsi al punteggio finale, e la scelta della granularità delle dichiarazioni può influenzare la valutazione.

In sintesi, il documento stabilisce che gli attuali LLM faticano a gestire naturalmente le evidenze conflittuali e che i meccanismi espliciti di rilevamento e feedback del conflitto sono strumenti efficaci per migliorare la verità e l'affidabilità del contenuto generato.