Improved Evidence Extraction and Metrics for Document Inconsistency Detection with LLMs

Titolo

Miglioramento dell'Estrazione delle Prove e delle Metriche per il Rilevamento di Incoerenze nei Documenti con Modelli Linguistici di Grande Dimensione (LLM)

1. Problema e Contesto

Sebbene i Large Language Models (LLM) abbiano dimostrato capacità impressionanti in molti ambiti, la ricerca sul loro utilizzo per il rilevamento di incoerenze nei documenti (document inconsistency detection) è ancora limitata.

• Definizione del problema: L'obiettivo è dato un documento di input $x$, classificare la presenza di incoerenze ($y \in \{Sì, No\}$) e, se presenti, identificare l'insieme delle frasi incoerenti (le prove o evidence set $E$).
• La sfida specifica: A differenza del Natural Language Inference (NLI) che confronta una premessa e un'ipotesi, questo lavoro si concentra sulle contraddizioni all'interno di un singolo documento lungo. Gli studi psicologici indicano che gli esseri umani faticano a rilevare contraddizioni in testi lunghi e complessi, rendendo necessaria un'automazione efficace.
• Il gap attuale: Le metriche esistenti si concentrano principalmente sulla classificazione (accuratezza, F1-score) o su metriche di estrazione delle prove poco complete (come l'Evidence Hit Rate che premia anche l'estrazione eccessiva di frasi irrilevanti). Manca un approccio che bilanci l'accuratezza della classificazione con la precisione e il recall delle frasi estratte, minimizzando il "rumore" per l'utente finale.

2. Metodologia

Gli autori propongono un nuovo framework e un set di metriche per valutare e migliorare le prestazioni degli LLM.

A. Nuove Metriche di Estrazione delle Prove

Per superare i limiti delle metriche tradizionali, vengono introdotti indicatori specifici per l'estrazione:

1. Evidence Hit Rate (EHR) / EHRC: Misura se l'insieme completo delle prove vere è stato estratto (una metrica molto severa).
2. Evidence Precision Rate (EPR) / EPRC: Penalizza i metodi che estraggono molte frasi false positive (rumore).
3. Evidence Recall Rate (ERR) / ERRC: Premia l'estrazione parziale delle prove (più tollerante rispetto all'EHR).
   Queste metrice permettono di analizzare il compromesso tra trovare tutte le prove e non sovraccaricare l'utente con informazioni non pertinenti.

B. Framework "Redact-and-Retry" (RnR)

Per migliorare le prestazioni, gli autori introducono un algoritmo iterativo:

1. Redact (Cancellazione): L'LLM analizza il documento e identifica le frasi incoerenti. Queste frasi vengono poi rimosse dal documento originale.
2. Retry (Riprova): L'LLM viene chiamato nuovamente sul documento modificato (senza le frasi già trovate) per cercare ulteriori incoerenze. Questo riduce lo spazio di ricerca e preserva l'ordine delle frasi rimanenti.
3. Filter (Filtro): Dopo aver aggregato tutte le prove trovate durante le iterazioni, viene effettuata una chiamata aggiuntiva all'LLM (il "filtro") per rianalizzare l'insieme delle prove candidate e rimuovere quelle che non sono realmente incoerenti.
   • Viene testato un filtro vincolato (Constrained Filter - CF) che obbliga l'LLM a restituire almeno una frase, mantenendo la classificazione iniziale di "Sì" se presente, evitando così di annullare erroneamente una rilevazione corretta.

3. Contributi Chiave

1. Nuove Metriche Comprehensive: Introduzione di un set di metriche (EPR, ERR, ecc.) che valutano l'efficacia dell'estrazione delle prove in modo più olistico rispetto alla sola classificazione.
2. Framework RnR+CF: Dimostrazione che l'approccio "Redact-and-Retry" combinato con un filtro vincolato migliora significativamente le prestazioni di estrazione rispetto al Direct Prompting, Self-Consistency e Self-Criticism.
3. Dataset ContraDocPaired: Creazione di un nuovo dataset semi-sintetico derivato da ContraDoc. Mentre il dataset originale conteneva documenti con una sola incoerenza, ContraDocPaired è stato costruito unendo documenti per creare casi con due frasi incoerenti ($|E|=2$). Questo permette di testare la capacità dei modelli di trovare più prove contemporaneamente, un limite dei dataset precedenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due modelli (GPT-4o e LLaMA3.2-90B) e sui dataset ContraDoc e ContraDocPaired.

• Classificazione: Non c'è un vincitore netto tra i metodi per la sola classificazione binaria (Sì/No). Tuttavia, il metodo Self-Criticism ha mostrato prestazioni inferiori su LLaMA3.2-90B.
• Estrazione delle Prove: Il metodo RnR+CF (Redact-and-Retry con Filtro Vincolato) si è rivelato il migliore in assoluto.
  • Ha ottenuto i punteggi più alti nelle metriche di precisione (EPR) e recall (ERR), mantenendo un numero di frasi estratte basso e gestibile.
  • Rispetto al Direct Prompting, RnR+CF riduce drasticamente le false positive senza sacrificare la capacità di trovare le prove reali.
• Analisi del Filtro: L'ablation study ha mostrato che il filtro vincolato offre il miglior compromesso: riduce il numero di frasi estratte (migliorando la precisione) mantenendo alte le metriche di recupero delle prove, a differenza del filtro non vincolato che può talvolta cancellare prove valide.
• Scalabilità: Anche raddoppiando la dimensione delle prove (da 1 a 2 frasi), il numero di iterazioni (retry) necessarie è rimasto basso e controllato, indicando che il metodo scala bene.

5. Significato e Implicazioni

Questo lavoro è significativo per diversi motivi:

• Praticità: Fornisce un metodo (RnR+CF) che è immediatamente applicabile per migliorare l'affidabilità degli LLM nell'analisi di documenti lunghi, riducendo l'ambiguità per l'utente finale.
• Valutazione Rigorosa: Le nuove metriche proposte offrono uno standard più solido per valutare non solo se un modello trova un errore, ma quanto bene lo isola e lo presenta.
• Risorsa per la Ricerca: La pubblicazione di ContraDocPaired colma un vuoto nella disponibilità di dataset per testare scenari con multiple incoerenze, facilitando futuri studi in questo campo emergente.

In sintesi, il paper dimostra che una strategia iterativa di "cancellazione e riprova" combinata con un filtro di raffinamento è superiore ai metodi di prompting standard per il rilevamento di incoerenze documentali, offrendo un equilibrio ottimale tra completezza delle prove e precisione.