Sintesi Tecnica: Un Framework Multilivello per il Rilevamento e la Mitigazione delle Allucinazioni nei Large Language Models

1. Definizione del Problema

I Large Language Models (LLM) generano testi fluidi e coerenti, ma producono frequentemente "allucinazioni": affermazioni fattualmente errate, non supportate o incomplete. Questo problema è particolarmente critico in domini ad alto rischio come l'assistenza sanitaria, l'istruzione e la ricerca scientifica, dove piccole imprecisioni possono portare a gravi malintesi o decisioni errate. I metodi di rilevamento esistenti soffrono spesso di diverse limitazioni:

• Granularità Grossolana: Molti approcci valutano l'intera risposta come un'unica unità, fallendo nel rilevare allucinazioni parziali in cui una risposta è quasi del tutto corretta ma contiene specifiche affermazioni false.
• Mancanza di Fondamento Esterno: I metodi basati sulla autoconsistenza o sull'analisi dello stato interno si affidano ai propri output o agli stati nascosti del modello, che possono propagare gli stessi errori.
• Costo Computazionale: Il dibattito tra più agenti o i metodi di campionamento ripetuto sono spesso troppo costosi per l'implementazione in tempo reale.
• Lacune di Integrazione: La Generazione Aumentata da Recupero (RAG), la verifica dei fatti e la stima dell'incertezza sono spesso trattati come processi separati piuttosto che come un unico pipeline unificato.

Il documento sostiene la necessità di scomporre le risposte in affermazioni atomiche, fondarle in prove esterne, verificarle in modo efficiente e raffinare i casi incerti attraverso un ragionamento strutturato.

2. Metodologia

Gli autori propongono un Framework Multilivello che integra il fondamento tramite recupero (retrieval grounding), la decomposizione in affermazioni atomiche, la verifica tramite Small Language Model (SLM) e il ragionamento neuro-simbolico. Il processo opera attraverso le seguenti fasi:

2.1 Generazione Iniziale e Decomposizione Atomica

• Generazione: Un LLM genera una risposta iniziale ($A_0$) a una query dell'utente ($Q$). Questa risposta è trattata come non verificata.
• Decomposizione: Il framework scompone $A_0$ in un insieme di affermazioni fattuali atomiche ($F = \{f_1, f_2, ..., f_n\}$). Ogni affermazione è una proposizione autosufficiente e verificabile (ad esempio, separando "Marie Curie è nata a Varsavia" e "Marie Curie ha vinto due premi Nobel"). Il contenuto non verificabile (opinioni, stile) viene escluso.

2.2 Livello 1: Fondamento Semantico (Recupero)

• Per ogni affermazione atomica $f_i$, il sistema recupera l'evidenza pertinente ($E_i$) da un corpus di documenti ($D$) utilizzando la ricerca semantica basata su vettori.
• Le affermazioni e i frammenti di documenti vengono codificati in vettori densi, e la similarità del coseno viene utilizzata per identificare i passaggi di evidenza top-$k$ più rilevanti.
• Questo livello fornisce il contesto fattuale necessario per la verifica, riducendo la dipendenza dalla conoscenza interna dell'LLM.

2.3 Livello 2: Gate di Incertezza e Consistenza (Verifica SLM)

• Un modello linguistico piccolo e leggero (SLM), nello specifico Qwen2.5-1.5B-Instruct, funge da verificatore probabilistico.
• L'SLM riceve l'affermazione ($f_i$), l'evidenza recuperata ($E_i$) e la query originale ($Q$).
• Produce probabilità per tre etichette: SUPPORTED (Supportata), CONTRADICTED (Contraddetta) e UNDER-SPECIFIED (Non specificata).
• Calibrazione: Il sistema calcola l'incertezza (entropia normalizzata) e applica soglie decisionali ($\tau$). Per minimizzare i falsi positivi, viene utilizzata una soglia conservativa ($\tau \approx 0.6$) nel sistema finale, sebbene una soglia inferiore ($\approx 0.40$) produca un F1 score più elevato. Le affermazioni con bassa confidenza vengono segnalate come incerte invece di essere forzate in una decisione binaria.

2.4 Livello 3: Ragionamento Neuro-Simbolico

• Questo livello raffina le decisioni per i casi limite o incerti.
• Impiega un insieme predefinito di regole logiche (ad esempio, le affermazioni numeriche richiedono prove esplicite) e un LLM di ragionamento per rivalutare le affermazioni in cui la confidenza dell'SLM è bassa o l'evidenza è ambigua.
• L'output è un verdetto raffinato: SUPPORTED (Supportata), CORRECTED (Corretta - affermazione modificata), REJECTED (Rifiutata) o INSUFFICIENT (Insufficiente), accompagnato da una spiegazione in linguaggio naturale ($w_i$).

2.5 Output Calibrato sulla Fiducia

• La risposta finale ($A^*$) viene ricostruita utilizzando solo le affermazioni validate e corrette.
• Un Punteggio di Fiducia globale ($T$) viene calcolato in base alle probabilità di supporto e all'incertezza delle affermazioni incluse, fornendo all'utente un indicatore di affidabilità.

3. Contributi Chiave

1. Decomposizione a Livello di Affermazione: Il framework sposta la rilevazione delle allucinazioni dalla valutazione a livello di risposta alla analisi a livello di affermazione atomica, consentendo l'identificazione di allucinazioni parziali all'interno di risposte altrimenti corrette.
2. Pipeline di Verifica Ibrida: Integra il fondamento tramite recupero, la verifica basata su SLM e il ragionamento neuro-simbolico in un'unica architettura. Ciò combina l'efficienza dei modelli leggeri con la coerenza logica del ragionamento basato su regole.
3. Design Consapevole dell'Incertezza: Modellando esplicitamente l'incertezza e utilizzando soglie conservative, il sistema dà priorità all'evitare etichette "SUPPORTED" errate rispetto alla massimizzazione del richiamo (recall), rendendolo adatto ad applicazioni ad alta fiducia.
4. Interpretabilità: Il sistema genera spiegazioni sul perché le affermazioni siano accettate, rifiutate o corrette, e fornisce un punteggio di fiducia globale, aumentando la trasparenza.

4. Risultati Sperimentali

Il framework è stato valutato su due dataset: SciFact (verifica di affermazioni scientifiche) e HotpotQA (risposta a domande multi-hop).

4.1 Metriche di Prestazione

• SciFact: Il framework completo ha raggiunto un'accuratezza di 0.511 e un macro-F1 score di 0.504.
  • Osservazione: La variante "no-reasoner" ha ottenuto prestazioni quasi identiche, suggerendo che il verificatore SLM gestisce la maggior parte del lavoro di classificazione strutturata per questo dataset.
• HotpotQA: L'intero pipeline ha raggiunto un token-level F1 score di 0.146.
  • Studio di Ablazione: Rimuovere la componente di recupero ha causato un drastico calo delle prestazioni (l'F1 è sceso a 0.034), evidenziando che il fondamento tramite recupero è la componente più critica per la qualità della risposta.
  • Rimuovere lo strato di ragionamento o il verificatore SLM ha avuto un impatto minimo sul token-level F1, ma ha influenzato il comportamento di verifica e l'interpretabilità.

4.2 Comportamento di Verifica e Calibrazione

• Strategia Conservativa: Il modello classifica frequentemente le affermazioni come UNDER-SPECIFIED (42.7% delle affermazioni) quando l'evidenza è debole, invece di tirare a indovinare. Ciò riduce i falsi positivi ma abbassa il richiamo per le affermazioni supportate.
• Calibrazione della Confidenza: L'ROC-AUC era 0.87, e la curva di calibrazione ha mostrato che punteggi di confidenza più elevati correlavano generalmente con una maggiore correttezza. Il sistema distingue efficacemente tra affermazioni supportate, contraddette e incerte.
• Sensibilità della Soglia: Sebbene l'F1 score ottimale si sia verificato a una soglia di $\approx 0.40$, il sistema finale utilizza una soglia più rigorosa ($\approx 0.6$) per garantire un'alta precisione e ridurre il rischio di validare affermazioni non supportate.

4.3 Efficienza

• L'intero pipeline media 20.6 secondi per query.
• Il passaggio di verifica SLM assorbe la maggior parte della latenza, mentre il recupero aggiunge un overhead minimo. Questo è significativamente più efficiento rispetto al dibattito tra più agenti o al campionamento ripetuto di grandi modelli.

5. Significato e Rivendicazioni

Il documento sostiene che questo framework offre un equilibrio pratico tra accuratezza, affidabilità, interpretabilità e costo computazionale. La sua importanza risiede nel:

• Mitigare le Allucinazioni Parziali: Verificando le affermazioni individualmente, il sistema può correggere errori specifici senza scartare l'intera risposta.
• Ridurre l'Onere Computazionale: Utilizzare un verificatore piccolo e specializzato (SLM) invece di interrogare ripetutamente un grande LLM rende il sistema fattibile per l'implementazione nel mondo reale.
• Calibrazione della Fiducia: Il sistema non si limita a fornire una risposta; fornisce un punteggio di confidenza e una spiegazione, permettendo agli utenti di valutare l'affidabilità delle informazioni.
• Affidabilità Basata sull'Evidenza: I risultati dimostrano che senza il fondamento tramite recupero, le prestazioni di verifica crollano, provando che l'evidenza esterna è essenziale per l'affidabilità fattuale.

Gli autori concludono che, sebbene il sistema rimanga conservativo (potenzialmente mancando alcune affermazioni supportate per evitare errori), questo compromesso è necessario per applicazioni ad alto rischio dove una risposta sicura ma errata è più dannosa di una incerta. Il lavoro futuro suggerisce di migliorare la qualità del recupero, espandere le regole di ragionamento e testare il framework in contesti open-domain più ampi.