A Lightweight Retrieval-Grounded Framework for Hallucination Detection and Correction in Large Language Models

Sintesi Tecnica: Un framework leggero basato sul recupero per il rilevamento e la correzione delle allucinazioni nei Large Language Models

Definizione del Problema
I Large Language Models (LLM) sono diventati centrali in applicazioni che spaziano dalle risposte a domande al supporto decisionale aziendale. Tuttavia, rimangono soggetti alle "allucinazioni": output che appaiono fluidi e plausibili ma che sono fattualmente errati, non supportati da prove o incoerenti con la conoscenza verificata. Questo problema pone rischi significativi in domini ad alta posta in gioco come l'assistenza sanitaria, la finanza e il ragionamento legale. Le strategie di mitigazione esistenti, tra cui la Generazione Aumentata dal Recupero (RAG), l'auto-verifica, il fact-checking assistito da strumenti e i framework di dibattito multi-agente, soffrono spesso di limitazioni specifiche: possono concentrarsi esclusivamente sul rilevamento senza offrire la correzione, fare affidamento su ripetute inferenze di modelli di grandi dimensioni che aumentano i costi computazionali, o introdurre un'orchestrazione complessa che ostacola la riproducibilità.

Metodologia
Il documento propone un framework leggero basato sul recupero progettato per rilevare e correggere le allucinazioni senza l'overhead computazionale dell'inferenza multi-LLM in tempo reale. Il sistema è strutturato come una pipeline modulare che scinde generazione, recupero, verifica e correzione.

1. Simulazione di Agenti Modulari: A differenza dei sistemi multi-agente convenzionali che invocano molteplici istanze live di LLM, questo framework modella gli agenti come stadi di elaborazione modulari che operano su risposte di benchmark pre-generate. Questo design isola la verifica e la correzione dalla variabilità della generazione, garantendo una valutazione controllata e riproducibile.
2. Modulo di Recupero: Il sistema utilizza TF-IDF (Term Frequency-Inverse Document Frequency) per il recupero delle evidenze anziché embedding semantici. Questa scelta privilegia l'efficienza computazionale, l'interpretabilità e la riproducibilità, evitando dipendenze da modelli di recupero neurali esterni. Data una query $q$, il sistema recupera i documenti ($D$) più rilevanti top-$k$.
3. Agente di Verifica: Questa componente valuta la coerenza fattuale di una risposta generata ($r_g$) rispetto alle evidenze recuperate ($D$). Utilizza un punteggio di verifica pesato che combina due segnali:
   • Similiarità Risposta–Evidenza: La similarità del coseno TF-IDF tra la risposta generata e i documenti recuperati.
   • Rilevanza Query–Evidenza: La similarità del coseno TF-IDF tra la query originale e i documenti recuperati.
   • Il punteggio è calcolato come: $Score = \alpha \cdot Sim(r_g, D) + (1 - \alpha) \cdot Sim(q, D)$, dove $\alpha$ controlla l'importanza relativa dei due segnali.
   • Una regola decisionale basata su soglia ($\tau$) classifica la risposta come allucinata ($Score < \tau$) o non allucinata ($Score \geq \tau$).
4. Agente di Correzione: Quando una risposta viene segnalata come allucinata, l'agente di correzione revisiona il contenuto. Rimuove le affermazioni non supportate e incorpora informazioni coerenti con le evidenze preservando al contempo le parti rilevanti della risposta originale. Fondamentalmente, questo meccanismo è progettato per essere guidato dalle evidenze e leggero, evitando ulteriori passaggi di inferenza LLM.

Contributi Chiave
Il documento delinea quattro contributi primari:

1. Un framework leggero di rilevamento e correzione che evita costose inferenze multi-LLM pur preservando un ragionamento modulare ispirato agli agenti.
2. Una pipeline unificata che si estende oltre il semplice rilevamento per produrre risposte corrette guidate dalle evidenze.
3. Una formulazione di verifica pesata basata su soglia che combina esplicitamente la similarità risposta-evidenza e la rilevanza query-evidenza.
4. Una valutazione sperimentale riproducibile sui dataset MedHallu e TruthfulQA, che dimostra forti prestazioni di rilevamento e una riduzione misurabile delle allucinazioni.

Risultati Sperimentali
Il framework è stato valutato su due dataset: MedHallu (9.000 campioni che rappresentano allucinazioni nel dominio medico) e TruthfulQA (817 campioni che rappresentano sfide di fattualità avversarie).

• Prestazioni di Rilevamento: Utilizzando una soglia ottimale ($\tau = 0.55$), il framework ha ottenuto un F1-score di circa 0,93 (specificamente 0,931 sul set combinato) e un recall di 0,891. Sul dataset MedHallu specificamente, l'F1-score ha raggiunto 0,942.
• Prestazioni di Correzione: La fase di correzione ha ridotto il tasso di allucinazioni nell'ambiente MedHallu da 1,0000 a 0,5784, rappresentando una riduzione del 42,16% nelle risposte allucinate.
• Confronti con Baseline: Gli esperimenti hanno mostrato che il solo recupero è insufficiente per il rilevamento, poiché non valida esplicitamente la coerenza tra la risposta e l'evidenza. L'aggiunta del modulo di verifica pesata ha migliorato significativamente le metriche di rilevamento.
• Limitazioni Osservate: Su TruthfulQA, la fase di correzione ha mostrato un "tasso di regressione" di 0,2485, indicando che la correzione basata sulla similarità può talvolta alterare inutilmente risposte fattuali. Ciò suggerisce che, sebbene efficace per le allucinazioni di dominio specifico, l'attuale approccio basato sulla similarità richiede un controllo attento per query avversarie o basate su misconception.

Significatività e Rivendicazioni
Il documento sostiene che la sua principale significatività risieda nell'offrire un'alternativa riproducibile e computazionalmente efficiente ai complessi sistemi di verifica multi-agente. Modellando gli agenti come stadi modulari piuttosto che come chiamate live a LLM, il framework elimina la necessità di ripetute inferenze di modelli di grandi dimensioni, rendendolo adatto ad ambienti con risorse limitate.

Gli autori affermano che la verifica esplicita è essenziale; il solo recupero fornisce contesto ma non conferma il supporto fattuale. La loro formulazione di punteggio pesato affronta questo gap. Inoltre, il lavoro sottolinea che la mitigazione non deve fermarsi al rilevamento; il processo di correzione proposto migliora attivamente l'affidabilità fattuale dell'output finale. Tuttavia, il documento riconosce con modestia che il recupero TF-IDF e la similarità lessicale sono più deboli per casi basati sul ragionamento o avversari, suggerendo che le iterazioni future dovrebbero incorporare embedding semantici e verifica basata sull'implicazione (entailment).