Probabilistic distances-based hallucination detection in LLMs with RAG

Titolo: Rilevamento delle Allucinazioni negli LLM basati su RAG tramite Distanze Probabilistiche

1. Il Problema

I Large Language Models (LLM) sono ampiamente utilizzati in applicazioni come chatbot e sistemi di intelligenza artificiale, spesso in configurazioni RAG (Retrieval-Augmented Generation), dove il modello genera risposte basandosi su informazioni recuperate da una base di conoscenza esterna. Tuttavia, un problema critico è l'insorgenza di allucinazioni: contenuti generati che sono inaccurati, inventati o non allineati con i fatti reali o con il contesto fornito.
Le attuali metodologie di rilevamento presentano diverse limitazioni:

• Molti metodi non sono specifici per il contesto RAG e ignorano la relazione tra la generazione e il contesto di supporto.
• I metodi basati sulla consistenza richiedono la generazione di multiple risposte, risultando computazionalmente costosi.
• I metodi basati sull'incertezza (probabilità dei token) faticano a catturare dipendenze complesse.
• La maggior parte delle ricerche si è concentrata sulle mappe di attenzione, trascurando le informazioni semantiche ricche codificate negli stati nascosti (hidden states) dei trasformatori.

2. Metodologia Proposta

Gli autori propongono un approccio innovativo che analizza le relazioni tra prompt (contesto) e risposta nello spazio degli stati nascosti dell'LLM, sfruttando la distanza probabilistica tra le loro distribuzioni.

• Ipotesi Fondamentale: Le risposte allucinate mostrano una deviazione maggiore nello spazio latente rispetto alle risposte fondate (grounded). In altre parole, le distribuzioni degli stati nascosti dei token della risposta si discostano significativamente da quelle del prompt quando si verifica un'allucinazione.
• Metrica Principale: Viene utilizzata la Maximum Mean Discrepancy (MMD), una misura statistica per quantificare la differenza tra due distribuzioni di probabilità in uno spazio di Hilbert a kernel riproducibile (RKHS).
  • La distanza MMD viene calcolata tra la distribuzione degli stati nascosti del prompt ($P$) e quella della risposta ($R$).
  • Una distanza maggiore indica una probabilità più alta di allucinazione.
• Calibrazione e P-value: Per rendere il punteggio comparabile tra sequenze di lunghezze diverse e valido in contesti non asintotici, non viene utilizzata la "raw" value della statistica MMD. Invece, si calcola un p-value approssimando la distribuzione nulla tramite una procedura di Wild Bootstrap.
  • Il Wild Bootstrap è scelto invece dello shuffling delle etichette perché permette di catturare esplicitamente le dipendenze sequenziali (autocorrelazione) tipiche dei token linguistici e dell'architettura del transformer.
  • Il punteggio finale di allucinazione è definito come $1 - \text{p-value}$.
• Selezione delle Teste (Head Selection): Invece di utilizzare gli embedding a livello di strato (layer), il metodo estrae gli stati nascosti da specifiche teste di attenzione selezionate.
  • Viene utilizzata una procedura di selezione per identificare le teste che massimizzano la capacità di separazione tra risposte allucinate e fondate su un dataset di prova (probe set).
  • Si è scoperto che le informazioni sulla "fedeltà" (factuality) sono più nitide a livello di singola testa rispetto alla media a livello di strato.
• Approccio Non Supervisionato (Transfer Learning): Sfruttando la somiglianza tra il rilevamento di allucinazioni e il compito di Inferenza Linguistica Naturale (NLI), il metodo può essere addestrato su dataset NLI (come SNLI) e trasferito al rilevamento di allucinazioni senza bisogno di dati etichettati specifici per le allucinazioni.

3. Contributi Chiave

1. Analisi delle Distanze Probabilistiche: Dimostrazione empirica che le risposte allucinate presentano una maggiore divergenza statistica (MMD) rispetto al prompt rispetto alle risposte corrette.
2. Metodo Intrinseco e Senza Esterni: Proposta di un nuovo approccio che utilizza solo gli stati interni del modello, senza richiedere basi di conoscenza esterne o modelli ausiliari.
3. Punteggio Principiato: Utilizzo di MMD combinato con Wild Bootstrap per ottenere un punteggio normalizzato (0-1) statisticamente valido.
4. Detector Non Supervisionato: Costruzione di un rilevatore che mantiene alte prestazioni anche con un forte spostamento di dominio (da NLI a rilevamento di allucinazioni), eliminando la necessità di dati etichettati per le allucinazioni.
5. Performance SOTA: Dimostrazione di risultati all'avanguardia o competitivi su cinque dataset diversi e tre modelli LLM (fino a 13B parametri).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre modelli (Mistral-7B, LLaMA-2-7B, LLaMA-2-13B) e quattro dataset (RAGTruth, CoQA, SQuAD, XSum).

• Performance Generale: Il metodo proposto (MMD) ottiene risultati superiori o competitivi rispetto a nove baseline (inclusi metodi basati su consistenza, incertezza e stati nascosti). In particolare, su LLaMA-2-13B, il metodo raggiunge spesso il miglior punteggio ROC-AUC (es. 0.94 su SQuAD).
• Trasferibilità NLI: Il metodo mantiene prestazioni competitive quando le teste di attenzione vengono selezionate su dataset NLI (SNLI) e applicate a task di rilevamento di allucinazioni, confermando la forte correlazione tra i due compiti.
• Ablation Study:
  • Bootstrap: L'uso del Wild Bootstrap supera l'uso del valore "raw" della MMD, fornendo risultati più stabili e normalizzati.
  • Granularità (Teste vs Strati): L'uso degli embedding a livello di testa (head-level) supera significativamente l'approccio a livello di strato (layer-level), specialmente su dataset come SQuAD, dove le teste preservano meglio i segnali di fattualità.
  • Dimensione del Dataset di Prova: Il metodo è robusto e non dipende fortemente dalla dimensione del dataset di prova per la selezione delle teste.

5. Significato e Impatto

Questo lavoro offre un approccio geometrico semplice ma potente per il rilevamento delle allucinazioni. La sua importanza risiede in diversi aspetti:

• Efficienza: Non richiede la generazione multipla di risposte (come i metodi di consistenza), rendendolo computazionalmente efficiente per l'uso in tempo reale.
• Indipendenza dai Dati: La capacità di funzionare in modalità completamente non supervisionata (tramite transfer da NLI) lo rende applicabile in scenari reali dove i dati etichettati per le allucinazioni sono scarsi o inesistenti.
• Affidabilità in RAG: Affronta specificamente il problema critico delle allucinazioni nei sistemi RAG, essenziali in settori ad alto rischio come legge, finanza e sanità, migliorando l'affidabilità dei sistemi AI.
• Scoperta Scientifica: Fornisce nuove evidenze sul fatto che le informazioni sulla "veridicità" risiedono in specifiche teste di attenzione e possono essere rilevate attraverso la divergenza statistica degli stati latenti.

In sintesi, gli autori dimostrano che misurare la divergenza statistica tra le distribuzioni degli stati nascosti di prompt e risposta è un indicatore robusto di allucinazione, offrendo una soluzione scalabile e precisa per mitigare i rischi degli LLM.