Sintesi Tecnica: LUMINA – Rilevare le Allucinazioni nei Sistemi RAG con Segnali di Contesto-Conoscenza

1. Formulazione del Problema

I sistemi di Generazione con Recupero di Informazioni (RAG) mirano a mitigare le allucinazioni dei Large Language Model (LLM) ancorando le risposte a documenti esterni recuperati. Tuttavia, anche quando viene fornito un contesto corretto e sufficiente, gli LLM basati su RAG allucinano frequentemente. Il documento postula che questi fallimenti derivino spesso da uno squilibrio tra la dipendenza del modello dal contesto esterno rispetto alla sua conoscenza parametrica interna.

I metodi esistenti per rilevare queste allucinazioni si affidano tipicamente a euristiche di interpretabilità meccanicistica, come la selezione di specifici head di attenzione o strati del transformer per quantificare l'utilizzo del segnale. Questi approcci soffrono di due limitazioni principali:

1. Mancanza di Generalizzabilità: Richiedono una vasta regolazione degli iperparametri specifica per il dataset (ad esempio, la scelta di strati specifici) e spesso non sono trasferibili tra diversi modelli.
2. Mancanza di Validazione: Sebbene correlino con l'allucinazione, non validano statisticamente se i loro punteggi riflettano realmente l'intento di utilizzo del contesto esterno o della conoscenza interna.

Il documento definisce un'allucinazione in un sistema RAG come una risposta in cui il segnale di utilizzo della conoscenza interna ($I$) prevale sproporzionatamente sul segnale di utilizzo del contesto esterno ($E$), anche quando i documenti recuperati contengono l'informazione corretta.

2. Metodologia: Il Framework LUMINA

Gli autori propongono LUMINA, un framework agnostico rispetto agli strati che quantifica le allucinazioni attraverso due segnali distinti: Utilizzo del Contesto Esterno e Utilizzo della Conoscenza Interna. Il punteggio finale di allucinazione è una combinazione pesata di questi due segnali.

2.1 Quantificare l'Utilizzo del Contesto Esterno

Per misurare quanto un LLM faccia affidamento sui documenti recuperati, LUMINA valuta la sensibilità del modello ai cambiamenti semantici nell'input.

• Meccanismo: Il framework confronta la distribuzione di probabilità del token successivo condizionata dal documento recuperato ($d$) rispetto alla distribuzione condizionata da un documento casuale e irrilevante ($d'$).
• Metrica: Impiega la Maximum Mean Discrepancy (MMD) per misurare la distanza tra queste due distribuzioni in uno spazio di embedding.
• Logica: Una maggiore discrepanza indica che le predizioni del modello sono altamente sensibili al contenuto specifico del documento recuperato, implicando un alto utilizzo del contesto esterno. Gli autori utilizzano un kernel coseno per il calcolo della MMD, notando che il metodo è robusto alla scelta del kernel.

2.2 Quantificare l'Utilizzo della Conoscenza Interna

Per misurare la dipendenza dalla conoscenza interna, il framework traccia l'evoluzione degli stati interni del modello attraverso gli strati del transformer.

• Meccanismo: Il metodo utilizza tecniche di Logit Lens per proiettare gli stati nascosti di ogni strato nello spazio delle probabilità dei token. Osserva la "saturazione" delle predizioni — specificamente, come la probabilità del token più probabile evolva dai primi strati fino all'output finale.
• Metrica: Definisce un Tasso di Elaborazione dell'Informazione ($R$). Questa metrica calcola l'entità in cui le predizioni degli strati intermedi differiscono dall'output finale, pesata per la profondità dello strato e normalizzata per l'entropia della predizione.
• Logica: Se le predizioni interne del modello non convergono all'output finale fino agli ultimissimi strati, ciò suggerisce che una significativa elaborazione dell'informazione (e quindi la dipendenza dalla conoscenza interna) sia avvenuta durante l'intero processo per strati. Un tasso di elaborazione dell'informazione più elevato implica un più forte utilizzo della conoscenza interna.

2.3 Validazione Statistica

A differenza dei lavori precedenti, LUMINA include un framework per validare statisticamente che le sue misurazioni siano allineate con le definizioni teoriche di utilizzo. Gli autori formulano quattro ipotesi verificabili (ad esempio, "Le generazioni con documenti recuperati dovrebbero mostrare un utilizzo del contesto esterno superiore rispetto a quelle senza") e utilizzano test di ipotesi statistica (t-test) su grandi set di token per rifiutare le ipotesi nulle, confermando la solidità delle loro metriche.

3. Contributi Chiave

1. Framework Novello: Introduzione di LUMINA, un metodo per quantificare l'utilizzo del contesto esterno e della conoscenza interna senza richiedere la selezione di specifici strati o head di attenzione.
2. Validazione Statistica: Un framework per validare rigorosamente che i punteggi proposti corrispondano agli effettivi comportamenti di utilizzo, colmando una lacuna nella letteratura precedente.
3. Prestazioni allo Stato dell'Arte: Esperimenti estesi che dimostrano come LUMINA superi i metodi di rilevamento delle allucinazioni basati su punteggi o sull'apprendimento esistenti.

4. Risultati Sperimentali

Gli autori hanno valutato LUMINA su due benchmark (RAGTruth e HalluRAG) su quattro LLM open-source istruiti per l'istruzione (Llama2-7B/13B, Llama3-8B, Mistral-7B).

• Prestazioni: LUMINA ha ottenuto costantemente punteggi AUROC e AUPRC elevati. Sul dataset HalluRAG, ha raggiunto punteggi AUROC superiori a 0.9 tra i vari modelli, superando il precedente stato dell'arte (ReDeEP) fino a +13% di AUROC.
• Confronto: Ha superato significativamente i baselines basati sull'incertezza (es. Perplexity, LN-Entropy), i metodi basati sulla coerenza (es. SelfCKGPT) e i metodi di verbalizzazione (es. P(True)).
• Interpretabilità: L'analisi ha confermato la congettura del documento: le allucinazioni sono fortemente associate a bassi punteggi di contesto esterno e punteggi di conoscenza interna sproporzionatamente alti.
• Robustezza:
  • Rumore: Il metodo è rimasto robusto anche quando veniva iniettato del rumore (frasi casuali) nei documenti recuperati o casuali, con solo lievi degradazioni delle prestazioni.
  • Agnosticismo del Modello: LUMINA ha dimostrato efficacia in un contesto "proxy", dove un LLM diverso veniva utilizzato per rilevare le allucinazioni nelle risposte generate da un altro modello. Ciò suggerisce che il metodo non richiede strettamente che il rilevatore e il generatore siano lo stesso modello.
• Confronto con Metodi Supervisionati: In un contesto non supervisionato, LUMINA ha ottenuto prestazioni competitive con, e talvolta superiori a, i baselines supervisionati (come SAPLMA) che richiedono l'addestramento su dati etichettati.

5. Significato e Rivendicazioni

Il documento afferma che LUMINA offre una soluzione fondata, generalizzabile e pratica per il rilevamento delle allucinazioni nei sistemi RAG. La sua importanza risiede in:

• Riduzione dell'Overhead di Tuning: Evitando la necessità di selezionare specifici head di attenzione o strati, rimuove una barriera principale alla generalizzazione tra modelli e dataset.
• Fondamento Teorico: La validazione statistica fornisce un legame più forte tra i punteggi di rilevamento e i meccanismi sottostanti del comportamento del modello rispetto ai precedenti approcci euristici.
• Applicabilità nel Mondo Reale: La robustezza al rumore di recupero e la capacità di funzionare in contesti cross-modello (proxy) la rendono adatta a implementazioni reali dove la qualità del recupero varia e il modello generatore potrebbe non essere noto o accessibile per il fine-tuning.

Gli autori concludono che, bilanciando efficacemente i segnali dell'evidenza esterna e della conoscenza interna, LUMINA aiuta ad aumentare l'affidabilità dei sistemi RAG e riduce il rischio di disinformazione, fornendo al contempo una nuova lente per comprendere come gli LLM utilizzino la conoscenza durante la generazione.