How Do LLMs Cite? A Mechanistic Interpretation of Attribution in Retrieval-Augmented Generation

Sintesi Tecnica: Come citano gli LLM? Un'interpretazione meccanicistica dell'attribuzione nel RAG

Problema
I sistemi di Generazione Aumentata dal Recupero (RAG) mirano a mitigare le allucinazioni dei Large Language Models (LLM) ancorando gli output a documenti esterni e fornendo citazioni inline. Tuttavia, esiste una distinzione critica tra correttezza della citazione (la fonte supporta fattualmente l'affermazione) e fedeltà della citazione (il modello ha effettivamente utilizzato la fonte per generare l'affermazione). I metodi di valutazione attuali si basano spesso sul comportamento input-output, che non può distinguere tra un modello che ragiona genuinamente su un documento recuperato e uno che recupera un documento post-hoc per corrispondere a una memoria parametrica preesistente. Questa attribuzione "cosmetica" crea un falso senso di sicurezza, particolarmente in domini ad alto rischio come il diritto e la medicina, dove gli utenti potrebbero non avere l'esperienza necessaria per verificare indipendentemente le fonti. Il documento sostiene che la comprensione dei meccanismi interni di generazione delle citazioni sia necessaria per sviluppare framework di valutazione affidabili per la fedeltà.

Metodologia
Gli autori utilizzano l'interpretabilità meccanicistica per l'ingegneria inversa del processo decisionale di Llama-3.1-8B-Instruct riguardo alle citazioni inline. La pipeline sperimentale prevede:

1. Dataset Controllato: Viene utilizzato un adattamento di PopQA focalizzato sulle citazioni, in cui ogni domanda è accoppiata o con un documento di supporto rilevante o con un documento distraente irrilevante. I distrattori sono strutturalmente coordinati per consentire confronti precisi a livello di componente.
2. Activation Patching: La tecnica principale consiste nell'eseguire il modello con un documento rilevante (pulito) e un documento irrilevante (corrotto). Le attivazioni intermedie dall'esecuzione pulita vengono patchate nell'esecuzione corrotta (e viceversa) per misurare l'impatto causale sulla preferenza del modello di emettere un token di citazione ([) rispetto a un token di terminazione della frase (.).
3. Scoring: Viene calcolato un punteggio di differenza di logit normalizzato per quantificare la frazione di cambiamento comportamentale recuperata o indotta da specifici patch.
4. Intervento: I componenti identificati vengono manipolati tramite scaling moltiplicativo (amplificazione o soppressione) per testare se i fallimenti di citazione (mancate o spurie) possano essere corretti.
5. Generalizzazione: I risultati vengono validati su un contesto più complesso a più documenti utilizzando HotpotQA.

Contributi Chiave

1. Mappatura dell' "Ensemble di Attribuzione": Lo studio identifica che le decisioni di citazione non sono governate da un singolo modulo specializzato, ma da un ensemble distribuito e multistadio di specifici head di attenzione e strati MLP.
2. Dimostrazione di Controllabilità: Gli autori dimostrano che interventi mirati su questo ensemble possono riparare con successo i fallimenti di citazione, inducendo citazioni mancanti e sopprimendo quelle spurie.
3. Validazione della Generalizzazione: I componenti identificati mostrano generalizzabilità, migliorando significativamente l'accuratezza delle citazioni nel complesso setting multi-documento di HotpotQA senza riaddestramento.

Risultati Chiave

• Meccanismo Distribuito e Fragile: Il meccanismo di citazione si basa su una struttura congiuntiva (a porta AND). Sebbene molti componenti contribuiscano, il sistema è "fragile": piccole corruzioni in più siti riducono drasticamente il comportamento di citazione, mentre indurre citazioni tramite denoising è difficile e richiede l'accumulo di molti segnali.
• Euristiche Superficiali Guidano le Decisioni: Il meccanismo si basa pesantemente sul co-riferimento delle entità piuttosto che su una profonda integrazione semantica.
  • Strati Iniziali (0–2): Si verifica una fase di "arricchimento dell'entità" in cui il modello identifica l'entità interrogata nel documento e marca il corrispondente token nella domanda. Ciò crea un flag interno per l'identità cross-contesto.
  • Strati Intermedi (10–20): Una densa banda di componenti agisce come hub di elaborazione, eseguendo controlli congiuntivi.
  • Strati Finali: L'aggregazione finale avviene al token della risposta, dove specifici head e MLP aumentano il logit del marker di citazione rispetto ai token di terminazione.
• Indipendenza dalla Generazione della Risposta: Fondamentalmente, la rappresentazione della risposta stessa al momento della generazione non è il driver primario della decisione di citazione. Ciò suggerisce che la citazione sia generata da un processo parallelo basato su euristiche (verificare se il documento contiene l'entità) piuttosto che essere un risultato diretto del processo di costruzione della risposta.
• Successo dell'Intervento:
  • Amplificando i componenti identificati in PopQA, si è recuperato >90% delle citazioni mancanti con un impatto trascurabile sulla correttezza della risposta.
  • Sopprimendo i componenti necessari, si sono rimosse il 69% delle citazioni spurie.
  • In HotpotQA, l'amplificazione ha aumentato il tasso di "citazione corretta" rigorosa di oltre 20 volte (da 0.001 a 0.024), sebbene la performance assoluta sia rimasta bassa, indicando la complessità del ragionamento multi-hop.

Significato e Rivendicazioni
Il documento afferma che gli attuali sistemi RAG possono offrire un'illusione di verificabilità. Poiché le decisioni di citazione sono guidate da euristiche superficiali (come il matching delle entità) piuttosto che da un legame causale genuino con il contenuto del documento durante la generazione della risposta, un modello può produrre una risposta fattualmente corretta con una citazione "fedele" anche se la risposta è stata recuperata dalla memoria parametrica.

Gli autori sostengono che:

• Audit degli output è insufficiente: L'attribuzione affidabile richiede l'audit del percorso computazionale.
• L'interpretabilità meccanicistica è essenziale: Per distinguere l'attribuzione fedele da quella non fedele, è necessario guardare dentro il modello, poiché il comportamento input-output è ambiguo.
• Rischio di Disinformazione: Le citazioni non fedeli possono approfondire le disparità informative conferendo credibilità a informazioni errate, particolarmente per gli utenti che non possono verificare indipendentemente le fonti.

Il lavoro è presentato come un passo fondamentale verso la costruzione di framework di valutazione che possano distinguere l'attribuzione fedele, piuttosto che come una soluzione completa. Gli autori riconoscono i limiti, incluso il focus su un singolo modello da 8B, la mancanza di una mappatura del percorso diretto (solo localizzazione dei componenti) e il potenziale uso avversario di queste intuizioni per generare citazioni non fedeli.