How Retrieved Context Shapes Internal Representations in RAG

1. Il Problema

Il Retrieval-Augmented Generation (RAG) è diventato uno standard per migliorare i Large Language Models (LLM) integrando conoscenze esterne. Tuttavia, in scenari reali, il set di documenti recuperati è spesso un misto di informazioni rilevanti, documenti semanticamente simili ma fuorvianti (distrattori) e rumore casuale.
Mentre la ricerca precedente ha analizzato principalmente il comportamento di output (accuratezza, allucinazioni), rimane poco chiaro come il contesto recuperato influenzi le rappresentazioni interne (stati nascosti) dell'LLM. Non è ben compreso se un cambiamento nell'output derivi da una corretta integrazione delle prove, dalla soppressione della conoscenza parametrica o da un rifiuto deliberato del modello. Il paper mira a colmare questo vuoto analizzando il RAG attraverso la lente delle rappresentazioni latenti.

2. Metodologia

Gli autori hanno progettato un framework sperimentale controllato per analizzare come diversi tipi di documenti recuperati modellano gli stati interni degli LLM.

• Dataset e Modelli: Lo studio è stato condotto su quattro dataset di domande e risposte (TriviaQA, NQ, PopQA, StrategyQA) e tre LLM di dimensioni diverse (Gemma3-27B, Llama4-17B, Qwen3-Next-80B).
• Categorizzazione dei Documenti: Per ogni query, i documenti recuperati sono stati classificati in tre categorie:
  1. Rilevanti: Contengono la risposta corretta o informazioni di supporto diretto.
  2. Distrattori: Hanno alta similarità semantica con la query ma non contengono informazioni utili (possono fuorviare).
  3. Casuali: Bassa similarità semantica e nessuna informazione utile.
• Impostazioni Sperimentali:
  • Single-document: Analisi dell'impatto di un singolo documento (rilevante, distrattore, casuale) rispetto a un baseline senza documenti.
  • Multi-document: Scenari realistici con un documento rilevante mescolato a documenti distrattori o casuali.
  • Analisi Strato per Strato: Esame dell'evoluzione delle rappresentazioni attraverso i diversi layer del transformer.
• Metriche di Analisi:
  • PCA (Principal Component Analysis): Per visualizzare la distribuzione degli stati nascosti dell'ultimo token del prompt.
  • Analisi di Separabilità: Utilizzo di "linear probes" per misurare la distanza e la separabilità tra le rappresentazioni indotte da diversi tipi di contesto.
  • Correlazione con il Comportamento: Confronto tra i cambiamenti nelle rappresentazioni interne e le risposte finali (corrette, errate, o astensione/abstention).

3. Contributi Chiave

1. Framework di Analisi: Proposta di un metodo rigoroso per studiare sistematicamente come i LLM elaborano il contesto recuperato a livello di rappresentazioni interne.
2. Scoperta di Pattern Nuovi: Identificazione di pattern precedentemente inesplorati su come la rilevanza del contesto e l'elaborazione strato per strato influenzano gli stati interni.
3. Collegamento Meccanicistico: Connessione diretta tra le dinamiche delle rappresentazioni interne e i comportamenti osservabili degli LLM, fornendo spiegazioni meccanicistiche per fenomeni come l'effetto distrattivo e il bias di conferma.

4. Risultati Principali

L'analisi ha rivelato cinque osservazioni fondamentali:

• Osservazione 1: I documenti casuali inducono grandi "drift" (scostamenti) nelle rappresentazioni.
  Contrariamente all'intuizione, i documenti casuali causano uno spostamento significativo delle rappresentazioni interne rispetto al baseline senza documenti. Questo scostamento è fortemente correlato al comportamento di astensione (il modello si rifiuta di rispondere). I modelli istruiti (instruction-tuned) mostrano questo comportamento molto più frequentemente rispetto ai modelli base, suggerendo che riconoscono internamente la mancanza di informazioni utili e passano in una modalità di rifiuto.

  • Implicazione negativa: L'addestramento all'istruzione può sopprimere l'uso della conoscenza parametrica anche quando il modello potrebbe rispondere correttamente senza recupero, riducendo l'usabilità del RAG.

• Osservazione 2: I documenti rilevanti preservano le rappresentazioni interne.
  I documenti rilevanti causano scostamenti minimi rispetto al baseline senza documenti, specialmente per query facili. Agiscono principalmente come segnali di conferma che rafforzano la conoscenza parametrica esistente, aumentando la confidenza del modello (log-likelihood più alta).

  • Implicazione negativa: Per query difficili, dove la conoscenza parametrica è insufficiente, i documenti rilevanti spesso non riescono a influenzare significativamente le rappresentazioni interne, limitando l'efficacia del RAG proprio quando è più necessario.

• Osservazione 3: Un singolo documento rilevante stabilizza le rappresentazioni in contesti multi-documento.
  In presenza di rumore (documenti distrattori o casuali), la presenza di anche solo un documento rilevante "ancora" lo stato interno del modello, mantenendolo simile a quello di un contesto puramente rilevante. I modelli riescono a sopprimere attivamente il rumore quando esiste un'ancora di affidabilità.

• Osservazione 4: Distinzione precoce del rumore.
  Nei primi layer della rete (es. L1-L2), le rappresentazioni dei documenti casuali si separano chiaramente da quelle dei documenti rilevanti o distrattori. I modelli identificano rapidamente le incongruenze semantiche grossolane.

• Osservazione 5: I layer successivi favoriscono la conoscenza parametrica.
  Mentre i layer intermedi iniziano a distinguere tra documenti rilevanti e distrattori, nei layer finali (es. L46) le rappresentazioni con documenti rilevanti tendono a convergere verso quelle del baseline senza documenti. Questo indica che i layer finali danno priorità alla conoscenza interna del modello, riducendo l'influenza delle prove esterne. Questo meccanismo spiega perché il RAG fatica sulle query difficili: la conoscenza interna "soffoca" il segnale esterno necessario.

5. Significato e Implicazioni

Questo lavoro offre una prospettiva a livello di rappresentazione che completa le analisi focalizzate sull'output, fornendo intuizioni cruciali per il design dei sistemi RAG:

• Gestione del Rumore: Poiché un singolo documento rilevante può stabilizzare l'intero contesto, è possibile aumentare la "breadth" (ampiezza) del recupero per migliorare il recall senza necessariamente filtrare aggressivamente i documenti, affidandosi alla capacità del modello di sopprimere il rumore interno.
• Interventi per Query Difficili: La tendenza dei layer finali a privilegiare la conoscenza parametrica suggerisce la necessità di nuove strategie di decoding o architetture che amplifichino i segnali di recupero negli strati finali, specialmente quando la conoscenza interna è carente.
• Affidabilità: La capacità dei modelli di astenersi di fronte a contesti puramente casuali è un meccanismo di sicurezza interno, ma deve essere bilanciata per evitare che il modello rifiuti risposte che possiede già nella sua memoria parametrica.

In sintesi, il paper dimostra che il RAG non è un semplice processo di "lettura e risposta", ma un'interazione dinamica complessa dove il modello valuta internamente la qualità del contesto, stabilizza le sue rappresentazioni in presenza di prove affidabili e, paradossalmente, tende a ignorare le prove esterne proprio quando più necessarie a causa della dominanza della conoscenza parametrica negli strati finali.