Sintesi Tecnica: Il recupero fattuale nei LLM è un processo ridondante, distribuito e non contiguo

Problema

Sebbene i Large Language Models (LLM) dimostrino di archiviare e richiamare la conoscenza fattuale (ad esempio, predendo "German" per "The mother tongue of Angela Merkel is"), il meccanismo preciso mediante il quale le rappresentazioni delle entità vengono trasformate per abilitare il recupero di attributi specifici rimane inesplorato. La letteratura esistente postula che il recupero fattuale avvenga alla posizione dell'ultimo token dell'entità e coinvolga un processo a tre stadi: consolidamento dell'entità, arricchimento dell'entità (caricamento degli attributi tramite MLP) ed estrazione dell'attributo. Tuttavia, i calcoli causali specifici richiesti per trasformare una rappresentazione di un'entità in uno stato sufficiente per il recupero di un attributo rimangono in gran parte non mappati. È ambiguo se il recupero sia un accumulo continuo di informazioni attraverso i layer o uno stato discreto raggiunto in un punto specifico, e se il processo si basi su un circuito singolo e localizzato o su un meccanismo distribuito.

Metodologia

Gli autori propongono un framework centrato sul percorso di computazione dell'attributo: una sequenza di passi computazionali (layer del transformer) su una rappresentazione di un'entità necessari per elicitare un attributo target. L'obiettivo principale è identificare un percorso di computazione dell'attributo minimo—un sottoinsieme di layer che sia sia sufficiente che necessario per la computazione, dove la rimozione di qualsiasi layer interrompe l'output.

Per raggiungere questo obiettivo, gli autori introducono un nuovo protocollo di patching delle attivazioni iterativo che prevede tre fasi principali:

1. Localizzazione del punto di terminazione ($\ell_{attr}$):
   Utilizzando un'operazione chiamata lock, gli autori applicano il patching alla rappresentazione dell'entità da un layer specifico $\ell$ a tutti i layer successivi. Identificano il primo layer $\ell_{attr}$ tale che il blocco della rappresentazione in questo punto preservi la predizione corretta dell'attributo. Ciò stabilisce un limite superiore per il percorso minimo, confermando che non è richiesta ulteriore elaborazione oltre questo layer affinché l'attributo sia completamente disponibile.

2. Identificazione del percorso minimo (Ricerca Greedy Iterativa):
   Partendo dall'embedding dell'entità, l'algoritmo esegue una ricerca greedy per trovare la sequenza minima di layer. Utilizza prompt controfattuali (ad esempio, scambiando "Angela Merkel" con "Bill Gates") per definire un'operazione di isolate. In questa operazione:

   • Il primo layer del percorso candidato riceve l'embedding pulito dell'entità.
   • I layer successivi nel percorso ricevono l'output computato dal layer precedente del percorso.
   • Tutti i layer intermedi tra i layer del percorso ricevono le attivazioni dalla corsa controfattuale.
     L'algoritmo estende iterativamente il percorso saltando il maggior numero possibile di layer pur mantenendo la validità della predizione (ovvero, il modello continua a produrre l'attributo corretto). Ciò assicura che il percorso risultante sia minimo e non contiguo.

3. Scoperta di percorsi alternativi:
   Rilassando il vincolo che il percorso debba terminare a $\ell_{attr}$ e permettendo alla ricerca di estendersi verso i layer più profondi, gli autori identificano percorsi minimi alternativi. Questi percorsi sono funzionalmente equivalenti al percorso primario ma differiscono per lunghezza, profondità e composizione dei layer.

Il metodo è stato applicato a LLaMA 3.1 8B (32 layer) e Qwen3 8B (36 layer) utilizzando 2.000 prompt dal dataset CounterFact.

Risultati Chiave

1. Non-contiguità e Sparsità

I percorsi minimi di computazione dell'attributo sono frequentemente non contigui. I modelli spesso saltano interi layer intermedi durante il processo di recupero.

• LLaMA: il 33,1% dei percorsi salta almeno un layer (dimensione media dello skip: 0,7).
• Qwen: il 78,6% dei percorsi salta almeno un layer (dimensione media dello skip: 2,0).
  Ciò indica che il recupero della conoscenza fattuale non richiede un flusso continuo attraverso ogni layer; piuttosto, un sottoinsieme sparso di layer esegue le trasformazioni necessarie.

2. Elaborazione Distribuita e Multi-step

Contrariamente all'ipotesi che un singolo layer o un intervallo ristretto di layer sia responsabile del recupero, i percorsi minimi coinvolgono costantemente molti layer (lunghezza media del percorso: ~5,9 per LLaMA, ~7,9 per Qwen). La rappresentazione dell'entità deve subire diverse trasformazioni distinte prima che l'attributo sia pienamente disponibile.

3. Ridondanza e Percorsi Alternativi

Lo studio rivela un alto grado di ridondanza. Per la maggior parte dei fatti esplorati:

• LLaMA: l'80,1% dei casi ha almeno un percorso alternativo funzionalmente equivalente.
• Qwen: l'82,7% dei casi presenta percorsi alternativi.
  Questi percorsi alternativi sono tipicamente più profondi e lunghi rispetto ai percorsi primari utilizzati nelle corse in avanti standard. Essi si basano su salti massicci e non sequenziali e reclutano set distinti e più profondi di moduli, bypassando efficacemente i centri di elaborazione primari.

4. Ruoli Funzionali dei Layer

• Profondità di Terminazione: Le computazioni dell'attributo si completano tipicamente nei layer iniziali o intermedi (media $\ell_{attr}$: 4,61 per LLaMA, 7,97 per Qwen).
• Sufficienza della Rappresentazione: La rappresentazione a $\ell_{attr}$ è strettamente necessaria (la sua rimozione interrompe >94% delle predizioni). Tuttavia, spesso non è sufficiente da sola; i layer intermedi del percorso sono necessari per guidare i layer superiori del modello in una parte significativa dei casi (tasso di fallimento del 44% per i percorsi primari di LLaMA quando viene iniettato solo $\ell_{attr}$).
• Propagazione: I percorsi più lunghi e non standard dipendono maggiormente dalla propagazione delle informazioni tra i token tramite i meccanismi di attenzione rispetto ai percorsi primari.

5. Flessibilità Modulare

Gli autori hanno dimostato che i percorsi "ibridi"—costruiti concatenando i prefissi dei percorsi primari con i suffissi dei percorsi alternativi—possono con successo ripristinare le predizioni dell'attributo. Ciò conferma che diverse sequenze di layer possono eseguire trasformazioni funzionalmente equivalenti, e che i ruoli dei layer non sono strettamente uno-a-uno tra i circuiti primari e quelli di backup.

6. Risoluzione dell'Entità vs. Recupero dell'Attributo

Lo studio ha trovato una forte dissociazione tra Risoluzione dell'Entità (ER) (la capacità di ricostruire il nome dell'entità) e la sufficienza dell'attributo. I passi di ER rilevabili si sono verificati in una minoranza dei percorsi primari (12,9% per LLaMA) e ancora meno nei percorsi alternativi, suggerendo che il recupero dell'attributo avvenga spesso implicitamente senza uno "stato di identità" distinguibile accessibile ai metodi di probing.

Significato e Rivendicazioni

Il paper sostiene di fornire una nuova prospettiva sul sottoprocesso di arricchimento dell'entità, sfidando la "visione comune" secondo cui i fatti sono memorizzati in specifici e localizzati layer MLP. Inveve, gli autori sostengono che:

1. La Conoscenza è Distribuita: L'informazione fattuale è memorizzata ed elaborata in modo distribuito attraverso più layer, richiedendo una specifica sequenza non contigua di trasformazioni per il recupero.
2. La Conoscenza è Ridondante: I modelli possiedono molteplici percorsi computazionali funzionalmente equivalenti per lo stesso fatto, spiegando l'"effetto idra" in cui i modelli si auto-riparano quando i circuiti primari vengono ablati.
3. Discrepanza tra Localizzazione e Editing: Le scoperte offrono una spiegazione del perché l'editing della conoscenza spesso ha successo in posizioni diverse da quelle in cui la conoscenza è localizzata. Poiché la computazione dell'attributo richiede molteplici trasformazioni, l'editing ha successo intervenendo in una fase di trasformazione necessaria piuttosto che in un luogo di archiviazione specifico.

Gli autori concludono che il meccanismo di recupero fattuale è molto più complesso ed elaborato di quanto precedentemente compreso, caratterizzato da un'alta ridondanza e da una computazione distribuita piuttosto che da un singolo circuito di recupero lineare. Il lavoro fornisce una visione precisa di come la conoscenza fattuale arricchisca le rappresentazioni delle entità attraverso un nuovo protocollo di patching delle attivazioni.