🤖 machine learning

Continuous-Depth Field Theory for Transformer Patching and Mechanistic Interpretability

Questo articolo propone un quadro teorico di campo a profondità continua che modella il patching delle attivazioni dei Transformer come inserimenti localizzati di sorgenti e prevede le variazioni comportamentali a valle tramite risposte a funzione di Green, istituendo così un linguaggio matematico di sensibilità e campi propagati per organizzare e inferire interventi meccanicistici.

Autori originali: David N. Olivieri, Antonio F. Pérez Rodríguez

Pubblicato 2026-05-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: David N. Olivieri, Antonio F. Pérez Rodríguez

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un Transformer (il tipo di IA alla base di modelli come GPT-2) non come una pila di codice informatico, ma come un enorme fiume in flusso.

In questo fiume:

La profondità è la distanza che l'acqua ha percorso a valle (dalla sorgente all'oceano).
I token (le parole in una frase) sono come diverse barche che galleggiano fianco a fianco nel fiume.
Il flusso residuo è l'acqua stessa, che trasporta tutte le informazioni mentre scorre da uno strato del modello al successivo.

Questo articolo propone un nuovo modo per comprendere come possiamo "aggiustare" o "correggere" questi modelli di IA per modificarne il comportamento. Invece di indovinare semplicemente quale parte del codice correggere, gli autori trattano il modello come un campo fisico in cui possiamo prevedere esattamente come un piccolo cambiamento si propagherà attraverso il sistema.

Ecco la spiegazione delle loro idee utilizzando analogie quotidiane:

1. La "Goccia nello stagno" (La correzione come sorgente)

Di solito, quando i ricercatori vogliono vedere cosa sta facendo una specifica parte dell'IA, eseguono una "correzione di attivazione". Questo è come scattare una fotografia del cervello dell'IA in un momento specifico, sostituirla con una fotografia di uno scenario diverso e osservare come cambia l'output.

Gli autori descrivono questo come lanciare un sasso nel fiume.

Il Sasso: La "correzione" (il cambiamento che apporti).
L'Onda: L'effetto che viaggia a valle attraverso il resto del modello.
La Teoria: Sostengono che se conosci la forma del fiume (la struttura del modello), puoi prevedere esattamente come quell'onda si diffonderà, quanto diventerà grande e quali barche (token) colpirà, senza dover lanciare il sasso un milione di volte per scoprirlo.

2. La "Mappa di sensibilità" (Prevedere l'effetto)

Per prevedere dove andrà un'onda, hai bisogno di una mappa. Gli autori introducono un Campo di Sensibilità.

Pensala come una mappa meteorologica che mostra la velocità del vento. Alcuni punti nel fiume sono molto sensibili (un piccolo sasso crea un'onda enorme); altri sono calmi (un sasso fa appena uno spruzzo).
L'articolo dimostra che puoi calcolare questa "mappa del vento" una sola volta. Una volta ottenuta, non devi testare ogni singola direzione in cui potresti lanciare un sasso. Puoi prevedere matematicamente: "Se lancio un sasso qui, in questa direzione, l'onda colpirà la risposta con questa forza".
Il Risultato: Hanno scoperto che per piccoli cambiamenti, questa previsione è incredibilmente accurata. È come sapere che una brezza leggera sposterà una piuma, ma un uragano abbatterà un albero.

3. La "Funzione di Green" (Il diffusore delle onde)

L'articolo utilizza un concetto chiamato Funzione di Green. In termini semplici, questo è un "manuale di regole delle onde".

Risponde alla domanda: "Se disturbo l'acqua nel punto A, come si muove l'acqua nel punto B?"
Gli autori hanno scoperto che queste onde non vanno solo dritto a valle; si diffondono lateralmente verso altre parole (token) e viaggiano più in profondità nel modello.
L'hanno testato misurando come un cambiamento in uno strato influenzasse strati molto più a valle. Hanno scoperto che il "manuale di regole delle onde" funziona bene, ma solo se il cambiamento non è troppo enorme. Se lanci un masso (un cambiamento massiccio), l'acqua diventa caotica e le regole semplici si rompono. Ma per piccoli spintoni, le regole reggono perfettamente.

4. Il "Reverse Engineering" (Trovare il sasso giusto)

Di solito, i ricercatori provano correzioni casuali per vedere cosa succede. Questo articolo ribalta la situazione. Propongono un Problema Inverso.

L'Obiettivo: "Voglio che l'IA dica 'Parigi' invece di 'Londra'".
Il Vecchio Modo: Provare a correggere ogni strato e ogni parola finché non si ha fortuna.
Il Nuovo Modo: Usare il "manuale di regole delle onde" (Funzione di Green) e la "mappa di sensibilità" per calcolare matematicamente esattamente dove e come lanciare il sasso per creare quell'onda specifica.
È come essere un ingegnere del suono che sa esattamente quale manopola girare per correggere una specifica frequenza in una canzone, piuttosto che girare ogni manopola a caso.

5. La "Traduzione" tra modelli (Scalabilità)

Infine, gli autori suggeriscono un modo per trasferire conoscenze da un modello piccolo a uno grande.

Immagina di avere uno stagno piccolo (un modello di IA piccolo) e un oceano enorme (un modello di IA grande).
Se lanci un sasso nello stagno piccolo e osservi le onde, puoi usare quel modello per indovinare dove lanciare un sasso nell'oceano per ottenere un risultato simile.
Chiamano questo una "geometria latente di risposta condivisa". In sostanza, la "fisica" di come fluiscono le informazioni potrebbe essere la stessa nei modelli piccoli e grandi, solo a scale diverse. Questo potrebbe permetterci di capire come correggere un modello gigante studiando prima uno minuscolo.

Riepilogo delle scoperte

Gli autori hanno testato queste idee sui modelli GPT-2 e hanno scoperto:

I piccoli cambiamenti si comportano in modo prevedibile: Se spingi delicatamente il modello, la matematica prevede l'esito quasi perfettamente.
Le onde si diffondono: I cambiamenti non rimangono locali; viaggiano attraverso gli strati e influenzano parole diverse in modi strutturati.
Esistono punti ad alta sensibilità: Solo pochi specifici "lanci" nel fiume contano di più per la risposta finale.
Le modifiche ai prompt sono solo onde: Cambiare la frase di input (ad esempio, da "Capitale della Spagna" a "Capitale della Francia") è matematicamente simile a lanciare un sasso specifico nel fiume. Il modello reagisce a questo "spostamento" in modo prevedibile, permettendoci di indirizzare la risposta.

In sintesi: Questo articolo fornisce una "fisica dell'IA" matematica che trasforma la correzione basata su tentativi ed errori in una scienza prevedibile e calcolabile. Suggerisce che possiamo trattare gli interventi sull'IA come problemi ingegneristici in cui possiamo calcolare la forza e la posizione esatte necessarie per ottenere un risultato desiderato.

Sintesi Tecnica: Teoria dei Campi a Profondità Continua per l'Intervento sui Transformer e l'Interpretabilità Meccanistica

Enunciazione del Problema
L'interpretabilità meccanistica mira a identificare i circuiti interni responsabili del comportamento dei Transformer intervenendo sulle attivazioni (ad esempio, patching delle attivazioni, tracciamento causale, path patching). Sebbene questi metodi localizzino con successo siti e direzioni semanticamente significativi dal punto di vista comportamentale, spesso si basano sull'enumerazione esaustiva di livelli, token e sottospazi. Questo articolo affronta la domanda complementare: tali interventi possono essere organizzati, previsti e ricostruiti utilizzando un quadro unificato di teoria dei campi su profondità e posizione del token? Gli autori propongono di trattare il flusso residuo non come una sequenza discreta di livelli, ma come un campo continuo, consentendo di formulare il patching come un problema di inserimento di sorgente localizzata all'interno di un formalismo di risposta lineare.

Metodologia
L'articolo sviluppa una teoria dei campi a profondità continua in cui il flusso residuo del Transformer $R(t, x)$ è modellato come un campo su un reticolo profondità-token. Qui, l'indice del livello $\ell$ è mappato su una coordinata di profondità $t \in [0, T]$ , e l'indice del token è mappato su una coordinata spaziale $x$ .

Formulazione di Teoria dei Campi:
- Patching come Inserimento di Sorgente: Un patch di attivazione è modellato come un termine sorgente localizzato $J(t, x)$ aggiunto all'equazione di evoluzione della profondità: $\partial_t R(t, x) = F_t[R](x) + J(t, x)$ .
- Oggetti di Risposta: Il quadro definisce due oggetti di risposta primari:
  - Campo di Sensibilità ( $a(t, x)$ ): La derivata funzionale di un osservabile $y$ (ad esempio, differenza di logit) rispetto al campo residuo, $a(t, x) = \delta y / \delta R(t, x)$ . Questo prevede l'effetto di un patch.
  - Funzione di Green ( $G(t, x; t', x')$ ): La funzione di risposta a due punti $\delta R(t, x) / \delta R(t', x')$ , che descrive come una perturbazione in $(t', x')$ si propaga fino a $(t, x)$ .
- Risposta Lineare: In un regime lineare locale, la variazione di un osservabile è approssimata da $\delta y \approx \int dt dx \, a(t, x) J(t, x)$ .
- Problema Inverso (Inferenza del Patch): Il quadro riformula l'inferenza del sito del patch come un problema variazionale vincolato. Dato uno spostamento comportamentale desiderato, si cerca una sorgente $J$ sparsa che soddisfi l'equazione integrale $\Delta R_{target} \approx \int G J$ . Questo viene risolto utilizzando un principio dell'azione con un campo aggiunto (costato) $\lambda(t, x)$ , che corrisponde al campo di sensibilità.
Validazione Empirica:
La teoria è testata su Transformer autoregressivi di stile GPT-2 utilizzando interventi discreti sul flusso residuo. Gli esperimenti misurano:
- Linearità Locale e Superposizione: Verifica che piccole perturbazioni mostrino una scalatura lineare e che gli effetti delle combinazioni di interventi si sommino linearmente.
- Previsione della Sensibilità: Confronto degli effetti del patch misurati con le previsioni derivate dalle sensibilità del primo ordine (gradienti autograd).
- Propagazione Residua: Misura del campo residuo a valle $\delta R$ indotto da un patch localizzato per caratterizzare la "risposta di Green".
- Composizione: Verifica se la propagazione attraverso un livello intermedio approssima il prodotto degli operatori di Green ( $G(t_2; t_0) \approx G(t_2; t_1)G(t_1; t_0)$ ).
- Rappresentazioni Ridotte: Analisi degli operatori di Green "affettati" (propagazione a livello di componente tra siti fissi) e dei punteggi dei siti di sensibilità per ridurre la dimensionalità.
- Spostamenti del Prompt: Trattamento della differenza tra due prompt come una sorgente localizzata per verificare se agisce come una direzione di trasformazione.

Contributi Chiave

Quadro di Teoria dei Campi: L'articolo stabilisce un formalismo in cui il patching è visto come inserimento di sorgente localizzata, l'attribuzione come previsione del campo di sensibilità e la propagazione come risposta empirica della funzione di Green.
Formulazione di Inferenza Aggiunta: Inquadra l'inferenza del sito del patch come un problema inverso risolvibile tramite un principio variazionale aggiunto, andando oltre la semplice enumerazione verso un problema di ricostruzione vincolato.
Regime di Risposta Lineare Empirico: Gli autori identificano un regime lineare locale limitato nei modelli GPT-2 in cui le sensibilità del primo ordine prevedono accuratamente gli effetti del patch e vale la superposizione.
Propagazione Strutturata: Gli esperimenti dimostrano che le perturbazioni residue si propagano in modo strutturato e anisotropo attraverso la profondità e la posizione del token, esibendo proprietà composizionali approssimate coerenti con la teoria linearizzata.
Descrizioni Ridotte: L'articolo mostra che i siti ad alta sensibilità e gli operatori di Green affettati forniscono descrizioni trattabili e a bassa dimensionalità dello spazio di risposta residua altrimenti ad alta dimensionalità.
Ipotesi di Scalabilità: Viene proposta un'ipotesi teorica secondo cui la geometria della risposta (impronte digitali della funzione di Green) potrebbe essere condivisa tra diverse scale di modelli. Ciò suggerisce che le informazioni di risposta di un modello più piccolo potrebbero definire mappe candidate di siti di patch per un modello più grande, purché vengano utilizzati ancoraggi locali.

Risultati

Linearità: Le perturbazioni locali mostrano un regime lineare limitato in cui gli errori di non linearità e superposizione rimangono bassi (sotto il 20% negli intervalli testati) per ampiezze moderate.
Accuratezza della Previsione: Le sensibilità autograd ( $a(t, x)$ ) prevedono con successo gli effetti scalari del patch misurati su vari siti e direzioni residue, validando l'approssimazione del primo ordine.
Struttura di Propagazione: Gli interventi localizzati generano campi di risposta a valle strutturati che si diffondono in modo anisotropo. Il test di composizione conferma che i campi residui intermedi conservano informazioni sufficienti per riprodurre le risposte a valle all'interno del regime perturbativo.
Concentrazione dei Siti: I punteggi di sensibilità ( $\|a(t, x)\|$ ) sono altamente non uniformi, concentrandosi su un piccolo insieme di siti livello-token, il che consente la riduzione dello spazio di ricerca degli interventi.
Spostamento del Prompt: Le differenze tra i prompt agiscono come direzioni di trasformazione locali. I loro effetti sono previsti dalle sensibilità causali, sono più efficaci negli strati successivi e possono spostare con successo i ranghi delle risposte target nel vocabolario.

Significato e Affermazioni
L'articolo afferma di fornire un "linguaggio pratico" per organizzare gli esperimenti di patching, spostando il paradigma dall'enumerazione degli interventi alla stima delle quantità di risposta (sensibilità e kernel). Stabilendo empiricamente le fondamenta della risposta lineare, il lavoro rende la ricostruzione dei meccanismi interni matematicamente ben posta: la funzione di Green funge da operatore diretto per un problema inverso che identifica siti e direzioni del patch.

Gli autori inquadrano modestamente la loro ipotesi di scalabilità come una motivazione per lavori futuri piuttosto che come un risultato provato, notando che si basa su un'"ipotesi di risposta latente condivisa" e richiede ancoraggi locali (pesi, attivazioni o patch sparsi) per essere fattibile. Il contributo principale è l'unificazione degli strumenti di interpretabilità meccanica (patching, tracciamento, steering) sotto un'unica teoria dei campi a profondità continua, offrendo una via principiata dalla misurazione all'inferenza e potenzialmente al trasferimento su scala di modello.