💬 NLP

Function-Vector Heads Are Two Populations: Writers and Cancellers in In-Context Learning

Questo articolo mette in discussione l'assunto che le teste a vettore di funzione siano un gruppo omogeneo, rivelando che esse consistono in due sottopopolazioni opposte — scrittori che promuovono le regole corrette e cancellatori che le sopprimono — che sono invisibili alla classificazione basata solo sull'ampiezza ma che impattano significativamente sulle prestazioni del modello quando vengono identificati e ablati.

Autori originali: Han-yu Wang

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Han-yu Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un grande modello linguistico (come quelli che chiacchierano con te) come una massiccia orchestra che cerca di risolvere un puzzle basandosi su pochi esempi. In questa orchestra, ci sono musicisti specifici chiamati teste di attenzione (attention heads). Per molto tempo, i ricercatori hanno creduto che i musicisti più importanti fossero semplicemente quelli che suonavano le note più forti. Assumevano che se un musicista suonava molto forte, stesse sicuramente aiutando l'orchestra a suonare la melodia corretta.

Questo articolo, tuttavia, scopre che questa supposizione è errata. Si scopre che i musicisti più "forti" appartengono in realtà a due gruppi completamente diversi e opposti: Gli Scrittori (The Writers) e I Cancellatori (The Cancellers).

Ecco la ripartizione di ciò che il documento ha scoperto, utilizzando analogie semplici:

1. Il grande malinteso: Volume vs Direzione

In precedenza, i ricercatori osservavano questi musicisti e li classificavano in base al volume (quanto contribuivano alla risposta). Assumevano che i 20 musicisti più rumorosi fossero tutti "aiutanti".

Gli autori di questo articolo si sono resi conto che il volume non è sufficiente; è necessario conoscere la direzione.

Gli Scrittori: Questi musicisti suonano una nota forte che spinge l'orchestra verso la risposta corretta.
I Cancellatori: Questi musicisti suonano anche una nota forte, ma stanno spingendo l'orchestra verso la risposta sbagliata. Stanno attivamente cercando di cancellare la risposta corretta.

L'analogia: Immaginate un tiro alla fune.

Gli Scrittori sono la squadra che tira la corda verso il traguardo.
I Cancellatori sono una seconda squadra che tira la corda con la stessa forza, ma nella direzione opposta.
Se guardate solo quanto forte tirano (l'entità), pensate che siano entrambi ugualmente importanti "tiratori". Ma se guardate la direzione, vedete che si stanno combattendo tra loro.

2. La scoperta: Due popolazioni

I ricercatori hanno testato questo fenomeno su diversi modelli (dal piccolo al grande) e diversi tipi di enigmi logici. Hanno scoperto che, in quasi ogni caso, i "top" musicisti si dividono in queste due fazioni opposte.

Gli "Scrittori" spingono la probabilità della risposta corretta verso l'alto.
I "Cancellatori" spingono la probabilità della risposta corretta verso il basso.

Quando i ricercatori hanno messo a tacere (ablazione) I Cancellatori, il modello è diventato effettivamente migliore nel risolvere gli enigmi. Era come rimuovere un sabotatore dalla squadra del tiro alla fune; improvvisamente, gli "Scrittori" potevano tirare la corda verso il traguardo senza resistenza.

3. Perché la ricerca precedente ha fallito

Il documento spiega che gli studi precedenti (come uno di Todd et al., 2024) utilizzavano un metodo che guardava solo alla "forza" del contributo. A causa di ciò, hanno accidentalmente raccolto un misto di Scrittori e Cancellatori, ma il mix cambiava a seconda del puzzle.

In alcuni puzzle, i "Cancellatori" erano più rumorosi, quindi il vecchio metodo pensava che fossero i principali aiutanti.
In altri puzzle, gli "Scrittori" erano più rumorosi, quindi il vecchio metodo pensava che fossero loro i principali aiutanti.

Il documento mostra che, ignorando il "segno" (la direzione), la ricerca precedente stava essenzialmente confondendo gli eroi con i cattivi, pensando che fossero tutti solo "aiutanti rumorosi".

4. I Cancellatori sono solo errori?

I ricercatori volevano assicurarsi che i "Cancellatori" non fossero solo parti rotte del modello o rumore accidentale. Hanno eseguito molti test per dimostrare che sono parti reali e funzionali del sistema:

Leggono cose diverse: Gli Scrittori si concentrano sulle "etichette" (le risole) negli esempi. I Cancellatori si concentrano sul "formato" (la punteggiatura e la spaziatura). Guardano parti diverse della pagina.
Sono guidati dal contenuto: I Cancellatori non stanno solo sopprimendo le risposte in modo casuale; stanno attivamente cercando di sopprimere la risposta che è stata appena dimostrata negli esempi.
Non sono "Soppressori di Copia": Il documento ha escluso l'idea che questi siano solo meccanismi generici di "non copiare". Sono specifici del compito logico.

5. Lo studio del personaggio "L11.H4"

Il documento si concentra su un musicista specifico, L11.H4, per vedere come funziona.

Questo musicista è un "Cancellatore" nei puzzle logici (tenta di spingere verso la risposta sbagliata).
Tuttavia, se si cambia il puzzle in un compito di vocabolario (come l'abbinamento di antonimi), questo stesso musicista inverte il suo ruolo e diventa uno "Scrittore" (aiuta la risposta corretta).
La lezione: Questo musicista non è intrinsecamente "buono" o "cattivo". Il suo compito è sopprimere ciò che è stato appena dimostrato. Se la dimostrazione è la risposta giusta, la sopprime (Cancellatore). Se la dimostrazione è la risposta sbagliata (in un contesto diverso), sopprime la risposta sbagliata, aiutando efficacementmente quella giusta (Scrittore).

6. La conclusione (Takeaway)

La conclusione principale è che non possiamo trattare le parti più "attive" di un modello IA come un gruppo singolo e uniforme.

Vecchia visione: "Queste sono le 20 teste più importanti. Usiamole per guidare il modello."
Nuova visione: "Queste 20 teste sono in realtà una guerra civile. Metà spingono il modello verso il posto giusto, e metà lo spingono nel posto sbagliato. Se vuoi guidare il modello, devi mettere a tacere i Cancellatori, non solo amplificare gli Scrittori."

Il documento non sostiene che questo renda il modello "sicuro" o pronto per l'uso medico o legale nel mondo reale. Afferma semplicemente che, per capire come questi modelli apprendono le regole dagli esempi, dobbiamo riconoscere che i loro "musicisti" interni spesso combattono tra loro, non lavorano insieme.

Sintesi Tecnica: Le teste Function-Vector sono due popolazioni: Scrittori (Writers) e Cancellatori (Cancellers) nell'In-Context Learning

1. Definizione del problema

Nel campo dell'interpretabilità meccanicistica, le teste Function-Vector (FV) vengono tipicamente identificate come un insieme sparso di teste di attenzione con grandi contributi causali ai compiti di in-context learning (ICL) basati su regole. La pipeline di identificazione standard (ad es., Todd et al., 2024) classifica queste teste in base all'ampiezza del loro contributo causale (ad es., Direct Logit Attribution o AIE) e tratta l'insieme delle prime classificata come una classe funzionale omogenea.

Questo articolo contesta l'assunto implicito che le teste ad alta ampiezza spingano uniformemente il modello verso la regola dimostrata. Gli autori postulano che la classificazione basata solo sull'ampiezza oscuri un'eterogeneità strutturale critica: l'insieme delle prime posizioni può contenere teste con effetti causali opposti. Se tale assunto fallisce, i metodi di aggregazione standard (come i vettori di steering) potrebbero involontariamente mescolare forze opposte, portando a interventi subottimali o contraddittori.

2. Metodologia

Gli autori propongono una pipeline di identificazione che preserva il segno e un rigoroso framework di validazione attraverso tre famiglie di modelli (Pythia, Qwen2.5, GPT-2) e sei scale (410M–12B).

Direct Logit Attribution (DLA) raffinata: Invece di classificare per ampiezza assoluta, gli autori calcolano il contributo con segno di ogni testa alla differenza tra il logit corretto e quello errato ( $\Delta \ell$ ). Applicano un controllo del False Discovery Rate (FDR) basato su permutazioni ( $q=0.10$ ) per identificare un insieme candidato di teste FV che includa sia contributori positivi che negativi.
Validazione tramite Path Patching: I candidati sono validati tramite path patching per isolare gli effetti diretti. Le teste sono partizionate in due popolazioni in base all'ampiezza del loro effetto diretto rispetto allo scostamento del prompt (prompt swing):
- Scrittori (Writers, $W$ ): Teste con un effetto diretto positivo ( $\ge +5\%$ dello swing), che spingono verso l'alto il logit del token corretto.
- Cancellatori (Cancellers, $C$ ): Teste con un effetto diretto negativo ( $\le -5\%$ dello swing), che spingono verso il basso il logit del token corretto.
Il Verdetto Canonico: L'esistenza di due popolazioni opposte è verificata tramite un test a quattro condizioni sulle ablazioni di gruppo (azzeramento o media-ablazione):
1. L'ablazione di $W$ riduce significativamente il logit corretto ( $\Delta \ell_W < 0$ ).
2. L'ablazione di $C$ aumenta significativamente il logit corretto ( $\Delta \ell_C > 0$ ).
3. I segni sono opposti.
4. L'ablazione congiunta ( $W \cup C$ ) mostra attenuazione (l'effetto è minore della somma degli effetti individuali), indicando che operano sullo stesso readout ma in direzioni opposte.
Rifiuto degli Artefatti: Gli autori escludono sei spiegazioni alternative per il segnale del "canceller":
1. Sovrapposizione dell'Induzione (Induction Overlap): Le teste cancellatrici non sono semplicemente teste di induzione.
2. Attention Sinks: L'effetto non è un artefatto dell'attenzione verso i prefissi di formato o i token BOS (verificato tramite bucketing DLA per sorgente).
3. Importanza Generica: I cancellatori non sono semplicemente teste ad alta attenzione con segni casuali.
4. Soppressione Rank-1 Copy: Il meccanismo non è una semplice soppressione rank-1 dei token copiati (a differenza di GPT-2 L10.H7).
5. V-Cascade: L'effetto non è il risultato dell'inibizione di un writer a monte tramite una specifica cascata di composizione V.
6. Controlli Rank-Nearest: Teste casuali con ampiezza simile non mostrano lo stesso comportamento di cancellazione.

3. Risultati Chiave

Divisione della Popolazione: Attraverso 15 celle (6 celle principali Pythia + 9 estensioni), l'insieme delle teste FV si divide chiaramente in scrittori e cancellatori. Il verdetto canonico è confermato in 13/15 celle.
Sovrapposizione Asimmetrica con il Lavoro Precedente: La classificazione basata solo sull'ampiezza (Todd et al., 2024) è influenzata (biased) verso la sub-popolazione localmente dominante.
- Sul compito Gerarchico (Hierarchical), il top-20 di Todd cattura il 64% dei cancellatori ma solo il 4% degli scrittori.
- Sul compito Modulare (Modular), il top-20 di Todd cattura il 59% degli scrittori ma solo l'8% dei cancellatori.
Impatto Causale dei Cancellatori: L'ablazione per azzeramento della popolazione dei cancellatori produce un guadagno costante di logit di +0.13 a +0.29 nats e un miglioramento dell'accuratezza di +2 a +7 punti percentuali in 6/6 celle principali.
Distinzione Strutturale:
- Fonti QK: Gli scrittori concentrano l'attenzione sui label delle dimostrazioni; i cancellatori spostano la massa dell'attenzione verso i token del prefisso di formato e lontano dai label.
- Geometria OV: Le direzioni di scrittura (OV) degli scrittori e dei cancellatori sono quasi ortogonali (frazione perpendicolare media 0.96), permettendo loro di coesistere allo stesso readout senza annullarsi completamente nel residual stream.
- Distribuzione per Layer: I cancellatori si raggruppano nei layer iniziali-intermedi, spesso situati a valle di un writer nella stessa cella, escludendo una soppressione negli stadi finali.
Caso di Studio (L11.H4): Il principale cancellatore in Pythia-410M è identificato come un "lettore di contenuto con bias distribuito" (distributed-bias content reader). Il suo ruolo cambia in base al template del compito (canceller nei compiti di rule-following, writer nei compiti di antonimi), supportando l'ipotesi che esso sopprima "ciò che è stato dimostrato" piuttosto che eseguire una soppressione del logit incondizionata. Non rientra nei template di rank-1 copy-suppression o V-cascade.

4. Significato e Rivendicazioni

L'articolo sostiene che la popolazione di teste FV non è una classe omogenea, ma una proprietà strutturale composta da due sub-circuiti opposti.

Correzione Metodologica: La classifica standard basata solo sull'ampolezza (Todd et al., 2024) è insufficiente per identificare l'intero panorama funzionale delle teste FV. Essa manca sistematicamente la sub-popolazione che si oppone al segnale dominante, portando a modelli di circuito incompleti.
Implicazioni per l'Intervento: L'articolo distingue tra ablazione, trapianto (transplant) e steering additivo.
- Ablazione: Rimuovere i cancellatori migliora le prestazioni.
- Trapianto: Sostituire le teste con la loro media del compito (che neutralizza efficacemente il comportamento specifico per ogni prompt dei cancellatori) migliora le prestazioni rispetto ai trapianti dei soli scrittori.
- Steering: Gli autori dichiarano esplicitamente di non sostenere che un vettore di steering aggregato (che combina $W$ e $C$ ) sia l'operazione corretta per lo steering pratico. Poiché $W$ e $C$ hanno segni opposti, aggregarli in un singolo vettore può diluire l'effetto di steering. L'identificazione a livello di popolazione serve a definire quali teste intervenire, non necessariamente come aggregarle.
Generalità: Il fenomeno è osservato in diverse architetture di modelli (GPT-NeoX, stile Llama, Conv1D) e scale, suggerendo che sia una proprietà fondamentale di come i transformer implementano il rule-following in-context, piuttosto che un artefatto di un modello o compito specifico.

5. Limitazioni

Gli autori mantengono la modestia riguardo all'ambito delle loro scoperte:

Ambito dei Compiti: L'analisi primaria è limitata a compiti ICL sintetici brevi con etichette chiuse (regole gerarchiche e modulari) e due template di ICL con vocabolario (antonimi, capitale del paese). Non copre la generazione a lungo termine o il seguire istruzioni aperto.
Generalizzazione del Meccanismo: Sebbene l'esistenza delle due popolazioni sia un reperto a livello di popolazione, la caratterizzazione meccanicistica specifica del principale cancellatore (L11.H4) come "lettore di contenuto con bias distribuito" non viene estrapolata all'intera popolazione dei cancellatori.
Rivendicazioni di Steering: L'articolo non afferma che lo steering basato su vettori utilizzando le popolazioni identificate migliori il controllo pratico del modello oltre i cambiamenti di logit osservati. I guadagni di accuratezza derivanti dall'ablazione non si traducono automaticamente in un vantaggio provato per lo steering additivo senza ulteriore calibrazione.