What Is the Minimum Architecture for Prolepsis? Early Irrevocable Commitment Across Tasks in Small Transformers

Titolo: Qual è l'architettura minima per la Prolessi? Impegno Irrevocabile Precoce tra Compiti in Piccoli Transformer

1. Il Problema e il Contesto

Il paper affronta una domanda fondamentale nella meccanica interpretativa dei Large Language Models (LLM): quando un transformer si "impegna" (commit) su una decisione e cosa gli impedisce di correggerla?

Il lavoro nasce come replica indipendente e verifica del finding di Lindsey et al. (2025), che aveva identificato un "sito di pianificazione" (planning site) nel modello proprietario Claude 3.5 Haiku. In quel modello, le caratteristiche dei traspoderi cross-layer (CLT) per le parole di rima si pre-attivano prima della generazione della parola stessa, indicando che il modello decide la rima prima di generare le parole che ci portano. Tuttavia, poiché quel risultato era basato su un modello proprietario, non era verificabile esternamente.

L'obiettivo di questo studio è:

1. Verificare se questo fenomeno esiste in modelli open-source (Gemma 2 2B, Llama 3.2 1B).
2. Comprendere la struttura architetturale sottostante che permette questa "prolessi" (dal greco prolepsis, anticipazione): un impegno precoce, sostenuto da testine di attenzione, che non viene mai corretto, nemmeno se errato.

2. Metodologia

Gli autori hanno condotto esperimenti su hardware consumer (una singola GPU con 16 GB di VRAM) utilizzando modelli open-weight e strumenti di interpretabilità open-source.

• Modelli: Gemma 2 2B (26 layer) e Llama 3.2 1B (16 layer).
• Strumenti: Utilizzo di Cross-Layer Transcoders (CLT), una forma di apprendimento dizionario sparso applicato agli attivazioni dei transformer, per decomporre il flusso residuo in caratteristiche interpretabili e monosemantiche.
• Compiti:
  • Pianificazione di rime: Il modello deve completare una poesia con una rima specifica.
  • Richiamo fattuale: Utilizzo del dataset CounterFact per testare la memoria fattuale (es. cambiare "Francia" in "Germania").
• Protocollo Sperimentale:
  • Individuazione delle caratteristiche: Scansione di milioni di feature CLT per trovare quelle che codificano gruppi di rime (es. parole che finiscono in "-out").
  • Protocollo "Suppress + Inject": Soppressione delle feature della rima naturale e iniezione di una feature alternativa in diverse posizioni del token.
  • Analisi di Routing: Misura delle variazioni nei pattern di attenzione per tracciare come la decisione viaggia dal "sito di pianificazione" all'output.
  • Test di Profondità: Soppressione selettiva di gruppi di layer per determinare la profondità minima necessaria per l'impegno.

3. Contributi Chiave

Il paper presenta sei contributi principali:

1. Replica Indipendente: Prima verifica indipendente del "sito di pianificazione" su modelli open (Gemma e Llama) con CLT open.
2. Invisibilità ai Metodi Standard: Dimostrazione che la pianificazione è invisibile a sei metodi standard di steering del flusso residuo (es. vettori di steering, patching causale); i CLT sono l'unico strumento efficace.
3. Identificazione delle Testine di Routing: Mappatura delle specifiche testine di attenzione (es. L21:H5 in Gemma) che trasportano la decisione di pianificazione dall'input all'output, colmando un vuoto nella letteratura precedente.
4. Soglia di Profondità Minima: Stabilimento che la "ricerca" (search) richiede $\le 16$ layer, mentre l'"impegno" (commitment) richiede una profondità maggiore (>16 layer).
5. Scoperta della Prolessi: Identificazione di un motivo architettonico trasversale ai compiti: impegno precoce, propagazione sostenuta attraverso testine di routing e irrevocabilità.
6. Riproducibilità Totale: Tutti gli esperimenti sono eseguibili su una singola GPU consumer.

4. Risultati Principali

Q1: La pianificazione è visibile senza CLT?

No. Sei metodi standard di interpretazione (basati sul flusso residuo) falliscono completamente nel reindirizzare le rime (0% di successo). Al contrario, la stessa metodologia applicata al richiamo fattuale funziona. Questo indica che la pianificazione non è codificata come una direzione nel flusso residuo (come i fatti), ma come attivazioni di feature sparse e instradamento attraverso le testine di attenzione.

Q2: Il "sito di pianificazione" si replica?

Sì. Sia su Gemma 2 2B che su Llama 3.2 1B, si osserva un picco ("spike") nella probabilità di iniezione della parola target esattamente all'ultimo token prima della generazione (il "planning site"). La geometria del segnale è identica a quella osservata su Claude 3.5 Haiku.

Q3: Come viaggia la decisione verso l'output?

La decisione non viaggia passivamente. È sostenuta da testine di routing di attenzione specifiche.

• In Gemma, la testina L21:H5 domina, disimpegnandosi dal piano naturale e permettendo all'input iniettato di propagarsi.
• Il meccanismo richiede sia la soppressione che l'iniezione (l'iniezione da sola è 13 volte meno efficace).
• Questo risolve il "vuoto" segnalato da Lindsey et al., dove l'interazione mediata dalle testine di attenzione era invisibile ai metodi precedenti.

Q4: Qual è la profondità minima per l'impegno?

C'è una distinzione fondamentale tra "ricerca" e "impegno":

• Llama 3.2 1B (16 layer): Riesce a "ricercare" le parole di rima (le feature appaiono nei layer intermedi), ma non riesce a "impegnarsi" in modo affidabile. Il segnale si dissipa prima dell'output.
• Gemma 2 2B (26 layer): Riesce a mantenere l'impegno fino all'output.
• Conclusione: L'architettura minima per la pianificazione non è definita dal numero di parametri, ma dalla profondità dei layer. La ricerca richiede $\le 16$ layer, l'impegno irrevocabile richiede $> 16$ layer.

Q5: La prolessi è specifica per la pianificazione?

No. Lo stesso motivo strutturale appare nel richiamo fattuale, ma a una profondità diversa:

• Pianificazione: Impegno precoce, routing attraverso testine di layer medi (es. layer 5-11 in Llama).
• Richiamo Fattuale: Impegno precoce, routing attraverso testine di layer tardivi (es. layer 9-15 in Llama).
• Sovrapposizione Zero: Non c'è sovrapposizione tra le testine di routing ricorrenti per la pianificazione e quelle per i fatti. La "prolessi" è un template architettonico condiviso, ma i substrati computazionali (le testine specifiche) differiscono in base al compito.

5. Significato e Implicazioni

• Definizione di Prolessi: Il paper conia il termine "Prolessi" per descrivere un motivo strutturale in cui un transformer si impegna su una decisione nei layer iniziali e le testine di routing mantengono questo impegno fino all'output senza correzioni, anche se la risposta è sbagliata.
• Irrevocabilità: Una volta che il modello si è impegnato (es. al layer 22 in Gemma), i layer successivi non correggono la decisione. Anche iniettando una feature contraddittoria con forza doppia nei layer finali, la decisione originale non viene invertita. Questo ha implicazioni di sicurezza: un modello che si impegna irrevocabilmente è più difficile da reindirizzare durante la generazione.
• Limiti degli Strumenti Attuali: Il fatto che la pianificazione sia invisibile ai metodi basati sul flusso residuo suggerisce che gli strumenti di interpretazione attuali potrebbero essere "ciechi" a certi tipi di ragionamento o pianificazione interna, che richiedono l'uso di dizionari sparsi (CLT).
• Architettura vs. Addestramento: La capacità di impegnarsi dipende dalla profondità della rete, non solo dalla quantità di dati o parametri. Modelli più piccoli (in termini di layer) potrebbero essere intrinsecamente limitati nella capacità di pianificazione complessa.

In sintesi, il paper dimostra che la pianificazione nei transformer è un processo architettonico specifico, visibile solo attraverso lenti di feature sparse, che richiede una profondità minima per diventare irrevocabile e che condivide un template strutturale (prolessi) con altri compiti cognitivi come il richiamo fattuale, pur utilizzando circuiti neurali distinti.