Riepilogo Tecnico: Il Fine-Tuning Istruttivo Modifica Come lo Stato a Monte Condiziona la Lettura a Valle

Enunciato del Problema

Ricerche recenti sull'interpretabilità meccanica hanno localizzato i comportamenti post-allenamento (ad esempio, rifiuto, persona, esecuzione di istruzioni) in direzioni, caratteristiche e livelli specifici, spesso nelle fasi di mezzo-tardo dello stack del transformer. Tuttavia, persiste un divario critico nella comprensione della cooperazione tra il calcolo iniziale e lo stack tardivo. Nello specifico, non è chiaro se le differenze post-allenamento derivino principalmente da cambiamenti nelle caratteristiche tardive stesse o da cambiamenti negli stati residui precedenti che attivano tali caratteristiche. La domanda centrale è: Il fine-tuning istruittivo modifica meramente il livello di lettura tardivo, o altera fondamentalmente lo stato a monte necessario per rendere efficaci quelle caratteristiche tardive?

Metodologia: Cross-Patching alla Prima Divergenza

Per affrontare ciò, gli autori introducono il cross-patching alla prima divergenza, una diagnosi che scompone l'effetto del fine-tuning istruittivo (IT) in componenti dipendenti dallo stato a monte e componenti dirette dello stack tardivo.

1. Sito di Intervento

Per un dato prompt, il metodo identifica la prima posizione di token generato in cui un modello base pre-addestrato (PT) e il suo corrispettivo con fine-tuning istruittivo (IT) non concordano sul token successivo top-1. Siano questi token $t_{PT}$ e $t_{IT}$.

2. Il Fattoriale a Quattro Celle

In questo punto di divergenza, gli autori costruiscono quattro passaggi in avanti ibridi accoppiando lo stato residuo a monte ($U$) di un modello con lo stack tardivo ($L$) dell'altro. Lo stack tardivo è definito come l'ultimo ~40% dei livelli (iniziando approssimativamente al 60% della profondità).
Le quattro configurazioni sono:

1. $Y(U_{PT}, L_{PT})$: A monte Base + Stack tardivo Base (Controllo)
2. $Y(U_{PT}, L_{IT})$: A monte Base + Stack tardivo IT
3. $Y(U_{IT}, L_{PT})$: A monte IT + Stack tardivo Base
4. $Y(U_{IT}, L_{IT})$: A monte IT + Stack tardivo IT (Controllo)

Il punteggio $Y$ è definito come il margine dei logit: $\text{logit}(t_{IT}) - \text{logit}(t_{PT})$.

3. Scomposizione

La metrica centrale è l'effetto di interazione, calcolato come:
$$\text{Interazione} = [Y(U_{IT}, L_{IT}) - Y(U_{IT}, L_{PT})] - [Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})]$$
Ciò misura quanto di più lo stack tardivo IT aiuta quando legge il proprio stato a monte (IT) rispetto allo stato a monte base (PT).

• Effetto Diretto dello Stack Tardivo: Il contributo dello stack tardivo IT quando accoppiato con lo stato a monte PT ($Y(U_{PT}, L_{IT}) - Y(U_{PT}, L_{PT})$).
• Effetto Dipendente dall'A Monte: Il guadagno aggiuntivo quando lo stack tardivo IT legge lo stato a monte IT.

4. Validazione e Controlli

Lo studio impiega controlli rigorosi per garantire che gli stati ibridi non siano artefatti:

• Integrità dello Stato Ibrido: L'interpolazione tra stati PT e IT è fluida; permutazioni casuali con segno non riescono a riprodurre l'effetto.
• Bias di Selezione: Le disuguaglianze locali casuali (non alla prima divergenza) mostrano un'interazione ridotta ma dello stesso segno, mentre la valutazione pre-divergenza è vicina allo zero, confermando che la prima divergenza concentra l'effetto.
• Storia Nativa: L'effetto persiste quando si utilizzano storie di generazione native IT o PT invece di un prefisso condiviso.

Risultati Chiave

1. Accoppiamento A Monte-A Valle

In cinque famiglie di modelli densi (4B–32B: Llama 3.1, Qwen 3, Mistral 7B, OLMo 2, Qwen2.5 32B), i risultati mostrano un forte accoppiamento a monte-a valle:

• Effetto Diretto: Lo stack tardivo IT aggiunge +0.76 logit verso il token IT quando accoppiato con lo stato a monte PT.
• Effetto Dipendente dall'A Monte: Lo stack tardivo IT aggiunge +2.44 logit quando accoppiato con lo stato a monte IT.
• Interazione: Il termine di interazione è +1.68 logit, positivo in tutte e cinque le famiglie.
• Interpretazione: Lo stack tardivo ha un effetto diretto reale, ma la maggior parte dello spostamento comportamentale osservato nel checkpoint IT si manifesta solo quando lo stack tardivo legge il proprio stato a monte post-allenamento.

2. Separazione delle Ricette di Addestramento

La diagnosi distingue tra diverse ricette post-allenamento:

• Discendenti per l'Esecuzione di Istruzioni: Mostrano una forte dipendenza a monte (grande interazione). I loro effetti tardivi richiedono il proprio stato a monte specifico.
• OpenMath2 (Dominio Matematico): Nonostante condivida la base Llama 3.1, l'effetto tardivo nel dominio matematico di OpenMath2 è in gran parte portabile. Mostra un effetto grande anche quando legge lo stato a monte base (interazione $\approx -0.15$).
• Pre-addestramento Continuo Controllato (CPT): Gli adattatori CPT per codice e biomedicina che migliorano con successo l'NLL di dominio non riproducono il pattern di interazione prompt-istruzione sul supporto principale (interazioni vicine allo zero). Ciò suggerisce che la dipendenza a monte è specifica per l'allineamento all'esecuzione di istruzioni, non per l'adattamento generico di dominio.

3. Evidenza Meccanica

• Caratteristiche Sparse dell'Ultimo Livello: I crosscoder sugli strati MLP finali identificano caratteristiche sparse che mediano parzialmente l'interazione. L'ablazione delle 200 caratteristiche causali superiori riduce l'interazione del 26–48% nelle famiglie con filtro di qualità.
• Guida a Monte: Inserire il calcolo a monte IT nell'ibrido debole recupera +1.71 logit, con una parte mediata da queste caratteristiche dell'ultimo livello. Ciò supporta un meccanismo di "passaggio" in cui lo stato iniziale guida l'attivazione delle caratteristiche dell'ultimo livello.
• Stato Strutturato: Le proiezioni PCA degli spostamenti dello stato al confine discendente meno base chiudono una porzione significativa del margine mancante, indicando che lo stato a monte mancante ha una forma strutturata a basso rango.

4. Conseguenze a Valle

• Valutazione con Token Forzati: Forzare il token divergente preferito dall'IT migliora il successo della risposta esatta solo per il suffisso nei prompt di ragionamento sui contenuti del +0.157.
• Continuazione Vincolata: L'interazione persiste su orizzonti brevi (fino a $N=8$ token), con code native coerenti che portano più interazione rispetto a code mescolate.

Significato e Affermazioni

Il paper afferma di fornire una scomposizione locale e causale di come il fine-tuning istruittivo altera il comportamento del modello, andando oltre la semplice localizzazione delle caratteristiche per comprenderne l'attivazione condizionale.

1. Smentita degli Stack Tardivi Autonomi: I risultati sfavoriscono la visione secondo cui gli strati tardivi sono autonomi. Un grande effetto tardivo misurato in un checkpoint IT non implica che il calcolo sia indipendente; spesso dipende dallo stato a monte specifico generato dalla ricetta di addestramento IT.
2. Meccanismi Specifici della Ricetta: La firma della "dipendenza a monte" è una proprietà specifica dell'allineamento all'esecuzione di istruzioni, distinguendolo dal fine-tuning specifico di dominio (come OpenMath2) o dal pre-addestramento continuo generico.
3. Diagnostica Operativa: Gli autori propongono che qualsiasi studio che localizzi differenze negli strati tardivi dovrebbe verificare se tali effetti sopravvivono sotto lo stato a monte dell'altro checkpoint. Se l'effetto svanisce o si riduce significativamente, lo stack tardivo non è autonomo.
4. Limiti di Scopo: Gli autori dichiarano esplicitamente che questi sono test locali di lettura del prossimo token alla prima divergenza. Non affermano di stimare il comportamento medio di deployment o di fornire una ricostruzione completa del circuito dell'esecuzione di istruzioni. I risultati sono circoscritti alle famiglie di transformer densi e a specifici supporti di prompt.

In sintesi, il paper sostiene che il fine-tuning istruittivo rimodella la cooperazione tra il calcolo a monte e la lettura tardiva, dove la capacità dello stack tardivo di produrre output che seguono le istruzioni è fortemente condizionata dagli stati residui specifici prodotti dagli strati iniziali del modello sintonizzato.