Riepilogo Tecnico: Il Divario di Convergenza nei Modelli Linguistici Addestrati alle Istruzioni

1. Enunciato del Problema

Le attuali diagnosi di differenziazione dei modelli spesso riducono i confronti tra checkpoint pre-addestrati (PT) e addestrati alle istruzioni (IT) ai punteggi dell'output finale (ad esempio, accuratezza o perplessità). Questo approccio oscura quando un modello si impegna in una previsione durante il passaggio in avanti. Il documento ipotizza che i checkpoint rilasciati per il rispetto delle istruzioni non terminino semplicemente con distribuzioni diverse; seguono traiettorie di stabilizzazione differenti, potenzialmente stabilizzandosi sulle loro previsioni finali del token successivo più tardi nello stack della rete rispetto ai loro corrispettivi pre-addestrati. Il problema centrale è la mancanza di una diagnosi che misuri il tempismo della stabilizzazione della previsione piuttosto che il solo esito finale.

2. Metodologia

2.1 La Metrica del Divario di Convergenza

Gli autori introducono il divario di convergenza, una diagnosi a livello di layer definita come la divergenza Kullback-Leibler (KL) tra la distribuzione del token successivo decodificata al layer $l$ ($p_l$) e la distribuzione finale del token successivo del modello ($p_L$):
$$\text{Divario di Convergenza}_l = \text{KL}(p_l || p_L)$$
Questa metrica quantifica quanto un layer specifico sia lontano dalla previsione finale del modello. Un divario più ampio nei layer tardivi indica che il modello sta ancora cambiando significativamente idea mentre attraversa lo stack.

2.2 Configurazione Sperimentale

• Modelli: Sono stati analizzati sei coppie di checkpoint PT/IT: Gemma 3 4B, Llama 3.1 8B, Qwen 3 4B, Mistral 7B, OLMo 2 7B e DeepSeek-V2-Lite.
• Storie: Tutti i confronti hanno utilizzato storie di token corrispondenti. Le curve di scoperta sono state aggregate dalle letture a livello di layer per token su centinaia di migliaia di passaggi di token.
• Controlli:
  • Corrispondenza degli Estremi: I passaggi di token PT e IT sono stati abbinati in base alla confidenza finale, all'entropia e ai margini top-1/top-2 per garantire che il divario non sia un artefatto di diverse confidenze agli estremi.
  • Controlli Senza Estremi: Confronti delle distribuzioni di output native dello stesso layer sotto storie identiche forzate dall'insegnante, evitando qualsiasi riferimento all'estremo finale.
  • Riproduzione a Storia Fissa: I modelli nativi e quelli addestrati hanno riprodotto i template di chat nativi per controllare gli effetti di serializzazione indotti dai template.

2.3 Interventi (Innesti/Sostituzioni MLP con Prefisso Abbinato)

Per identificare il locus architettonico di questo fenomeno, gli autori hanno eseguito interventi causali simmetrici:

• Innesti: Sostituzione di finestre MLP specifiche (Iniziali, Centrali, Tardive) in un host PT con i pesi IT corrispondenti.
• Sostituzioni: Sostituzione di finestre MLP specifiche in un host IT con i pesi PT corrispondenti.
• Finestre: Definite come circa il 40% della profondità del modello, centrate nelle regioni iniziale, centrale e tardiva (ad esempio, per Llama 3.1 8B, la regione tardiva comprende i layer 19–31).
• Controlli Casuali: Sono state applicate perturbazioni casuali corrispondenti di proiezione residua ai layer tardivi per verificare se qualsiasi grande perturbazione, piuttosto che l'aggiornamento IT specifico, causasse l'effetto.

3. Risultati Chiave

3.1 I Modelli Addestrati alle Istruzioni si Stabilizzano Più Tardi

In tutte e sei le famiglie di modelli, i checkpoint addestrati alle istruzioni presentano un divario di convergenza tardivo più ampio. Le curve IT rimangono più alte (più lontane dalla distribuzione finale) più in profondità nello stack rispetto ai modelli PT.

• Corrispondenza agli Estremi: Il divario persiste anche controllando per confidenza ed entropia agli estremi (Nativo: +0,425 nats; Addestrato: +0,762 nats).
• Senza Estremi: Il movimento adiacente da layer a layer (divergenza JS) e i tassi futuri di inversione top-1 sono più alti nei modelli IT, confermando che cambiano le loro previsioni più tardi nel passaggio in avanti.
• Effetti dei Template: Sebbene la riproduzione nativa/senza template attenui la firma, l'effetto rimane positivo e significativo sotto la riproduzione a storia fissa dei template di chat nativi.

3.2 Gli MLP Tardivi sono il Punto di Leva Primario

Gli esperimenti di intervento hanno identificato le finestre MLP tardive come la leva bidirezionale più forte sul ritardo di stabilizzazione:

• Host PT + Innesto IT Tardivo: Aumenta il divario KL tardivo di +0,34 nats (vs -0,03 per iniziale, -0,05 per centrale).
• Host IT + Sostituzione PT Tardiva: Riduce il ritardo IT di -0,51 nats (vs -0,10 per iniziale, -0,23 per centrale).
• Controlli Casuali: Le perturbazioni tardive casuali corrispondenti non sono riuscite a riprodurre l'effetto (+0,003 nats vs +0,327 nats per gli innesti reali), escludendo spiegazioni basate semplicemente sulla magnitudine.

3.3 Studio di Caso Comportamentale (Gemma)

Uno studio di caso pre-selezionato su Gemma 3 4B ha testato l'impatto a valle della sostituzione PT tardiva:

• Preferenza: Il giudizio cieco a coppie ha preferito l'IT nativo rispetto alla sostituzione PT tardiva nel 94,7% dei prompt del registro assistente.
• Punteggi: Il punteggio del registro assistente è sceso da 4,733 (nativo) a 3,929 (sostituzione tardiva), mentre le sostituzioni iniziali hanno avuto un impatto trascurabile.
• Robustezza: I controlli programmatici (MMLU, ragionamento) non hanno mostrato un collasso totale, suggerendo che l'effetto è specifico alla dinamica del rispetto delle istruzioni piuttosto che a un degrado generale delle capacità.

4. Contributi e Significato

Il documento apporta tre contributi principali, inquadrati come un cambiamento nel modo in cui viene analizzato il post-addestramento:

1. Un Target di Dinamica di Previsione: Il divario di convergenza fornisce un oggetto misurabile per "quando un modello si stabilizza", andando oltre i confronti statici agli estremi per analizzare il percorso verso la previsione.
2. Controlli Rigorosi: Utilizzando letture corrispondenti agli estremi e controlli a stessa storia senza estremi, il documento dimostra che la stabilizzazione ritardata è una firma robusta dell'addestramento alle istruzioni, non un artefatto dei livelli di confidenza o della formattazione dei template.
3. Localizzazione Causale: Gli interventi con prefisso abbinato isolano le finestre MLP tardive come la leva bidirezionale più grande testata sulla stabilizzazione ritardata. Questo identifica una specifica regione architettonica dove le dinamiche di "rispetto delle istruzioni" sono più malleabili.

5. Ambito e Limitazioni (Voce dell'Autore)

Gli autori dichiarano esplicitamente l'ambito e le limitazioni delle loro affermazioni:

• Non un Meccanismo Completo: Il documento non afferma di spiegare l'intero meccanismo del rispetto delle istruzioni o di fornire una direzione di guida universale.
• Non un Predittore di Benchmark: Lo studio di caso su Gemma è un "ponte orientato al comportamento" per la famiglia più chiara, non un'affermazione che il divario di convergenza predica le prestazioni dei benchmark su tutti i compiti o le famiglie.
• Nessuna Caratteristica Nominata: Il lavoro identifica una firma robusta a livello di layer e la leva MLP più forte, ma non ricostruisce l'intero circuito o identifica caratteristiche sparse nominate (ad esempio, tramite SAE o crosscoders).
• Dipendenza dai Template: L'effetto è modulato dai template di chat; il documento tratta la prompt senza template come una serializzazione fuori distribuzione che attenua, ma non cancella, la firma.
• Caveat MoE: DeepSeek-V2-Lite è stato incluso nelle curve di scoperta ma escluso dalle medie causali perché il routing MoE complica l'interpretazione delle sostituzioni di finestre MLP dense.

Conclusione: Il documento conclude che i checkpoint addestrati alle istruzioni rilasciati tendono a stabilizzarsi più tardi nel passaggio in avanti, e il calcolo MLP tardivo è la leva bidirezionale più forte testata su quel ritardo sotto storie corrispondenti. Questo riformula il post-addestramento come un cambiamento nel percorso verso una previsione, non solo nell'estremo.