When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

Riepilogo Tecnico: "Quando la precisione del probing satura, la fragilità risolve"

1. Il Problema: La saturazione della precisione del probing

Il probing lineare standard è un protocollo di interpretabilità ampiamente utilizzato in cui un classificatore lineare viene addestrato su stati latenti congelati per predire una specifica proprietà (ad esempio, sentiment, moralità, sintassi). Se il classificatore raggiunge un'elevata accuratezza, la proprietà viene dichiarata "codificata".

Il paper identifica un modo di fallimento critico in questo protocollo quando applicato alla dinamica di pre-training. Sulla traiettoria di OLMo-2 1B, l'accuratezza del probing standard per proprietà come la moralità satura entro i primi mille passi (raggiungendo circa il 95% di accuratezza al passo 4K). Per il restante 95% della traiettoria di training (~33K passi), la metrica di accuratezza rimane piatta. Di conseguenza, lo strumento diventa cieco ai continui cambiamenti rappresentazionali che avvengono all'interno del modello, rendendo la stragrande maggioranza del pre-training "invisibile" all'analisi standard.

2. Metodologia: Introduzione della "Fragilità"

Per recuperare la risoluzione persa a causa della saturazione, gli autori introducono la fragilità, una metrica complementare per livello.

• Definizione: La fragilità è definita come il livello critico di rumore ($\sigma^*_\ell$) al quale l'accuratezza di un probe addestrato crolla al di sotto di una specifica soglia (impostata a 0,6, ovvero chance + 0,1).
• Procedura:
  1. Addestrare un probe lineare standard su stati latenti puliti per un livello specifico $\ell$.
  2. Iniettare rumore Gaussiano ($\epsilon \sim \mathcal{N}(0, \sigma^2 I)$) nelle attivazioni del set di test memorizzate.
  3. Rivalutare il probe attraverso una scansione logaritmica delle scale di rumore ($\sigma \in \{0.1, 0.3, 1.0, 3.0, 10.0\}$).
  4. Identificare il valore minimo di $\sigma$ in cui l'accuratezza scende sotto la soglia.
• Interpretazione:
  • Basso $\sigma^*_\ell$: La rappresentazione è fragile; il confine di decisione ha un margine stretto o una bassa ridondanza, causando il crollo dell'accuratezza sotto piccole perturbazioni.
  • Alto $\sigma^*_\ell$: La rappresentazione è robusta; la distinzione è codificata con un margine ampio e/o un'alta ridondanza.
• Ambito: Questa metrica è applicata agli stessi probe addestrati utilizzati per le curve di accuratezza, rendendola un complemento diretto che traccia la geometria di separabilità e ridondanza anche dopo che l'accuratezza si è stabilizzata.

3. Contributi Chiave e Setup Sperimentale

Il paper valida questa metodologia utilizzando le famiglie OLMo-2 1B (37 checkpoint, campionamento denso ogni 1K passi) e OLMo-3 7B (20 checkpoint). Gli autori impiegano quattro dataset di coppie minime distinte per sondare diverse capacità:

1. Standard Moral: Scambio di singoli token di lemmi carichi di moralità (es. "tradito" vs "salutato").
2. Sentiment: Scambio di singoli token di aggettivi.
3. Syntax: Violazioni della correttezza strutturale.
4. Compositional Moral (Nuovo Contributo): Un nuovo dataset di 200 coppie dove la valenza morale è determinata dall'integrazione di più token (es. "proteggere" vs "umiliare" in contesti specifici) piuttosto che da un singolo lemma forte. Questo dataset è rigorosamente validato per garantire che non possa essere risolto solo tramite statistica bag-of-words (richiedendo l'integrazione multi-token).

4. Risultati Chiave

Risultato 1: Un gradiente quantitativo Lessicale $\to$ Composizionale
Il probing di accuratezza standard suggerisce che la codifica morale emerga al passo 1K. Tuttavia, gli autori dimostrano che questo misura la separabilità lessicale, non il ragionamento composizionale.

• Standard Moral Probe: Inizia al passo 1K (scambio di singolo lemma).
• Compositional Moral Probe: Inizia al passo 5K (integrazione multi-token).
• Gradiente: L'emergenza segue un ordine rigoroso: rilevamento morale lessicale (1K) $\to$ Sentiment (2K) $\to$ codifica morale composizionale (5K) $\to$ Sintassi (6K).
• Validazione: Il probe composizionale è trasferibile tra tipi di costruzione (es. addestramento su coppie di "motivo", test su coppie di "ruolo") e supera significativamente un baseline bag-of-words, confermando che cattura una genuina codifica composizionale e non solo una ricerca nel vocabolario.

Risultato 2: La fragilità risolve la struttura dove l'accuratezza è piatta
Mentre l'accuratezza media del probing si stabilizza a ~0,95 al passo 4K e rimane statica, il rumore critico medio (fragilità) continua a evolversi fino al passo 36K.

• Gradiente di profondità del livello: Si sviluppa un gradiente monotonico dove i livelli tardivi mantengono la massima robustezza (alto $\sigma^*$), mentre i livelli iniziali diventano progressivamente più fragili (il rumore critico scende da 10,0 a 1,8).
• Replicazione: Questo pattern si mantiene nel modello OLMo-3 7B ed è robusto attraverso quattro seed casuali per il probe composizionale.
• Significato: Il modello subisce un significativo raffinamento rappresentazionale (cambiando robustezza e ridondanza) molto tempo dopo che può semplicemente "classificare" i dati correttamente.

Risultato 3: La cura dei dati rimodella la robustezza senza cambiare l'accuratezza
Gli autori hanno effettuato il fine-tuning del modello OLMo-2 1B su tre corpora corrispondenti (Narrative Moral, Declarative Moral, General Control) usando LoRA.

• Accuratezza: Tutte e tre le condizioni hanno prodotto un'accuratezza di picco identica (~0,74–0,75).
• Fragilità: Le condizioni hanno prodotto fingerprint di fragilità distinti.
  • Declarative Moral (template "Rubare è sbagliato") ha prodotto una fragilità diffusa (10 livelli su 16 sono fragili; $\sigma^*$ medio = 5,63).
  • Le condizioni Narrative/General erano più robuste ( $\sigma^*$ medio $\approx$ 7,0).
• Implicazione: La memorizzazione di template sintattici crea confini decisionali stretti e a basso margine che collassano sotto il rumore, un cambiamento strutturale invisibile alle metriche di accuratezza.

5. Significato e Rivendicazioni

Il paper presenta una rivendicazione metodologica piuttosto che una specifica affermazione sul dominio morale: L'accuratezza del probing è una metrica soggetta a soglie e cap che fallisce nel catturare le dinamiche una volta che una proprietà è linearmente decodificabile.

• La Tesi Centrale: In ogni confronto testato, dove l'accuratezza del probing restituisce una risposta piatta e poco informativa, la fragilità restituisce una risposta strutturata ed evolutiva.
• Riformulazione dell'Emergenza: Il paper sostiene che le affermazioni di "emergenza" basate solo sull'inizio del probe standard (es. "la moralità emerge al passo 1K") sono spesso artefatti dell'accessibilità lessicale. Le vere capacità composizionali emergono più tardi e seguono una dinamica diversa (graduale invece che a scatti).
• Utilità: La fragilità funge da diagnostico necessario per l'analisi del pre-training, rivelando l'evoluzione della geometria rappresentazionale (margine e ridondanza) che l'accuratezza standard oscura.

Gli autori concludono che la finestra di pre-training compie molto più lavoro di quanto gli strumenti di interpretabilità standard rivelino, e aggiungere una lettura della fragilità è essenziale per recuperare questa risoluzione mancante.