Architecture Determines Observability in Transformers

1. Enunciazione del Problema

I Modelli Linguistici di grandi dimensioni (LLM) autoregressivi commettono frequentemente errori sicuri—istances in cui il modello genera un token con alta probabilità softmax (alta sicurezza) che è tuttavia errato. Le tecniche di monitoraggio standard, che si basano sulla sicurezza dell'output (es. massima probabilità softmax) o su predictor addestrati sullo strato finale, non riescono a segnalare questi errori.

Il paper ipotizza che affinché il monitoraggio basato sulle attivazioni abbia successo, il modello deve preservare un segnale interno riguardante la "qualità della decisione per token" che sia distinto e non completamente recuperabile dal segnale di sicurezza dell'output. Tuttavia, non è chiaro se questo segnale sia una proprietà universale dei transformer o se dipenda da scelte architetturali specifiche e dinamiche di addestramento. Il problema centrale è che i metodi di probing standard spesso confondono la "qualità della decisione" con la "sicurezza dell'output", portando a stime gonfiate della monitorabilità.

2. Metodologia

Gli autori propongono un quadro rigoroso per isolare e misurare l'Osservabilità, definita come la leggibilità lineare della qualità della decisione dalle attivazioni congelate degli strati intermedi dopo il controllo della sicurezza dell'output.

Definizioni e Metriche Chiave

• Osservabilità ($\rho_{partial}$): La correlazione di Spearman parziale tra un probe lineare sugli stati nascosti ($h^{(l)}$) e la perdita di cross-entropy per token ($\ell$), controllando per due confondenti:
  1. Massima probabilità softmax ($\hat{p}_{max}$).
  2. Norma dell'attivazione ($\|h\|$).
     Questo isola il segnale "residualizzato rispetto alla sicurezza".
• Residuo Controllato per l'Output ($r_{OC}$): Una metrica più rigorosa che controlla ulteriormente per un predictor MLP (Multi-Layer Perceptron) addestrato sulla rappresentazione dello strato finale. Se $r_{OC} > 0$, il segnale dello strato intermedio contiene informazioni sulla qualità della decisione che lo strato di output finale scarta o non riesce a utilizzare.
• Collasso dell'Osservabilità: Uno stato in cui $\rho_{partial}$ scende sotto una soglia di rilevamento (circa $\le 0.15$) e $r_{OC}$ si avvicina a zero, indicando che l'architettura non è riuscita a preservare il segnale di errore indipendente dall'output.

Protocollo Sperimentale

• Dati: WikiText-103 per l'addestramento dei probe; task a valle (SQuAD, MedQA, TruthfulQA) per la validazione operativa.
• Probing: Un semplice head lineare ($w^T h + b$) addestrato su attivazioni congelate per prevedere un target binario: se la perdita residua ($\ell - \hat{\ell}$) è positiva (ovvero, il modello è più sbagliato di quanto suggerisca la sua sicurezza).
• Controlli: Lo studio impiega controlli estesi inclusi MLP non lineari, controlli di entropia dei logit e test di mescolamento (shuffle) per escludere artefatti.
• Dataset: 25 modelli su 6 famiglie (Pythia, GPT-2, QWEN 2.5, LLAMA, Mistral, Gemma, Phi-3).

3. Contributi Chiave

A. La "Contaminazione da Sicurezza" dei Probe

Il paper dimostra che i probe lineari standard sono fortemente contaminati dalla sicurezza dell'output. Su 13 modelli, il controllo per la massima probabilità softmax e la norma dell'attivazione assorbe il 57.7% del segnale grezzo del probe. Ciò implica che studi precedenti che affermavano di trovare "segnali di ragionamento" negli stati nascosti potrebbero aver semplicemente rilevato i livelli di sicurezza del modello stesso.

B. La Configurazione Architetturale Determina l'Osservabilità

La scoperta più significativa è che l'osservabilità non è una proprietà generica dei transformer; è determinata da configurazioni architetturali specifiche e ricette di addestramento.

• Il Fenomeno del Collasso: Nella suite Pythia (addestramento controllato), i modelli con la configurazione (24 strati, 16 teste) collassano consistentemente a $\rho_{partial} \approx 0.10$, indipendentemente dal numero di parametri (da 410M a 1.4B) o dalla variante del dataset (Pile vs. Pile Deduplicato).
• Fascia Sana: Altre configurazioni (es. 16L/8H, 32L/32H) mantengono un intervallo di segnale "sano" di $\rho_{partial} \in [0.21, 0.38]$.
• LLAMA vs QWEN: A scale comparabili (3 miliardi di parametri), QWEN 2.5 preserva una forte osservabilità ($\rho_{partial} \approx 0.26$), mentre LLAMA 3.2 collassa ($\rho_{partial} \approx 0.09$). Le distribuzioni dei semi dei probe non si sovrappongono, indicando una differenza architetturale fondamentale.

C. Collasso Emergente dall'Addestramento

Attraverso l'analisi dei checkpoint di Pythia 1B (sano) vs Pythia 1.4B (collassato), gli autori mostrano che entrambe le configurazioni formano inizialmente il segnale nelle prime fasi dell'addestramento. Tuttavia, durante la fase centrale dell'addestramento, l'architettura (24L, 16H) cancella questo segnale mentre la perdita predittiva (perplessità) continua a migliorare. La configurazione sana recupera e trattiene il segnale. Ciò dimostra che il collasso è il risultato delle dinamiche di addestramento che interagiscono con l'architettura, non di un'incapacità statica dell'architettura di rappresentare il segnale.

D. Utilità Operativa (Cattura Esclusiva)

Lo studio convalida l'utilità pratica di questi probe su task a valle (QA, Medico, Veridicità).

• Tasso di Cattura Esclusiva: A un tasso di segnalazione del 20%, l'osservatore cattura 10.9%–13.4% degli errori che il monitoraggio basato sulla sicurezza perde.
• Trasferibilità: I probe addestrati su WikiText si trasferiscono ai task a valle senza riaddestramento specifico per il task, catturando risposte "sicure ma errate" in MedQA e Comprensione del Lettura.
• Limitazione: L'osservatore non rileva "allucinazioni fluide" (TruthfulQA) in cui il modello afferma con sicurezza una falsità; cattura specificamente i fallimenti di previsione a livello di token in cui lo stato interno contraddice la sicurezza dell'output.

4. Risultati Chiave

• Non Linearità: I probe non lineari (MLP) non recuperano il segnale nelle configurazioni collassate, dimostrando che la perdita è rappresentazionale, non una limitazione delle letture lineari.
• Indipendenza dalla Scala: All'interno di una famiglia sana (es. QWEN 2.5), l'osservabilità è stabile su un intervallo di parametri di 28x (da 0.5B a 14B).
• Dipendenza dalla Ricetta: La configurazione specifica che collassa dipende dalla ricetta di addestramento (es. Pythia collassa a 24L/16H; LLAMA collassa a 28L/24H).

5. Significato e Implicazioni

1. Selezione Architetturale come Decisione di Monitoraggio: Il paper sostiene che scegliere un'architettura di modello non è solo una decisione sulle prestazioni ma una decisione di monitorabilità. Se viene scelta una configurazione specifica (come LLAMA 3B o Pythia 24L/16H), il monitoraggio basato sulle attivazioni per errori sicuri diventa impossibile, indipendentemente da quanto sofisticato sia lo strumento di monitoraggio.
2. Ridefinizione della Validità del Probing: Lo studio stabilisce che la futura ricerca sul probing mirata alla qualità della decisione deve controllare per la sicurezza dell'output. Senza questi controlli, i risultati probabilmente sovrastimano il segnale "indipendente dall'output" di un fattore di 2–3.
3. Dinamiche di Addestramento: La scoperta che l'addestramento cancella attivamente un segnale inizialmente presente suggerisce che preservare l'osservabilità è un problema di ottimizzazione non banale. Gli obiettivi di addestramento attuali (minimizzare la perdita) potrebbero involontariamente distruggere i segnali interni necessari per il monitoraggio della sicurezza.
4. Monitoraggio Complementare: L'osservatore fornisce un segnale complementare alla sicurezza dell'output. Mentre i monitor di sicurezza catturano errori "incerti", i monitor di attivazione catturano errori "sicuri ma sbagliati". Tuttavia, questa capacità è limitata dalla capacità dell'architettura di preservare il segnale.

Conclusione:
Il paper conclude che l'architettura determina l'osservabilità. La capacità di un modello di essere monitorato per errori sicuri è una proprietà a monte determinata dall'interazione tra la sua configurazione e la ricetta di addestramento. Una volta che un modello è addestrato in una configurazione "collassata", nessun design di probe post-hoc può recuperare il segnale perso. Pertanto, garantire la monitorabilità richiede la selezione di architetture e ricette di addestramento che preservino questi segnali interni indipendenti dalla sicurezza.