Riepilogo Tecnico: Collasso della Rappresentazione nel Post-Training Sequenziale dei Large Language Models

1. Definizione del Problema

I contemporanei Large Language Models (LLM) sono raramente adattati attraverso un singolo passaggio di instruction-tuning. Invece, subiscono catene sequenziali di fasi di post-training, che includono l'instruction tuning generale, l'ottimizzazione delle preferenze, l'allineamento alla sicurezza, la specializzazione di dominio (matematica/codice) e il tuning per il lungo chain-of-thought (CoT). Mentre le attuali pratiche di valutazione si concentrano sugli esiti comportamentali (ad esempio, punteggi nei benchmark, tassi di rifiuto), questo articolo sostiene che tale visione sia incompleta.

Il problema centrale indagato è il collasso della rappresentazione: l'ipotesi secondo cui il post-training sequenziale comprima gradualmente lo spazio delle caratteristiche interne del modello in varietà a basso rango, anisotrope e omogenee. Gli autori sostengono che, sebbene singoli stadi possano migliorare le prestazioni su compiti specifici, l'eccessiva concentrazione delle rappresentazioni può degradare la "plasticità" del modello, rendendo difficile la futura adattabilità a nuovi domini. Questo collasso è caratterizzato da:

• Perdita di rango effettivo nella covarianza degli stati latenti.
• Allineamento dei campioni con alcune direzioni dominanti (anisotropia).
• Ridotta separabilità tra domini e tipi di token.
• Logit eccessivamente sicuri e calibrazione ridotta.
• Riutilizzo degli stessi sottospazi a basso rango per gli aggiornamenti degli adapter (es. LoRA) attraverso diversi stadi.

L'articolo inquadra questo fenomeno non come una perdita totale di capacità, ma come un "modo di fallimento silenzioso" in cui un modello diventa migliore nel suo compito target più recente, ma meno capace di apprendere compiti successivi a causa di un restringimento geometrico.

2. Metodologia

Configurazione Sperimentale

Lo studio impiega un benchmark di post-training sequenziale controllato utilizzando modelli open-weight di piccole e medie dimensioni (Qwen2.5-1.5B, TinyLlama-1.1B, Llama-3.2-1B, OLMo-1B e un controllo di scalabilità a 7B). Gli esperimenti utilizzano LoRA (rank 16, alpha 32) come meccanismo di adattamento primario, con full fine-tuning sui modelli da 1B per verificare che gli effetti non siano artefatti del basso rango dell'adattamento stesso.

La pipeline di training prevede sequenze distinte di stadi, come:

• Catena di Specializzazione: General SFT $\to$ Math SFT $\to$ Code SFT $\to$ Safety/Refusal SFT.
• Ragionamento e Preferenza: General SFT $\to$ Long-CoT SFT $\to$ Ottimizzazione delle Preferenze di tipo DPO.
• Sicurezza Prima di Tutto: Safety/Refusal SFT $\to$ General SFT $\to$ Specializzazione di Dominio.

Suite di Misurazione

Un corpus di probe fisso ($X_{probe}$) di 12.000 testi prompt-risposta (bilanciati tra i domini) viene applicato a ogni checkpoint per garantire che i cambiamenti geometrici non siano confusi da spostamenti nelle distribuzioni di valutazione. L'articolo definisce una suite di misurazione completa che copre:

1. Metriche Spettrali:
   • Rango Effettivo e Rapporto di Partecipazione: Misura quanto sia concentrata la covarianza degli stati latenti.
   • Varianza Top-k: Visualizza la concentrazione nelle dimensioni dominanti.
2. Metriche Geometriche:
   • Anisotropia: Similitudine del coseno media (centrata e non centrata).
   • Drift CKA: Allineamento del kernel centrato (Centered Kernel Alignment) confrontando i checkpoint con il modello base e con gli stadi precedenti.
   • Separabilità del Dominio: Punteggi Silhouette e rapporti di covarianza per la separazione dei domini.
3. Dinamiche dei Token:
   • Analisi del rango e della diversità attraverso specifici span: prompt, risposte iniziali, risposte tardive, span CoT e span di rifiuto.
4. Metriche Funzionali:
   • Spazio dei Logit: Entropia, dimensione del supporto del vocabolario, margini dei primi due valori (top-two margins) ed Errore di Calibrazione Attesa (ECE).
5. Metriche di Aggiornamento:
   • Sovrapposizione LoRA: Sovrapposizione dell'angolo principale tra le basi dei vettori singolari degli aggiornamenti LoRA attraverso diversi stadi.

Strategia di Valutazione

La valutazione è basata sulla traiettoria piuttosto che sull'endpoint. Dopo ogni stadio, il modello viene valutato su:

• Performance Target: Guadagno immediato sul dominio addestrato.
• Ritenzione/OOD: Prestazioni su compiti non inclusi (held-out) e dati out-of-distribution.
• Apprendimento Futuro: Un test critico in cui ogni checkpoint subisce un adattamento a budget fisso a un nuovo compito di dominio non visto. L'efficienza del campione e il punteggio finale di questo adattamento futuro fungono da proxy per la plasticità.

3. Risultati Chiave

Scoperte Empiriche

1. Il Post-Training Sequenziale è una Traiettoria: Il collasso non è uniforme; si concentra in layer specifici (spesso nei blocchi transformer medi e tardivi) e varia per stadio. Ad esempio, il tuning matematico riduce il rango in bande specifiche, mentre il tuning della sicurezza concentra le rappresentazioni delle risposte tardive.
2. Firme del Collasso Dipendenti dall'Obiettivo:
   • Safety/Refusal Tuning: Produce direzioni di template di risposta forti e logit più netti.
   • Long-CoT Tuning: Crea una direzione di formato di ragionamento che influenza i token generati tardivamente.
   • Ottimizzazione delle Preferenze (DPO): Amplifica l'anisotropia aumentando i margini di preferenza relativi.
   • Math/Code: Più sfumati; specializzano certi layer preservando la separabilità del dominio altrove.
3. Il Collasso Predice la Plasticità Futura: Esiste una correlazione negativa diretta tra la salute della rappresentazione (rango effettivo, anisotropia) e la performance di apprendimento futuro. Man mano che il rango effettivo diminuisce e l'anisotropia aumenta durante la sequenza, l'efficienza del campione e il punteggio finale dell'adattamento a un nuovo compito degradano, anche se la performance del compito target immediato migliora.
4. Dipendenza dal Percorso: L'ordine degli stadi conta. Ad esempio, il tuning della sicurezza seguito dall'istruzione generale produce metriche di collasso diverse rispetto all'istruzione generale seguita dalla sicurezza.

Strategie di Mitigazione

L'articolo testa interventi leggeri per preservare la apprendibilità futura senza sacrificare i guadagni nel compito target:

• Replay di Dominio Misto: Mescolare una piccola frazione (5–20%) di dati di dominio generale negli stadi specializzati.
• Refresh delle Caratteristiche: Inserire brevi stadi di istruzione generale dopo gli stadi ad alto collasso.
• Regolarizzazione della Diversità della Rappresentazione: Penalizzare l'allineamento a livello di batch degli stati latenti ($L_{cos}$).
• Decorrelazione dell'Aggiornamento LoRA: Penalizzare la sovrapposizione tra le basi degli aggiornamenti LoRA correnti e precedenti ($L_{decorr}$).

I risultati indicano che questi metodi possono migliorare la frontiera di Pareto, permettendo un migliore adattamento futuro pur mantenendo la performance target, sebbene non eliminino interamente il collasso.

4. Contributi

L'articolo apporta tre contributi primari:

1. Un Protocollo di Misurazione per Layer: Una suite di diagnostica (spettrale, geometrica, a livello di token, funzionale e dello spazio di aggiornamento) specificamente progettata per rilevare il collasso della rappresentazione nel post-training sequenziale.
2. Un Benchmark Sequenziale Controllato: Una matrice sperimentale standardizzata che copre istruzione generale, matematica, codice, sicurezza, CoT e dati di preferenza con budget di token corrispondenti e un corpus di probe fisso.
3. Validazione Predittiva: L'evidenza che le metriche di collasso (misurate prima del futuro adattamento) predicono la difficoltà di apprendere nuovi compiti, e che gli interventi che preservano la diversità possono mitigare questa perdita di plasticità.

5. Significato e Rivendicazioni

L'articolo sostiene che il collasso della rappresentazione non sia solo una curiosità geometrica, ma un diagnostico pratico per la apprendibilità futura. Gli autori sostengono che l'attuale focus sui benchmark comportamentali trascuri un modo di fallimento critico: un modello può diventare comportamentalmente competente su un compito specifico pur diventando geometricamente fragile per l'adattamento futuro.

La significenza risiede nel riformulare l'allineamento e la specializzazione come problemi di apprendimento continuo. La suite di misurazione proposta consente ai professionisti di distinguere tra specializzazione benefica e restringimento fragile. L'articolo conclude che, sebbene il post-training non debba massimizzare la diversità a ogni costo (poiché una certa specializzazione è necessaria), preservare sufficienti gradi di libertà rappresentativi è essenziale per mantenere la capacità del modello di adattarsi a requisiti futuri e imprevisti.

Limitazioni segnalate dagli autori:

• Gli esperimenti sono condotti su modelli da 1B–7B; il comportamento su scala frontier potrebbe differire.
• DPO è utilizzato come proxy per RLHF/RLAIF di produzione.
• Le misurazioni sono sensibili alle scelte del corpus di probe e agli span di token, sebbene lo studio controlli questo aspetto tramite molteplici tipi di probe.
• Le rivendicazioni causali sono supportate da evidenze di intervento (mitigazioni) piuttosto che da pura derivazione teorica.