Sintesi Tecnica: Transizioni Fantasma nel Fine-Tuning dei Modelli di Linguaggio

Definizione del Problema

I modelli di linguaggio sottoposti a fine-tuning su contesti in cui il completamento corretto possiede un competitore quasi-sinonimo mostrano un "fallimento silenzioso". In questi casi, la perdita di cross-entropy (CE) diminuisce monotonicamente e la probabilità del token corretto aumenta, eppure il token corretto non supera mai il competitore nella classificazione del modello. Le diagnostiche standard, che si basano su vettori di probabilità e sulla perdita CE, non riescono a rilevare questo fenomeno perché trattano il vocabolario come una base ortonormale, ignorando la sovrapposizione geometrica tra gli embedding dei token. Quando gli embedding sono non-ortogonali (ad esempio, vergogna e senso di colpa), gli aggiornamenti del gradiente che aumentano la probabilità del token corretto rinforzano simultaneamente il competitore attraverso direzioni di embedding condivise, sabotando efficacemente l'obiettivo di ottimizzazione.

Metodologia

L'autore propone un framework basato sulla matrice di densità per analizzare la predizione dei token, trattando i normalizzati embedding dei token come stati quantistici $|\psi_i\rangle$ e l'output softmax come una matrice di densità $\hat{\varrho} = \sum p_i |\psi_i\rangle\langle\psi_i|$. Questo approccio permette di definire una regola di punteggio che tiene conto della geometria non-ortogonale dello spazio degli embedding.

Costrutti Analitici Chiave

1. Il Parametro d'Ordine ($\Phi$): Definito come "gap di Born", $\Phi = P_{Born}(g) - P_{Born}(c^*)$, dove $P_{Born}(g) = \sum p_i G_{ig}^2$ è il punteggio pesato sulla sovrapposizione al quadrato. Questo distingue tra incertezza genuina (token ortogonali) e degenerazione geometrica (quasi-sinonimi).
2. Fattore di Auto-sabotaggio: L'autore deriva che un passo di gradiente che aumenta la probabilità del token di verità fondamentale $g$ avanza il gap di Born solo di $(1 - G_{max}^2)\delta p$, dove $G_{max}$ è la sovrapposizione del coseno tra $g$ e il suo competitore più vicino $c^*$. Questo fattore rappresenta lo "strozzamento" (throttle) del progresso dell'ottimizzazione.
3. Decomposizione Segnale e Drag: $\Phi$ è scomposto in:
   • Segnale: Il vantaggio di probabilità di $g$ su $c^*$, scalato dal fattore di auto-sabotaggio.
   • Background Drag (Resistenza di Sfondo): Un termine determinato da come il resto del pool di embedding proietta su $g$ rispetto a $c^*$.
4. Osservabili Geometriche:
   • Rapporto di Partecipazione ($PR$): Un rapporto di partecipazione inversa geometricamente corretto che misura il numero effettivo di token distinti.
   • Lunghezza di Localizzazione ($\xi$): La diffusione angolare della nuvola di predizione.
   • Profondità di Seppellimento ($B$): Il rapporto tra la lunghezza di localizzazione iniziale e la distanza angolare tra $g$ e $c^*$. $B > 1$ implica che la nuvola di predizione è troppo ampia per discriminare geometricamente i token.
5. Quantità Adimensionali: La traiettoria è caratterizzata da unità ridotte, incluso il campo ridotto $H = G_{max}\eta / \theta^*$, dove $\eta$ è il tasso di apprendimento e $\theta^*$ è una soglia di saturazione specifica del modello.

Setup Sperimentale

Lo studio copre cinque architetture transformer (distilgpt2, GPT-2-medium, SmolLM-360M, Pythia-70M, Pythia-410M) che spaziano in un intervallo di parametri di sei ordini di grandezza e due classi distinte di geometria degli embedding. Gli esperimenti coinvolgono il fine-tuning su dieci contesti di quasi-sinonimi selezionati manualmente utilizzando sia il Full Fine-Tuning (Full FT) che il Low-Rank Adaptation (LoRA).

Risultati Chiave

1. Transizioni di Fase Fantasma

Il parametro d'ordine $\Phi$ esibisce salti netti che somigliano a transizioni di fase. Tuttavia, l'autore falsifica l'interpretazione di questi come rottura spontanea della simmetria (SSB) o transizioni di fase geometriche.

• Evidenza: Sotto LoRA, dove la matrice di embedding è congelata, i salti netti persistono. Poiché la geometria degli embedding non può muoversi, la discontinuità deve risiedere interamente nella lettura softmax.
• Meccanismo: Il gap dei logit evolve in modo fluido. Il "salto" avviene quando il gap dei logit attraversa la scala di saturazione della softmax (circa 1.5–2.0 nats), causando uno spostamento rapido della massa di probabilità. La transizione è cinematica, non strutturale.

2. Due Modalità di Fallimento

Il framework isola due distinti modi di fallimento nel fine-tuning:

• Fallimento Cinematico: Il segnale è troppo piccolo per superare il background drag. Il modello fallisce nel prendere una posizione perché il tasso di apprendimento o il fattore di auto-sabotaggio sono insufficienti.
• Fallimento Strutturale: Il background drag peggiora attivamente durante l'addestramento. Anche mentre il gap dei logit cresce, il bias geometrico del pool di embedding pre-addestrato (ad esempio, i parenti morfologici del competitore) sottrae probabilità al token corretto. Questo è osservato nei modelli con bulk di embedding densi (Classe A).

3. Classi di Architettura e Sufficienza di LoRA

L'autore identifica due classi di architetture basate sulla distribuzione delle sovrapposizioni di coppia degli embedding (il "bulk"):

• Classe A (Dense Gaussian Bulk): Modelli come GPT-2 e SmolLM. Lo spazio degli embedding è affollato; i quasi-sinonimi sono outlier in una coda popolata. LoRA spesso fallisce nel risolvere la competizione tra quasi-sinonimi perché sopprimere un competitore sposta semplicemente la massa verso un altro token geometricamente simile.
• Classe B (Sparse Exponential Bulk): Modelli come Pythia. Lo spazio degli embedding è quasi-ortogonale. LoRA è sufficiente per risolvere la competizione perché l'interferenza geometrica è localizzata.
• Criterio: Il Buria Depth ($B$) misurato dopo LoRA determina la sufficienza. I modelli di Classe B raggiungono $B < 1$ (risolto), mentre i modelli di Classe A rimangono a $B > 1$ (non risolto).

4. Scalatura Universale e Predizione Cieca

• Consistenza del Campo Ridotto: Sotto Full FT, il campo ridotto $H_{FT}$ è coerente per tutte e cinque le architetture a circa $10.0 \pm 0.9$, suggerendo che i tassi di apprendimento standard della comunità si collocano circa dieci volte sopra la soglia di saturazione.
• Predizione Cieca: Utilizzando la media della Classe A $H_{LoRA} \approx 1.70$ derivata da tre modelli, l'autore ha predetto il tasso di apprendimento critico per un modello non testato, gpt-neo-125m. La predizione ($5.71 \times 10^{-5}$) ha corrisponduto al valore reale misurato ($5.83 \times 10^{-5}$) con un margine di errore del 2.1%.

5. Criterio di Arresto

Interrompere il fine-tuning quando il parametro d'ordine $\Phi$ satura (anziché attendere la convergenza della CE loss) permette di risparmiare circa il 30% della computazione senza degradare la qualità del ranking, poiché il ranking si stabilizza prima che la perdita converga completamente.

Significato e Rivendicazioni

Il paper rivendica di fornire una spiegazione meccanicistica per i fallimenti silenziosi nel fine-tuning che le diagnostiche standard non riescono a rilevare. I suoi contributi primari sono:

1. Framework Diagnostico: Una formulazione basata sulla matrice di densità che rivela l'auto-sabotaggio geometrico e distingue tra fallimenti cinematici e strutturali.
2. Falsificazione della SSB: Dimostrare che i salti netti nel ranking sono artefatti della lettura softmax, non transizioni di fase nella geometria interna del modello.
3. Potere Predittivo: La capacità di classificare le architetture in classi "sufficienti per LoRA" e "non sufficienti per LoRA" basandosi esclusivamente sulla geometria del bulk degli embedding pre-addestrati e di predire i tassi di apprendimento critici per architetture inedite con alta precisione.
4. Limitazione dell'Ambito: L'autore dichiara esplicitamente che questi risultati quantitativi sono specifici per il meccanismo geometrico dei quasi-sinonimi studiato e non dovrebbero essere estrapolati a dataset di instruction-tuning generali senza ricalibrazione. Il lavoro serve come un'analisi controllata, in stile fisica, di un modo di fallimento specifico piuttosto che come un benchmark ampio per tutti i compiti di fine-tuning.