Sintesi Tecnica: Transizioni Fantasma nel Fine-Tuning di Modelli Linguistici

Definizione del Problema

Il fine-tuning di modelli linguistici transformer pre-addestrati su contesti in cui la corretta completazione ha un competitore quasi-sinonimo (ad es., "colpa" vs. "vergogna") spesso risulta in un "fallimento silenzioso". In questo regime, la perdita di cross-entropy (CE) diminuisce monotonicamente e la probabilità del token corretto aumenta, eppure il token corretto non supera mai il suo competitore più vicino nella classifica del modello. Le diagnostiche standard, che si affidano alla perdita CE o alle probabilità grezze dei token, non riescono a rilevare questo fallimento perché non tengono conto della sovrapposizione geometrica tra gli embedding dei token. Il paper postula che questo fallimento derivi da un "auto-sabotaggio geometrico", dove l'aggiornamento del gradiente destinato ad aumentare la probabilità del token corretto potenzia simultaneamente il competitore a causa della loro direzione di embedding condivisa.

Metodologia e Framework Teorico

Matrice di Densità e Parametro d'Ordine

Gli autori costruiscono un formalismo basato sulla matrice di densità $\hat{\rho}$ per analizzare le distribuzioni di predizione dei token. A differenza dei vettori di probabilità classici, questo formalismo cattura la degenerazione geometrica trattando gli embedding dei token come stati quantistici.

• Scoring Born-Rule: Il paper definisce uno score geometricamente consapevole $P_{Born}(g) = \sum_i p_i G_{ig}^2$, dove $G_{ij}$ è la sovrapposizione del coseno tra gli embedding. Questo score tiene conto del fatto che la massa di probabilità su un quasi-sinonimo contribuisce allo score del token target.
• Parametro d'Ordine ($\Phi$): L'osservabile centrale è il "gap di Born", $\Delta = P_{Born}(g) - P_{Born}(c)$, mediato su un insieme di contesti di quasi-sinonimi. $\Phi$ funge da parametro d'ordine per la risoluzione.
• Decomposizione Segnale-Drag: L'ordine parametro si decompone additivamente:
  $$\Phi = \underbrace{(p_g - p_{c^*})(1 - G_{max}^2)}_{\text{Segnale}} + \underbrace{\sum_{i \in B} p_i (G_{ig}^2 - G_{ic^*}^2)}_{\text{Background Drag}}$$
  Il Segnale è strozzato dal fattore $(1 - G_{max}^2)$, che rappresenta l' "auto-sabotaggio" in cui i gradienti CE rinforzano il competitore. Il Background Drag rappresenta l'influenza del resto del bulk di embedding.

Osservabili Geometriche

Per caratterizzare lo stato del modello, il paper introduce:

1. Rapporto di Partecipazione (PR): Una misura geometricamente corretta della concentrazione della distribuzione (inversa della purezza $\text{Tr}(\hat{\rho}^2)$), distinguendo tra incertezza genuina e degenerazione geometrica.
2. Lunghezza di Localizzazione ($\xi$): La diffusione angolare della nuvola di predizione sulla sfera degli embedding.
3. Profondità di Seppellimento ($B$): Il rapporto tra la lunghezza di localizzazione iniziale e la distanza angolare tra il target e il competitore ($\arccos(G_{max})$). $B > 1$ implica che la nuvola di predizione è troppo ampia per risolvere la competizione inizialmente.
4. Campo Ridotto ($H$): Una quantità adimensionale $H = G_{max}\eta / \theta^*$, dove $\eta$ è il learning rate e $\theta^*$ è una soglia di saturazione specifica del modello.

Setup Sperimentale

Lo studio utilizza cinque architetture transformer (DistilGPT2, GPT-2-medium, SmolLM-360M, Pythia-70M, Pythia-410M) che coprono un intervallo di parametri di cinque volte e due distinte classi di geometria degli embedding (Classe A: bulk Gaussiano denso; Classe B: bulk esponenziale sparso). Gli esperimenti prevedono il fine-tuning su dieci frasi selezionate a mano utilizzando sia il Full Fine-Tuning (FULL FT) che il Low-Rank Adaptation (LoRA).

Risultati Chiave

1. Transizioni Fantasma e Saturazione Softmax

Il paper identifica salti netti, di tipo "catapult-like", nel parametro d'ordine $\Phi$ durante il fine-tuning. Sebbene questi somiglino a transizioni di fase (rottura spontanea della simmetria), gli autori dimostrano che sono fantasmi.

• Isolamento Causale: Sotto il fine-tuning LoRA, dove la matrice di embedding è congelata (impedendo cambiamenti geometrici), i salti a catapulta persistono. Ciò esclude una transizione di fase geometrica nello spazio degli embedding.
• Meccanismo: La discontinuità risiede interamente nel readout softmax. Il gap dei logit sottostante ($\zeta$) evolve in modo fluido. Una volta che il gap dei logit attraversa una soglia di saturazione (circa 1.5–2.0 nats), la probabilità softmax $p_g$ salta da $\sim0.5$ a $\sim0.95$ in un singolo step, trascinando $\Phi$ con sé. La "transizione" è un artefatto cinematico della funzione di readout, non un cambiamento strutturale del modello.

2. Due Modalità di Fallimento

La decomposizione segnale-drag isola due distinti modi di fallimento:

• Fallimento Cinematico: Il segnale rimane piccolo perché lo strozzamento $(1-G_{max}^2)$ è troppo severo o il learning rate è insufficiente. Il background drag migliora, ma il segnale non riesce a superarlo. Questo è rimediabile con learning rate più elevati o full fine-tuning.
• Fallimento Strutturale: Il background drag peggiora attivamente durante l'addestramento. Mentre il modello si allinea con il target, promuove involontariamente una nuvola di token di background che si oppongono geometricamente al target. Questa è una proprietà del manifold di embedding pre-addestrato; i gradienti CE non possono rimodellare la geometria per risolvere la competizione.

3. Classi di Architettura e Sufficienza di LoRA

Lo studio rivela una divisione fondamentale tra le architetture basata sulla geometria del bulk degli embedding:

• Classe A (Bulk Denso): Modelli come DistilGPT2 e SmolLM hanno un bulk di embedding denso e di forma Gaussiana. I quasi-sinonimi sono outlier in uno spazio affollato. Sotto LoRA, questi modelli spesso falliscono nel risolvere frasi con alto $G_{max}$ perché sopprimere un competitore permette semplicemente a un altro token geometricamente simile di prendere il suo posto.
• Classe B (Bulk Sparso): Modelli come Pythia hanno un bulk esponenziale e sparso. I quasi-sinonimi sono isolati. LoRA è sufficiente per risolvere la competizione perché il background drag è trascurabile.
• Soglia di Fase LoRA: Esiste un learning rate critico $\theta^*$ per ogni modello. Il campo ridotto $H$ predice il comportamento: $H \gg 1$ porta alla risoluzione, mentre $H \approx 1$ o inferiore porta al fallimento. Con FULL FT, tutte le architetture testate operano a $H \approx 10$. Con LoRA, i modelli di Classe A operano vicino alla soglia ($H \approx 1.7$), mentre i modelli di Classe B operano ben al di sopra di essa ($H \approx 10$).

4. Predizione Cieca

Utilizzando il framework derivato, gli autori hanno eseguito una predizione cieca su un'architettura tenuta in riserva (gpt-neo-125m). Misurando la geometria del bulk (Classe A) e il $G_{max}$ medio, hanno predetto il learning rate critico $\theta^*$ con un errore del 2.1% rispetto al valore ottenuto da una reale scansione del learning rate.

Significato e Rivendicazioni

Il paper sostiene di fornire una spiegazione meccanicistica per i fallimenti silenziosi nel fine-tuning che sono invisibili alle metriche di perdita standard. I suoi contributi primari sono:

1. Confutazione delle Transizioni di Fase: Dimostra che i netti salti "a catapulta" osservati nel fine-tuning non sono rotture spontanee della simmetria nello spazio degli embedding, ma sono artefatti della funzione di readout softmax che agisce su un gap di logit che evolve fluidamente.
2. Auto-sabotaggio Geometrico: Quantifica come il gradiente di cross-entropy saboti intrinsecamente se stesso in presenza di quasi-sinonimi tramite lo strozzamento $(1-G_{max}^2)$.
3. Framework Predittivo: Stabilisce che il successo del fine-tuning parametrico efficiente (LoRA) è determinato dalla geometria pre-addestrata degli embedding (Classe A vs. Classe B) piuttosto che solo dalla dimensione o dal rank del modello.
4. Criterio di Arresto Pratico: Propone di interrompere il fine-tuning quando l'ordine parametro $\Phi$ satura (ovvero, quando il gap di Born smette di cambiare) piuttosto che attendere la convergenza della perdita CE. Ciò risparmia circa il 30% di calcolo senza sacrificare la qualità della classificazione.

Limitazioni dell'Ambito: Gli autori dichiarano esplicitamente che queste scoperte sono affermazioni riguardanti il meccanismo geometrico specifico della competizione tra quasi-sinonimi. Avvertono di non estrapolare questi risultati quantitativi a dataset di instruction-tuning generali o a distribuzioni di task più ampie senza ricalibrazione. Lo studio è limitato a dieci frasi selezionate a mano e cinque architetture, con la distinzione "Classe A/B" notata come probabilmente uno spettro continuo piuttosto che un binario rigido.