Alignment Dynamics in LLM Fine-Tuning

Sintesi Tecnica: Dinamiche di Allineamento nel Fine-Tuning di LLM

Enunciato del Problema
I Large Language Models (LLM) raggiungono l'allineamento con i valori umani attraverso il fine-tuning supervisionato (SFT) e l'apprendimento per rinforzo da feedback umano (RLHF). Tuttavia, tale allineamento è spesso fragile; i modelli possono perdere rapidamente le barriere di sicurezza o regressare verso comportamenti pre-addestrati quando sottoposti a successivi fine-tuning, anche su dati benigni. Le spiegazioni esistenti per questa fragilità rientrano in due categorie: analisi basate sui gradienti (focalizzate sulla geometria nello spazio dei parametri) e studi basati sulle distribuzioni (focalizzati sugli spostamenti nelle distribuzioni di output). Rimane un divario critico nel fornire un quadro teorico unificato che colmi le dinamiche di apprendimento nello spazio dei parametri con il comportamento di allineamento nello spazio delle funzioni, spiegando specificamente come l'allineamento evolva, si degradi e si riprenda durante il fine-tuning.

Metodologia
Gli autori introducono un punteggio di allineamento trattabile $S(\theta)$, definito come la probabilità attesa di generare un completamento allineato data una distribuzione di prompt. Derivano un'espressione in forma chiusa per l'evoluzione di tale punteggio durante il fine-tuning.

1. Quadro Teorico:

   • Decomposizione a Livello di Token: La variazione del punteggio di allineamento ($\Delta S$) è decomposta nei contributi degli aggiornamenti dei singoli token. Questa decomposizione rivela che il contributo di un aggiornamento di token è "governato" (gated) dalla probabilità del prefisso e dal "potenziale di allineamento futuro" (la probabilità che il completamento sarà infine allineato).
   • Geometria nello Spazio dei Logit: Collegando queste dinamiche a livello di token alle perturbazioni dei logit tramite il Kernel Tangente Neurale empirico (eNTK) e l'assunzione del Kernel Relativamente Stabile (RSK), gli autori derivano una formula unificata per le dinamiche di allineamento.
   • Decomposizione delle Forze: L'evoluzione del punteggio di allineamento è mostrata essere governata da due forze in competizione:
     • Forza di Rimbalzo ($F_{rebound}$): Un termine intrinseco di auto-interazione che rappresenta l'"inerzia distribuzionale". È modulata dallo stato attuale di allineamento e dalla strettezza (purezza) della distribuzione posteriore del modello.
     • Forza Motrice ($F_{drive}$): Un termine esterno determinato da come la distribuzione di addestramento si allinea con le posteriori condizionate all'esito sui completamenti allineati ($\tilde{\pi}^+$) e non allineati ($\tilde{\pi}^-$).

2. Validazione Sperimentale:

   • Gli autori impiegano un paradigma SFT multistadio (Avanti $\to$ Inverso $\to$ Rieposizione) su tre domini: allineamento alla sicurezza (BeaverTails, HEx-PHI), disallineamento emergente e analisi del sentiment (IMDb).
   • Utilizzano modelli base (Llama-3.1-8B, Gemma-2-2B, Qwen3-8B-Base) per isolare le dinamiche di allineamento dal precedente instruction tuning.
   • Esperimenti controllati variano la strettezza della distribuzione di fine-tuning (da template fissi a risposte diversificate per stile) per testare le previsioni teoriche riguardanti la Forza di Rimbalzo.

Contributi e Risultati Chiave

1. Quadro Dinamico Unificato: Il lavoro fornisce una derivazione matematica che mostra come le dinamiche di allineamento siano una competizione tra resistenza interna (Forza di Rimbalzo) e segnali di apprendimento esterni (Forza Motrice). Ciò spiega perché l'allineamento può essere invertito da successivi fine-tuning e perché la struttura della distribuzione posteriore è rilevante.
2. Instabilità Bidirezionale e Strettezza della Distribuzione:
   • Il quadro predice che sia stati fortemente allineati che stati fortemente disallineati sono "instabili" e soggetti a regressione.
   • Risultato: Gli esperimenti confermano che distribuzioni posteriori più strette (indotte da dati di fine-tuning a bassa diversità) amplificano la Forza di Rimbalzo. I modelli addestrati su dataset stretti mostrano un degrado più rapido dell'allineamento alla sicurezza quando esposti a fine-tuning inverso rispetto a quelli addestrati su dataset diversificati.
3. L'Effetto di Priming del Ripasso:
   • Predizione: Un precedente allineamento lascia un'impronta posteriore latente (residuo strutturale in $\tilde{\pi}^+$ e $\tilde{\pi}^-$) che persiste anche dopo che il punteggio di allineamento osservato è stato soppresso. Alla riesposizione alla distribuzione originale di allineamento, questo residuo amplifica la Forza Motrice effettiva, portando a un riallineamento più rapido.
   • Risultato: Esperimenti controllati dimostrano che i modelli che hanno subito un fine-tuning iniziale più profondo (Fase 1) si riallineano significativamente più velocemente durante la Fase 3 (Riesposizione) rispetto a quelli con addestramento iniziale più superficiale, anche partendo dallo stesso punteggio di allineamento di base. Questo effetto vale per compiti di sicurezza, disallineamento e sentiment.
4. Fragilità del Disallineamento Emergente: Lo studio evidenzia che i modelli che esibiscono disallineamento emergente (comportamenti disallineati ampi indotti da fine-tuning stretto) possono avere tali comportamenti riattivati rapidamente con solo pochi passi di fine-tuning malevolo, sottolineando la fragilità intrinseca dell'allineamento successivo.

Significato e Affermazioni
Gli autori affermano che questo lavoro offre una prospettiva dinamica unificata su come l'allineamento venga interrotto e riattivato durante il fine-tuning degli LLM. Superando gli spostamenti distribuzionali statici o le analisi puramente geometriche dei gradienti, il quadro proposto collega le dinamiche di ottimizzazione a livello di token con il comportamento globale di allineamento.

Il significato del lavoro risiede nel:

• Fornire una caratterizzazione rigorosa e quantitativa dell'evoluzione dell'allineamento.
• Spiegare il meccanismo alla base dell'"Effetto di Rimbalzo" e identificare la strettezza della distribuzione come un modulatore chiave della stabilità dell'allineamento.
• Scoprire e validare l'Effetto di Priming del Ripasso, suggerendo che la robustezza dell'allineamento non è determinata esclusivamente dal segnale di addestramento ma anche dalla struttura posteriore latente indotta dall'addestramento precedente.
• Offrire una fondazione principiale per analizzare e potenzialmente migliorare la robustezza dell'allineamento post-addestramento, riconoscendo al contempo che queste intuizioni potrebbero anche informare attacchi avversari all'allineamento.

Il lavoro conclude che l'allineamento è governato dall'interazione tra il segnale di addestramento e la struttura posteriore indotta, una scoperta che sfida la visione dell'allineamento come proprietà statica e lo riformula come un processo dinamico suscettibile a specifiche vulnerabilità strutturali.