Riepilogo Tecnico: Stabilizzazione del Fine-Tuning Supervisionato degli LLM tramite Controllo Esplicito della Distribuzione

1. Enunciato del Problema

L'addestramento post-training di Modelli Linguistici su Larga Scala (LLM) per adattarli a nuovi obiettivi tramite Fine-Tuning Supervisionato (SFT) induce frequentemente dimenticanza catastrofica, in cui i miglioramenti su un compito target degradano le capacità generali precedentemente acquisite. Studi empirici e teorici recenti suggeriscono che questo fenomeno è guidato principalmente da una deriva distribuzionale eccessiva durante l'ottimizzazione.

Sebbene i metodi di Apprendimento per Rinforzo (RL), in particolare il RL on-policy, vincolino implicitamente questa deriva e preservino meglio le capacità precedenti rispetto all'SFT, essi dipendono da una raccolta dati costosa e da pipeline di ottimizzazione complesse. Al contrario, l'SFT standard manca di meccanismi espliciti per regolare l'entità o la direzione degli spostamenti distribuzionali, portando spesso a cambiamenti comportamentali bruschi. Le strategie di mitigazione esistenti, come la regolarizzazione KL statica o la distillazione da insegnante fissa, offrono solo un controllo indiretto o globalmente sintonizzato che non si allinea con la geometria locale delle distribuzioni del modello, risultando spesso in conflitti graduali persistenti tra l'adattamento al nuovo compito e la preservazione del modello base.

La sfida centrale affrontata è: Un meccanismo semplice ed esplicito può permettere un controllo stabile degli aggiornamenti distribuzionali in un contesto SFT puramente offline, combinando l'efficienza dell'SFT con la stabilità del RL on-policy?

2. Metodologia: Apprendimento Ancorato

Gli autori propongono l'Apprendimento Ancorato, un framework che controlla esplicitamente gli aggiornamenti distribuzionali durante il fine-tuning offline utilizzando un ancoraggio mobile in evoluzione dinamica.

Meccanismo Principale

Invece di abbinare una distribuzione di riferimento fissa (ad esempio, il modello base $p_{base}$), l'Apprendimento Ancorato costruisce una distribuzione target intermedia $q^{(t)}$ ad ogni iterazione $t$ interpolando tra:

1. Il modello trainabile corrente $p_{\theta}^{(t)}$.
2. Un modello di riferimento SFT congelato $p_{sft}$ (addestrato una sola volta sui dati target e mantenuto fisso).

Il framework opera in due cicli:

• Ciclo Esterno (Selezione dell'Ancora): All'iterazione $t$, una distribuzione ancora $q^{(t)}$ è costruita tramite un operatore di interpolazione $I_\alpha$:
  $$q^{(t)}(\cdot | x) = I_\alpha(p_{\theta}^{(t)}(\cdot | x), p_{sft}(\cdot | x))$$
  L'ancora è disaccoppiata dal grafo di calcolo, fungendo da target fisso per il ciclo interno.
• Ciclo Interno (Adattamento all'Ancora): I parametri del modello sono aggiornati per approssimare questa ancora minimizzando un obiettivo di distillazione (divergenza KL) sul dataset target $D$:
  $$\theta^{(t+1)} \approx \arg \min_\theta \mathcal{L}_{distill}(\theta; q^{(t)})$$

Istanze

L'operatore di interpolazione $I_\alpha$ è istanziato in due spazi:

1. Spazio dei Logit: Interpolazione lineare dei logit pre-softmax, seguita da normalizzazione softmax. Ciò corrisponde a una media geometrica delle distribuzioni (comportamento di ricerca del modo).
2. Spazio delle Probabilità: Interpolazione lineare delle distribuzioni predittive direttamente. Ciò corrisponde a una media aritmetica (comportamento di copertura del modo).

Garanzie Teoriche

Il documento fornisce dimostrazioni teoriche che questo aggiornamento basato sull'ancora ammette un limite superiore lineare della divergenza KL per iterazione.

• Spazio delle Probabilità: La divergenza KL tra l'ancora e il modello corrente è limitata da $\alpha \cdot KL(p_{sft} \parallel p_{\theta}^{(t)})$.
• Spazio dei Logit: La divergenza è limitata da $\frac{\alpha}{1-\alpha} KL(p_{\theta}^{(t)} \parallel p_{sft})$.

Questi limiti garantiscono che il modello transiti tra le distribuzioni in modo stabile e controllato, trasformando efficacemente il fine-tuning globale in una sequenza di aggiornamenti locali di trust-region. L'analisi teorica indica che, sotto una proiezione esatta, il modello converge geometricamente al riferimento SFT mantenendo una deviazione per passo limitata.

3. Contributi Chiave

1. Proposta di Framework: Introduzione dell'Apprendimento Ancorato, un framework semplice che impone un controllo locale sugli aggiornamenti distribuzionali nel fine-tuning offline tramite un'ancora mobile, evitando la necessità di interazione online o pipeline RL complesse.
2. Stabilità Teorica: Derivazione di limiti espliciti di divergenza KL per iterazione sia per l'ancoraggio nello spazio delle probabilità che in quello dei logit, fornendo garanzie formali sulla stabilità distribuzionale.
3. Validazione Empirica: Dimostrazione che il metodo raggiunge un compromesso superiore tra guadagni di prestazioni e stabilità su molteplici benchmark, posizionandosi coerentemente sulla frontiera di Pareto rispetto a baseline solide.

4. Risultati Sperimentali

Il metodo è stato valutato su tre compiti target (iGSM, MedCalc, IFEval) utilizzando modelli Qwen2.5 (1.5B–14B) e Llama-3.2-3B. Le prestazioni sono state misurate confrontandole con SFT standard e varie baseline di mitigazione della dimenticanza (ad es. Low-SFT, KL-SFT, Self-SFT, Iter-SFT).

• Compromesso Guadagno-Stabilità: L'SFT standard ha raggiunto alte prestazioni di dominio ma ha subito una grave degradazione delle capacità generali (ad es. >53% di calo delle prestazioni su iGSM e MedCalc). L'Apprendimento Ancorato ha ridotto questa degradazione a sotto il 5% mantenendo guadagni quasi ottimali (ad es. 75.2% su iGSM).
• Ottimalità di Pareto: Su tutte le dimensioni del modello e sui compiti, l'Apprendimento Ancorato si è posizionato coerentemente vicino alla frontiera di Pareto, superando le baseline che sacrificavano le prestazioni di dominio per la stabilità (ad es. Low-SFT) o non riuscivano a prevenire la dimenticanza (ad es. SFT Standard).
• Scalabilità: I benefici dell'Apprendimento Ancorato sono stati robusti attraverso le scale dei modelli (da 1.5B a 7B), preservando capacità generali significativamente più elevate rispetto a Low-SFT senza sacrificare l'accuratezza di dominio.
• Sensibilità agli Iperparametri:
  • Coefficiente di Interpolazione ($\alpha$): Un intervallo intermedio di $\alpha$ ha fornito il miglior compromesso.
  • Piano di Aggiornamento: Lo studio ha evidenziato che le prestazioni generali mostrano una degradazione non monotona con l'aumento delle iterazioni di addestramento, anche quando l'accuratezza target si satura. Ciò suggerisce che "più addestramento" non garantisce stabilità, rafforzando la necessità di un controllo esplicito della traiettoria.
  • Spazio di Interpolazione: L'interpolazione nello spazio dei logit (media geometrica) ha favorito la stabilità e il mantenimento delle capacità generali, mentre l'interpolazione nello spazio delle probabilità (media aritmetica) ha favorito la plasticità e l'adattamento al dominio.

5. Significato e Affermazioni

Il documento afferma che l'Apprendimento Ancorato offre un'alternativa pratica ai meccanismi di stabilità impliciti trovati nel RL on-policy. Modellando esplicitamente le distribuzioni target intermedie, trasforma l'ottimizzazione globale in una sequenza di aggiornamenti conservativi e locali.

Gli autori sottolineano che il loro approccio:

• Opera in un contesto puramente offline, non richiedendo accesso a dati di dominio generale per replay o addestramento congiunto.
• Fornisce garanzie teoriche sulla stabilità distribuzionale, affrontando la causa radice della dimenticanza (deriva eccessiva) piuttosto che solo i sintomi.
• Raggiunge prestazioni quasi ottimali sui compiti target riducendo sostanzialmente la dimenticanza catastrofica, superando i metodi esistenti di regolarizzazione statica e distillazione.

Limitazioni: Gli autori riconoscono che l'Apprendimento Ancorato comporta un sovraccarico computazionale aggiuntivo (circa 1.5×–2× di latenza e utilizzo di memoria durante l'addestramento) rispetto all'SFT standard a causa della necessità di costruire ancoraggi e di passaggi forward extra per la distillazione. Tuttavia, notano che questo è sostanzialmente inferiore al costo del RL on-policy.