Riepilogo Tecnico: GAC – Miscelazione Adattiva Consapevole del Rumore per il Post-Training Ibrido SFT-RL

1. Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) sono tipicamente post-addestrati utilizzando un paradigma ibrido che combina il Fine-Tuning Supervisionato (SFT) e l'Apprendimento per Rinforzo (RL). L'SFT stabilizza il formato di output del modello utilizzando dimostrazioni esperte, mentre il RL migliora il comportamento orientato alla ricompensa tramite rollout on-policy. Tuttavia, questi obiettivi non possono essere completamente disaccoppiati senza un reciproco degrado (Niu et al., 2026).

I metodi ibridi attuali spesso si affidano a piani di miscelazione fissi o regole euristiche per bilanciare i gradienti SFT e RL. Questi approcci statici non riescono ad adattarsi quando il rumore relativo dei due segnali evolve durante l'addestramento. Nello specifico, non riescono a tenere conto di:

• Deriva della politica in evoluzione: Cambiamenti nella distribuzione del modello nel tempo.
• Rumore della ricompensa: Variabilità nelle stime del vantaggio RL.
• Disaccordo dei gradienti: Conflitti tra gli obiettivi SFT e RL.

Questa mancanza di adattabilità può indurre collasso dell'entropia, sovra-imitazione nelle fasi tardive o hacking della ricompensa. Sebbene lavori recenti (ad es. CHORD, SRFT, HPT) abbiano introdotto pesaggi dinamici o accoppiamenti consapevoli dei conflitti, nessuno modella esplicitamente simultaneamente sia la varianza del rumore del gradiente che il disaccordo SFT–RL per derivare un peso di miscelazione ottimale.

2. Metodologia: GAC (Guided Adaptive Controller)

Il metodo proposto, GAC, ripropone il problema della miscelazione come un compito di controllo consapevole del rumore. Esso consiste in un stimatore teorico a forma chiusa e un controller guidato pratico.

2.1 Fondamento Teorico: $\mu^*$ a Forma Chiusa

Il contributo principale è la derivazione di un peso di miscelazione ottimale $\mu^*$ minimizzando l'Errore Quadratico Medio (MSE) tra il gradiente stocastico miscelato e un gradiente target.

• Assunzioni: Siano $\hat{g}_s$ e $\hat{g}_r$ gli stimatori del gradiente per SFT e RL, composti da gradienti privi di rumore ($g^*_s, g^*_r$) e rumore a media zero ($\varepsilon_s, \varepsilon_r$) con varianze $\sigma^2_s$ e $\sigma^2_r$.
• Obiettivo: Minimizzare $E(\mu) = E[\|\mu\hat{g}_s + (1-\mu)\hat{g}_r - g^*\|^2]$, dove $g^*$ è un gradiente target definito da un rapporto di compromesso desiderato $\alpha_{tgt}$.
• Risultato: Sotto le assunzioni di indipendenza, il minimizzatore unico è:
  $$\mu^* = \frac{\alpha_{tgt} \Delta g^2 + \sigma^2_r}{\Delta g^2 + \sigma^2_s + \sigma^2_r}$$
  dove $\Delta g^2 = \|g^*_s - g^*_r\|^2$ rappresenta il disaccordo dei gradienti.
• Interpretazione: Questa formula incarna un compromesso bias-varianza. Quando il disaccordo ($\Delta g^2$) è basso, il peso si avvicina al pesaggio inverso alla varianza. Quando il disaccordo è alto, il peso ricade sulla preferenza specificata dall'utente $\alpha_{tgt}$.

2.2 Implementazione Pratica: Segnali Proxy e Stima Online

Poiché le statistiche reali dei gradienti sono costose da calcolare a ogni passo, GAC impiega segnali proxy computazionalmente gestibili stimati online dai tensori di addestramento esistenti:

1. Incertezza RL ($\sigma^2_r$): Stimata tramite la dispersione del vantaggio a livello di sequenza.
2. Incertezza SFT ($\sigma^2_s$): Stimata tramite la varianza della Negativa Log-Likelihood (NLL) normalizzata per lunghezza e ridotta (trimmed).
3. Proxy di Disaccordo ($\Delta \tilde{g}^2$): Stimato tramite la varianza delle differenze dei coefficienti z-normalizzati tra i gradienti RL e SFT.

Questi proxy sono stati validati mostrando alte correlazioni di Pearson ($r \approx 0.76\text{--}0.84$) con le statistiche reali dei gradienti.

2.3 Linee Guida di Progettazione motivate dalla Stabilità

Per prevenire spostamenti bruschi e garantire la stabilità dell'addestramento, lo stimatore grezzo $\mu^*$ viene elaborato attraverso un Guided Adaptive Controller con tre passaggi protetti:

1. Smussamento EMA: $\mu_{ada} = \beta \mu_{t-1} + (1-\beta)\mu^*$ per attenuare il rumore ad alta frequenza.
2. Fusione del Prior del Piano: $\mu_{blend} = (1-\lambda)\mu_{prior} + \lambda \mu_{ada}$, dove $\mu_{prior}$ è un piano di warmup/coseno, assicurando che il controller non si discosti troppo da una linea di base ragionevole.
3. Aggiornamenti Limitati: La variazione di passo $\delta_t$ viene clipata a un piccolo limite $\bar{c}$ (es. 0.01) per prevenire salti destabilizzanti.

Inoltre, il rapporto target $\alpha_{tgt}$ viene dinamicamente aggiustato a $\alpha_{ctrl}$ utilizzando una regola di isteresi controllata da KL per prevenire la deriva della politica.

3. Contributi Chiave

1. Controller di Miscelazione Consapevole del Rumore (C1): Una soluzione a forma chiusa per il peso di miscelazione ottimale derivata dalla minimizzazione dell'MSE, che bilancia la varianza del rumore del gradiente e il disaccordo degli obiettivi. È istanziata tramite proxy z-normalizzati e incapsulata in un controller con garanzia di stabilità e un sovraccarico computazionale <1%.
2. Integrazione del Ripesaggio a Livello di Token (C2): Il sistema adotta la funzione di ripesaggio a livello di token $\phi(p) = p(1-p)$ da CHORD (Zhang et al., 2025). Gli autori dimostrano che questo componente è ortogonale al controller globale, fornendo un guadagno aggiuntivo di +0.4–1.4pp.
3. Valutazione Sistematica (C3): Valutazione completa su benchmark di matematica, codice, scienza e logica alle scale di 1.5B, 7B e 14B parametri.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul modello Qwen2.5-7B-Instruct (e scalato a 1.5B/14B) utilizzando OpenR1-Math-220k e altri benchmark (MBPP, HumanEval, GPQA, SciBench, BBH).

• Guadagni di Prestazione:
  • Matematica (AMC): GAC + Token-φ raggiunge 67.2%, superando la migliore baseline ibrida (HPT, 63.4%) di +3.8pp e il controller consapevole del rumore da solo (GAC w/o φ) di +3.0pp rispetto ai controller basati su regole.
  • Codice: GAC raggiunge 78.8% su MBPP (+3.4pp su CHORD) e 83.5% su HumanEval.
  • Scienza/Logica: GAC migliora GPQA di +3.9pp e i sottoinsiemi logici di BBH di +3.1pp rispetto a HPT.
• Miglioramenti della Stabilità:
  • Deriva KL: Riduzione dell'area di deriva KL del 28% rispetto alla miscelazione costante.
  • Grandi Spostamenti: Riduzione degli eventi di grandi $|\Delta \mu|$ del >70%.
  • Dinamiche di Addestramento: GAC mantiene una maggiore accuratezza dei rollout, lunghezze di risposta moderate (evitando picchi di hacking della ricompensa) e una stabilizzazione dell'entropia più rapida rispetto ai piani fissi.
• Scalabilità: I guadagni scalano con la dimensione del modello, mostrando +2.2pp a 1.5B, +3.8pp a 7B e +3.3pp a 14B.
• Efficienza: Il metodo aggiunge solo 3 scalari EMA e comporta un sovraccarico di tempo reale <1% senza aumento misurabile della memoria.

5. Significato e Affermazioni

Il documento afferma che GAC ripropone con successo la miscelazione SFT–RL come un problema di controllo consapevole del rumore piuttosto che come un compito di pianificazione euristica.

• Driver Principale: L'analisi di attribuzione causale conferma che lo stimatore consapevole del rumore (il segnale derivato dall'MSE) è il contributo dominante ai guadagni di prestazione (+3.7pp), mentre lo smussamento EMA e i prior del piano forniscono stabilità necessaria ma guadagni incrementali minori.
• Robustezza: Il controller è robusto a piani prior deboli o mal specificati; anche con prior costanti "cattivi", GAC corregge efficacemente il peso di miscelazione.
• Limitazioni: Gli autori notano che l'analisi di stabilità si basa su assunzioni idealizzate (perdite L-liscie, aggiornamenti limitati da KL) e fornisce linee guida di progettazione piuttosto che garanzie di convergenza rigorose. Il metodo è attualmente validato su compiti con ricompense verificabili; l'estensione all'allineamento open-ended con modelli di ricompensa appresi rimane lavoro futuro.

In sintesi, GAC fornisce un meccanismo teoricamente fondato e a basso sovraccarico per bilanciare dinamicamente SFT e RL basandosi su stime di incertezza in tempo reale, superando significativamente i piani fissi e i controller euristici su compiti di ragionamento diversificati.