Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives

Titolo: Gradienti che devono guadagnare il loro influsso: Unificazione dell'SFT con Obiettivi Entropici Generalizzati

1. Il Problema: Limiti della Log-Likelihood Negativa (NLL) Standard

Il Supervised Fine-Tuning (SFT) è il ponte cruciale tra i modelli linguistici pre-addestrati (LLM) e le applicazioni specifiche. Tuttavia, l'obiettivo standard utilizzato, la Log-Likelihood Negativa (NLL), presenta due fallimenti critici dovuti alla sua rigidità nel ponderare uniformemente i token:

1. Amplificazione del Rumore e Instabilità: La NLL assegna gradienti massimi ai token a bassa probabilità, indipendentemente dal fatto che rappresentino lacune di conoscenza apprendibili o supervisione rumorosa (conflitti). Questo amplifica il rumore nei dati, distruggendo i "priors" robusti del modello e portando al catastrofico oblio (catastrophic forgetting), specialmente quando il modello è già confidenziale ma il target è in conflitto.
2. Affinamento Inefficiente (Sharpening): Quando il modello è già confidenziale (alta probabilità sul target), i gradienti della NLL decadono linearmente con l'errore. Questo fornisce un segnale di affinamento debole, impedendo al modello di concentrarsi completamente sulle risposte corrette e rallentando la riduzione dell'entropia.

Le soluzioni esistenti (filtraggio dei token o re-weighting statico) spesso falliscono nel bilanciare l'esplorazione (apprendere nuovi concetti) e lo sfruttamento (affinare conoscenze esistenti) senza richiedere costosi calcoli offline o euristiche statiche.

2. Metodologia: La Famiglia Deformed-Log e il Gating Dinamico

Gli autori propongono un quadro unificato basato sulla famiglia dei logaritmi deformati (Tsallis $q$-logarithm) per rivelare una struttura universale del gradiente: Gate $\times$ Errore.

A. Struttura del Gradiente Universale

Per qualsiasi obiettivo token-level, il gradiente sul logit target può essere scomposto in:
$$\text{Gradiente} = \underbrace{s_f(p)}_{\text{Gate (Fiducia)}} \times \underbrace{(1 - p)}_{\text{Errore}}$$
Dove $p$ è la probabilità del token target. La NLL standard ha un gate costante ($s_f(p)=1$), trattando tutti i token allo stesso modo. Gli autori introducono un gate dinamico $p^\alpha$ che controlla quanto il modello deve "fidarsi" della sua predizione corrente.

B. Dualità Ottimizzazione-Entropia

L'uso del parametro di focus $\alpha$ nella funzione di perdita $L_\alpha(p) = \frac{1-p^\alpha}{\alpha}$ determina quale entropia generalizzata viene minimizzata:

• $\alpha \to 0$: Corrisponde alla NLL (Entropia di Shannon), ideale per la copertura (learning di nuovi concetti).
• $\alpha \to 1$: Corrisponde alla perdita lineare (Entropia di Tsallis di ordine 2), ideale per l'affinamento (sharpening) delle distribuzioni già confidenziali.

C. La Traiettoria di Fiducia Dinamica (Cayley Transform)

Il problema è che un $\alpha$ statico non può soddisfare entrambi i requisiti. Gli autori derivano una traiettoria di focus dipendente dallo stato $\alpha(p)$ utilizzando la Trasformata di Cayley:
$$\alpha^*(p) = \frac{1 - \sqrt{1-p}}{1 + \sqrt{1-p}}$$
Questa funzione mappa geometricamente l'incertezza del modello (raggio di Fisher-Rao) su un indice di focus:

• Se $p \approx 0$ (incertezza): $\alpha^* \approx 0$ (comportamento simile alla NLL, massimizza la copertura).
• Se $p \approx 1$ (certezza): $\alpha^* \approx 1$ (comportamento simile alla perdita lineare, massimizza l'affinamento).

D. DEFT (Dynamic Entropy Fine-Tuning)

Poiché calcolare $\alpha^*(p)$ richiede la probabilità esatta del token target (che potrebbe essere ambigua in caso di conflitti), gli autori propongono DEFT, un obiettivo senza parametri che stima lo stato del modello a livello di distribuzione.

• Indice di Focus: Utilizza la concentrazione della distribuzione predittiva (inverso dell'entropia di Rényi-2) come proxy per l'incertezza globale del modello:
  $$\alpha_{\text{DEFT}}(c) = \sum_{v \in V} P_\theta(v|c)^2$$
• Meccanismo: Quando il modello è incerto (distribuzione diffusa), $\alpha_{\text{DEFT}}$ è basso, mantenendo i gradienti aperti per l'apprendimento. Quando il modello è sicuro (distribuzione concentrata), $\alpha_{\text{DEFT}}$ si avvicina a 1, sopprimendo i gradienti sui token a bassa probabilità (rumore) e affinando quelli ad alta probabilità.

3. Contributi Chiave

1. Quadro Teorico Unificato: Dimostrano che gli obiettivi SFT possono essere visti come una famiglia deformata di logaritmi, rivelando esplicitamente il meccanismo di "gate di fiducia" dipendente dalla confidenza.
2. Gating Dinamico Senza Parametri: Derivano una traiettoria di focus ottimale basata sulla Trasformata di Cayley e la implementano in DEFT, che si adatta automaticamente allo stato di conoscenza del modello senza bisogno di iperparametri da tarare.
3. Risultati Sperimentali Robusti: DEFT supera consistentemente la NLL e altri metodi avanzati (come EAFT o scaling lineare) su diversi domini e livelli di capacità del modello.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 7 backbones di modelli (LLaMA, Qwen, DeepSeek) e valutati in tre regimi di capacità:

• Regime Model-Strong (Conoscenza Pre-esistente Forte, es. Matematica):
  • La NLL tende a dimenticare le conoscenze preesistenti a causa del fitting aggressivo su token a bassa probabilità (rumore).
  • DEFT e Cayley-Trans preservano i "priors" robusti e affinano le distribuzioni, ottenendo i migliori risultati (es. +1.46 punti su LLaMA-3.1-8B rispetto alla NLL).
• Regime Model-Weak (Nuova Conoscenza, es. Puzzle FigFont):
  • Metodi come $-p$ (scaling lineare) falliscono perché i gradienti sui token a bassa probabilità diventano troppo piccoli per apprendere da zero.
  • DEFT mantiene i gradienti aperti (comportamento NLL) quando il modello è incerto, permettendo un apprendimento efficace e superando significativamente la NLL e $-p$.
• Regime Misto (Generalizzazione OOD):
  • In scenari misti (es. addestramento su Matematica, test su Medicina), DEFT bilancia esplorazione e sfruttamento, ottenendo il miglior punteggio medio generale e mostrando una maggiore robustezza alla deriva del dominio (OOD).

5. Significato e Impatto

Questo lavoro risolve il dilemma plasticità-stabilità nel fine-tuning supervisionato.

• Significato Teorico: Fornisce una giustificazione geometrica e informazionale (basata sull'entropia e la sorpresa normalizzata) per l'adattamento dinamico degli obiettivi di perdita.
• Impatto Pratico: DEFT offre un metodo semplice, privo di parametri aggiuntivi e computazionalmente efficiente per migliorare l'addestramento degli LLM. Permette ai modelli di imparare nuove conoscenze senza dimenticare quelle vecchie e di affinare le risposte corrette senza essere distratti dal rumore, rendendolo uno strumento fondamentale per l'ottimizzazione degli LLM in scenari reali complessi.