Riepilogo Tecnico: Una Lente Unificante sul Supervised Fine-Tuning attraverso la Progettazione della Distribuzione Target

Definizione del Problema

Il Supervised Fine-Tuning (SFT) è una fase critica per l'adattamento dei Large Language Models (LLM) a compiti specifici tramite l'imitazione di dimostrazioni esperte. Tuttavia, lo SFT standard si basa su una rigida distribuzione target one-hot, in cui il modello viene addestrato a massimizzare la probabilità del token osservato $y_t$ assegnando contemporaneamente probabilità zero a tutti gli altri token.

Gli autori sostengono che questa formulazione sia subottimale per diverse ragioni:

1. Non-Unicità: In dataset realistici, un singolo prompt può ammettere molteplici percorsi di ragionamento, formulazioni o passaggi intermedi validi. Un singolo token osservato è raramente l'unica continuazione corretta.
2. Rumore e Disallineamento: I token osservati possono essere rumorosi o disallineati con la ricca conoscenza a priori codificata nel modello pre-addestrato.
3. Eccessiva Fiducia (Overconfidence): L'adattamento rigoroso a un target one-hot può amplificare il rumore, indurre eccessiva fiducia, interferire con il prior pre-addestrato e degradare la generalizzazione.

I lavori esistenti tentano di mitigare questi problemi attraverso la riponderazione a livello di token (es. DFT, ProFit) o la regolarizzazione distributiva (es. label smoothing, vincoli KL). Tuttavia, questi metodi sono spesso presentati come scelte algoritmiche disparate, prive di un quadro teorico unificato capace di spiegarne le connessioni o di guidare la costruzione di obiettivi migliori.

Metodologia: Il Framework Q-Target

Il paper reinterpreta l'SFT non come un problema di minimizzazione della perdita, ma come un problema di progettazione della distribuzione target. L'intuizione centrale è che qualsiasi funzione di perdita a livello di token guida implicitamente il modello a corrispondere a una specifica distribuzione target $Q_t$.

La Formulazione Q-Target

Gli autori propongono il framework Q-target, che decompone la supervisione dell'addestramento in due scelte di progettazione esplicite:
$$Q_t = \gamma_t \delta_{y_t} + (1 - \gamma_t) \tilde{\pi}_t$$
Dove:

• $\delta_{y_t}$ è la distribuzione one-hot del token osservato.
• $\gamma_t \in [0, 1]$ rappresenta la fiducia (trust) nel token osservato. Controlla quanta massa di probabilità viene assegnata all'etichetta.
• $\tilde{\pi}_t$ è la distribuzione residua sulle alternative plausibili, che riceve la massa di probabilità rimanente $(1 - \gamma_t)$.

Questo framework unifica le varianti SFT esistenti:

• Varianti Pesate per Token (es. DFT, ProFit): Regolano principalmente $\gamma_t$ in base alla confidenza del modello o alla qualità del token, ma impostano implicitamente il residuo $\tilde{\pi}_t$ come il proprio prior (auto-corrispondenza), non fornendo alcun segnale correttivo per le alternative.
• Varianti Distributive (es. Label Smoothing, Vincoli KL): Specificano principalmente $\tilde{\pi}_t$ (es. uniforme, modello di riferimento) ma utilizzano spesso un $\gamma_t$ fisso.

TARGET-SFT: Un'Istanza Concreta

Costruendo su questo framework, gli autori propongono TARGET-SFT, che progetta esplicitamente entrambi i componenti del Q-target:

1. Fiducia Adattiva ($\gamma_t$): Inveve di pesi fissi, $\gamma_t$ è derivato dalla probabilità predittiva del modello $p_y = \pi_\theta(y_t | x_t)$.

   • Se il modello è fiducioso ($p_y \approx 1$), $\gamma_t \approx 1$, e l'obiettivo si avvicina allo SFT standard.
   • Se il modello è incerto ($p_y \approx 0$), $\gamma_t \approx 0$, indebolendo l'imitazione rigorosa del potenzialmente rumoroso label.
   • Ciò è motivato dal modellare la "fiducia" in un token come una variabile latente con una distribuzione Beta, dove la media a posteriori approssima la probabilità del modello.

2. Residuo Guidato dal Teacher ($\tilde{\pi}_t$): Invece di assegnare la massa residua al prior del modello studente (che non offre nuova informazione), TARGET-SFT la assegna a una distribuzione guidata dal teacher.

   • Il residuo è costruito tramite la modellazione del reward regolarizzata tramite KL: $\tilde{\pi}_t \propto \pi_\theta^{1-\eta} \pi_T^{\eta}$, dove $\pi_T$ è una distribuzione del teacher (es. un modello istruito) e $\eta$ controlla l'intensità del segnale del teacher.
   • Ciò consente al modello di apprendere da "alternative plausibili" suggerite dal teacher quando l'etichetta osservata è incerta, agendo come un meccanismo di supervisione di fallback.

L'obiettivo finale è la perdita di cross-entropy tra la distribuzione del modello e la $Q_t^{TARGET}$ costruita:
$$L_{TARGET} = \sum_t \left[ p_y \cdot CE(\delta_{y_t}, \pi_\theta) + (1 - p_y) \cdot CE(\tilde{\pi}_t^{guided}, \pi_\theta) \right]$$

Contributi Chiave

1. Prospettiva della Distribuzione Target: Il paper introduce un cambiamento fondamentale nel modo di vedere l'SFT, sostenendo che la distribuzione target indotta è l'oggetto primario di progettazione, piuttosto che la funzione di perdita stessa.
2. Framework Q-Target: Una lente unificante che decompone gli obiettivi SFT in due scelte esplicite: fiducia nell'etichetta ($\gamma_t$) e allocazione del residuo ($\tilde{\pi}_t$). Questo framework spiega come le varianti esistenti (riponderazione, regolarizzazione, distillazione) siano scelte implicite in questo spazio.
3. Algoritmo TARGET-SFT: Un metodo concreto che bilancia adattivamente l'imitazione dell'etichetta e la supervisione del residuo guidata dal teacher. Evita l'overfitting su etichette incerte pur sfruttando la conoscenza del teacher per guidare il modello verso alternative plausibili.

Risultati Sperimentali

Gli autori hanno valutato TARGET-SFT attraverso 10 configurazioni modello-dataset, coprendo il ragionamento matematico (NuminaMath-CoT, OpenR1-15k) e il ragionamento medico (m23k) con modelli da 1.5B a 8B di parametri (Qwen2.5, Qwen3, LLaMA).

• Performance: TARGET-SFT ha costantemente raggiunto la più alta accuratezza Average@16 in tutte le configurazioni, superando lo SFT standard, lo SFT pesato per probabilità (p-loss) e i baseline di distillazione della conoscenza.
• Ragionamento Matematico: Lo SFT standard spesso produceva guadagni modesti o addirittura degradava le prestazioni (es. su Qwen3-1.7B) a causa del rigido fitting one-hot. TARGET-SFT ha migliorato significativamente rispetto a p-loss, dimostrando che la progettazione esplicita della distribuzione residua è superiore al semplice declassamento del peso del label.
• Ragionamento Medico: Sebbene lo SFT standard abbia performato bene in alcuni casi medici (suggerendo che un'imitazione più rigorosa sia talvolta valida), TARGET-SFT ha comunque ottenuto la migliore performance media. Ciò indica che la branca del residuo guidata dal teacher fornisce valore anche quando la semplice riponderazione è meno efficace.
• Studi di Ablazione:
  • Variando l'intensità del segnale del teacher ($\eta$), il weighting adattivo si è dimostrato robusto rispetto a diverse intensità.
  • Sostituire il peso adattivo $(1-\gamma_t)$ con una costante fissa $c$ ha degradato le prestazioni, confermando la necessità di un weighting dipendente dall'incertezza.
  • I baseline di distillazione erano altamente sensibili al peso di miscelazione $c$ e non sono riusciti a eguagliare le prestazioni di TARGET-SFT, suggerendo che l'uso di un teacher come target completo fisso sia subottimale rispetto a una supervisione di fallback adattiva.

Significato e Rivendicazioni

Il paper sostiene che la sua formulazione riveli un principio di progettazione più fondamentale per l'addestramento SFT. Spostando l'attenzione dalla funzione di perdita alla distribuzione target indotta, gli autori:

• Unificano le disparate varianti SFT sotto un unico quadro teorico.
• Espongono uno spazio di ricerca più ampio per gli obiettivi SFT, permettendo il controllo esplicito su quanto imitare i dati rispetto al preservare i prior o incorporare la guida esterna.
• Dimostrano che un SFT efficace deriva dalla progettazione attenta sia della forza di imitazione che dell'allocazione della massa di probabilità rimanente, piuttosto che affidarsi a target one-hot rigidi o a una regolarizzazione statica.

Gli autori concludono che TARGET-SFT offre una prospettiva nuova e più completa sull'SFT, aprendo nuove strade per la progettazione di obiettivi futuri che bilancino meglio l'imitazione dei dataset, la preservazione dei prior e la supervisione alternativa.