Riepilogo Tecnico: InfoSFT

Enunciato del Problema

Il Fine-Tuning Supervisionato (SFT) è l'approccio standard per insegnare ai Modelli Linguistici di Grandi Dimensioni (LLM) nuovi comportamenti utilizzando dimostrazioni offline di esperti. Tuttavia, lo SFT standard soffre di due limitazioni critiche:

1. Debole Generalizzazione al Momento del Test: Lo SFT standard adatta uniformemente tutti i campioni, inclusi quelli con bassa probabilità sotto il modello di base. Questi token a bassa probabilità comportano grandi perdite di log-probabilità negativa, costringendo il modello a sovradattarsi a campioni specifici anziché apprendere il comportamento target sottostante. Di conseguenza, lo SFT spesso performa peggio rispetto ai metodi on-policy (come RL) nei benchmark di generalizzazione.
2. Dimenticanza Catastrofica: L'adattamento a nuovi comportamenti utilizzando dati offline a bassa probabilità induce spostamenti sostanziali nella distribuzione di output del modello. Questo grande spostamento distribuzionale è correlato al degrado delle capacità precedenti (ad esempio, sicurezza, seguito delle istruzioni o ragionamento generale), un fenomeno noto come dimenticanza catastrofica.

Le strategie di mitigazione esistenti, come il filtraggio o la riduzione del peso dei dati a bassa probabilità, spesso sopprimono proprio i nuovi comportamenti che il modello di base deve apprendere, creando un compromesso tra l'apprendimento di nuovi compiti e il mantenimento di quelli vecchi.

Metodologia: InfoSFT

Gli autori propongono InfoSFT, uno schema di ponderazione dei token principiato progettato per concentrare i segnali di apprendimento su "token a media confidenza e massimamente informativi". Il metodo è derivato da un framework di aggiornamento prossimale, ottimizzando il compromesso tra l'adattamento alla distribuzione degli esperti e il mantenimento della vicinanza al modello di base entro un budget fisso di divergenza KL.

Derivazione Teorica

Gli autori inquadrano lo SFT come un problema di gradiente della politica in cui la ponderazione di un campione dipende dalla sua probabilità $q = \pi_\theta(y^*|x)$ sotto il modello corrente.

• SFT Standard assegna un peso uniforme ($w=1$), trattando effettivamente tutti i token in modo uguale.
• DFT (SFT Ponderato per Probabilità) assegna pesi proporzionali alla probabilità ($w \propto q$), il che stabilizza l'addestramento ma sottovaluta i campioni informativi a bassa probabilità.
• InfoSFT deriva una regola di ponderazione ottimale che dà priorità all'adattamento alla distribuzione di popolazione dei dati degli esperti piuttosto che alla memorizzazione di singoli campioni. Il peso ottimale per un token con probabilità $q$ è derivato come:
  $$w_{info}(q) \propto q \left( \text{logit}(p) - \text{logit}(q) \right)_+$$
  Dove:
  • $p$ è una stima della media della confidenza degli esperti (una costante di calibrazione).
  • $\text{logit}(q) = \log(\frac{q}{1-q})$.
  • $(\cdot)_+$ indica il clipping per garantire pesi non negativi.

Caratteristiche Chiave

• Focus sulla Media Confidenza: La funzione di ponderazione raggiunge il picco per i token con confidenza intermedia. Assegna pesi elevati ai token che sono improbabili sotto il modello di base (e quindi informativi) ma non così improbabili da causare instabilità.
• Peso Vanescente per gli Estremi:
  • Per i token ad alta confidenza ($q \to 1$), il termine di correzione svanisce, evitando un rafforzamento non necessario di token che il modello prevede già bene.
  • Per i token estremamente improbabili ($q \to 0$), il peso svanisce, prevenendo l'instabilità.
• Implementazione: InfoSFT richiede solo una modifica di una riga alla funzione di perdita token-wise standard. Sostituisce il peso uniforme con il fattore di ponderazione derivato.

Contributi Chiave

1. Aggiornamento Ottimale sotto Budget KL: Il documento dimostra teoricamente che, quando vincolato a rimanere vicino al modello di base (budget KL fisso), la strategia di aggiornamento ottimale assegna i pesi più alti ai campioni con confidenza intermedia, piuttosto che pesi uniformi o proporzionali alla probabilità.
2. Algoritmo InfoSFT: Una variante SFT semplice e novella che incorpora questa regola di ponderazione. Essa enfatizza i token informativi a bassa probabilità attribuendo poco peso ai token già risolti.
3. Complementarità con SFT: Gli autori dimostrano che InfoSFT e SFT standard sono complementari. Lo SFT è efficace per introdurre formati molto improbabili (ad esempio, nuovi tag di ragionamento come <thought>), mentre InfoSFT è superiore per raffinare il modello una volta che tali formati diventano più probabili.

Risultati Sperimentali

Gli autori hanno valutato InfoSFT su compiti di matematica, codice e ragionamento a Catena di Pensiero (CoT) utilizzando diverse famiglie di modelli (Qwen-2.5, Llama-3.1) e dimensioni.

• Prestazioni di Generalizzazione: InfoSFT ha costantemente superato sia lo SFT vanilla che il DFT nei benchmark al momento del test (MATH500, AMC, HumanEval, MultiPL-E). In particolare, ha ottenuto punteggi pass@8 più elevati, indicando una migliore diversità e robustezza nella generazione di soluzioni corrette tra più campioni.
• Dimenticanza Catastrofica: Negli esperimenti che misurano il compromesso tra accuratezza sul nuovo compito e capacità precedenti (Domande e Risposte Scientifiche e Utilizzo di Strumenti), InfoSFT ha raggiunto una frontiera di Pareto superiore. Ha raggiunto un'accuratezza sul nuovo compito più alta rispetto a SFT e DFT, preservando al contempo le capacità precedenti (ad esempio, HumanEval, IFEval) in modo più efficace.
• Controllo dell'Entropia: A differenza del DFT, che spesso porta al collasso dell'entropia (output deterministici), InfoSFT mantiene un'entropia di output più elevata, il che è cruciale per l'allineamento a valle e l'inferenza basata sul campionamento.
• Ragionamento CoT: Nel fine-tuning CoT, un approccio a due stadi (1 epoca di SFT seguito da 1 epoca di InfoSFT) ha prodotto i migliori risultati su AIME, sfruttando lo SFT per apprendere il formato e InfoSFT per raffinare il ragionamento.

Significato e Affermazioni

Il documento afferma che la ponderazione dei token è un ingrediente chiave per un post-training supervisionato affidabile. Superando l'adattamento uniforme o la semplice ponderazione per probabilità, InfoSFT affronta la tensione fondamentale tra l'apprendimento di nuovi comportamenti da dati offline e la preservazione delle capacità preesistenti. Il metodo offre una soluzione principiale e a basso sovraccarico che migliora la generalizzazione e mitiga la dimenticanza catastrofica senza richiedere un filtraggio complesso dei dati o un campionamento on-policy. Gli autori posizionano InfoSFT come un'alternativa robusta che colma il divario tra la stabilità dello SFT e i benefici di generalizzazione dei metodi on-policy.