Riassunto Tecnico: PriFT (Prior-Support Guided Fine-Tuning)

Problematica

Il Supervised Fine-Tuning (SFT) è un metodo standard ed efficiente dal punto di vista computazionale per adattare i Large Language Models (LLM) preaddestrati a task di downstream, fungendo spesso da inizializzazione per il Reinforcement Learning (RL). Tuttavia, l'SFT soffre di un gap di generalizzazione rispetto all'RL. Essendo un metodo off-policy, l'SFT adatta i dati di dimostrazione fissi token per token. Quando i token target nelle dimostrazioni sono scarsamente allineati con la distribuzione preaddestrata del modello, questo processo può portare all'overfitting e alla distorsione della conoscenza preaddestrata.

Recenti approcci tentano di mitigare questo problema assegnando pesi di addestramento non uniformi ai token in base al loro allineamento con la distribuzione predittiva del modello (ad esempio, utilizzando la probabilità del token target o l'entropia). Tuttavia, questi metodi tipicamente calcolano tali pesi utilizzando il modello online che viene attualmente sottoposto a fine-tuning. Il paper sostiene che ciò crei un difetto critico: la distribuzione predittiva del modello online devia rapidamente dalla distribuzione preaddestrata durante l'addestramento. Di conseguenza, il segnale di pesatura diventa intrecciato con la traiettoria di ottimizzazione, inducendo una dinamica auto-rinforzante in cui il modello concentra i segnali di apprendimento sui token che inizialmente preferiva, sopprimendo al contempo altri. Ciò riduce la diversità di campionamento e limita la capacità del modello per un ulteriore ottimizzazione on-policy (RL).

Metodologia: PriFT

Per affrontare l'instabilità della ripesatura online, gli autori propongono PriFT (Prior-support guided Fine-Tuning). L'intuizione centrale è che i pesi dei token dovrebbero derivare da un modello di riferimento preaddestrato congelato piuttosto che dal modello online in evoluzione. Ciò fornisce una stima stabile del "prior support" (supporto a priori): l'entità in cui un token target è supportato dalla conoscenza del modello prima dell'adattamento specifico al task.

Framework

PriFT modifica l'obiettivo standard dell'SFT introducendo pesi per i token $m_t$ derivati dal modello preaddestrato congelato $\pi_{\theta_{pt}}$:
$$L_{PriFT}(\theta_{on}) = -\sum_{t=1}^{T} u(\pi_{\theta_{pt}}(\cdot | x, y_{<t}), y_t) \log \pi_{\theta_{on}}(y_t | x, y_{<t})$$
dove $u(\cdot)$ è una funzione di utilità del token. Calcolando i pesi dal riferimento congelato, PriFT scollega la stima del peso dalla traiettoria di ottimizzazione, prevenendo il bias auto-rinforzante osservato nei metodi online.

Istanze

Il paper introduce due specifiche istanze della funzione di utilità $u$:

1. PriFT-prob: Utilizza direttamente la probabilità del target-token preaddestrata.
   $$m_t = \pi_{\theta_{pt}}(y_t | x, y_{<t})$$
   Questo scala l'ampiezza del gradiente in base a quanto il token fosse plausibile sotto la distribuzione preaddestrata. Preserva la direzione standard dell'aggiornamento SFT, ma riduce il peso ai token con basso supporto a priori.

2. PriFT-mass: Utilizza la massa di probabilità cumulativa sotto la distribuzione preaddestata per ridurre il bias verso i token "facili" con distribuzioni concentrate.
   $$m_t = \mathbb{I}[u^{(MASS)}_t \geq 0.5]$$
   dove $u^{(MASS)}_t = \sum_{v: \pi_{\theta_{pt}}(v) \leq \pi_{\theta_{pt}}(y_t)} \pi_{\theta_{pt}}(v)$.
   Questa metrica misura la frazione della massa di probabilità assegnata ai token meno probabili rispetto al target. Una soglia di 0.5 seleziona i token supportati da almeno metà della massa di probabilità preaddestrata. A differenza di PriFT-prob, questo risulta in una maschera di selezione binaria dove tutti i token selezionati ricevono lo stesso peso, evitando l'enfasi eccessiva sui token triviali ad alta confidenza (ad es. parole funzionali) pur mantenendo i token informativi provenienti da contesti più difficili.

Overhead Computazionale

PriFT richiede un singolo passaggio forward del modello preaddestrato congelato per precalcolare i pesi o le maschere dei token. Ciò aggiunge un overhead relativo di circa $1/(3E)$ (dove $E$ è il numero di epoche), che può essere eseguito offline. A differenza dei metodi di regolarizzazione KL che richiedono l'accesso alla distribuzione di riferimento durante ogni step di ottimizzazione, PriFT richiede solo la memorizzazione di pesi scalari o maschere binarie, evitando un overhead di memoria significativo.

Contributi Chiave

1. Identificazione del Drift del Segnale: Gli autori dimostrano che le statistiche dei token online deviano rapidamente dalla distribuzione preaddestrata, creando un ciclo auto-rinforzante che concentra l'apprendimento sui token inizialmente preferiti e degrada la generalizzazione.
2. Ripesatura Stabile tramite Riferimento Congelato: Dimostrano che derivare i pesi dei token da un modello preaddestrato congelato supera costantemente l'uso del modello online attraverso varie regole di ripesatura (basate sulla probabilità o sull'entropia).
3. Framework PriFT: La proposta di un framework semplice e generale che precalcola i pesi da un riferimento congelato, scollegano il segnale di ripesatura dalla traiettoria di ottimizzazione.
4. Validazione Empirica: Esperimenti estesi mostrano che PriFT raggiunge risultati allo stato dell'arte tra i baseline SFT e fornisce un'inizializzazione superiore per il successivo addestramento RL.

Risultati Sperimentali

Gli autori hanno valutato PriFT sul ragionamento matematico, la generazione di codice e le risposte a domande mediche utilizzando modelli come Qwen2.5-Math, Qwen3 e LLaMA-2.

• Ragionamento Matematico: Su Qwen2.5-Math-7B, PriFT-mass ha raggiunto una accuratezza media (Avg@16) di 40.67 e un Pass@16 di 69.60, superando il più forte baseline precedente (TALR) rispettivamente di 3.97 e 8.75 punti. Notevolmente, mentre i metodi di ripesatura online (come DFT) spesso migliorano l'Avg@16 a scapito del Pass@16, PriFT migliora entrambi i parametri simultaneamente.
• Generazione di Codice: Su Qwen3-4B-Instruct, le varianti di PriFT hanno superato lo standard SFT e altri baseline con ripesatura dei token, particolarmente sulle divisioni impegnative di LiveCodeBench. PriFT-mass ha mostrato la minore degradazione delle prestazioni su HumanEval+ rispetto al checkpoint originale, suggerendo una migliore preservazione delle capacità esistenti.
• Medical QA: PriFT-mass ha ottenuto le migliori prestazioni complessive sui benchmark MMLU-Medical e MedMCQA, superando altri metodi di ripesatura dei token.
• Inizializzazione RL: I modelli inizializzati con PriFT hanno mostrato una performance più forte dopo il successivo addestramento RL (DAPO) rispetto a quelli inizializzati con standard SFT o metodi di ripesatura online (DFT). Ad esempio, su Qwen3-8B-Base, PriFT-mass ha prodotto un miglioramento di 9.57 punti in Avg@16 dopo l'RL rispetto all'inizializzazione baseline SFT.

Significato e Rivendicazioni

Il paper sostiene che PriFT affronti un limite fondamentale nell'SFT con ripesatura dei token: l'intreccio del segnale di pesatura con la traiettoria di ottimizzazione. Utilizzando il modello preaddestrato come fonte stabile di "prior support", PriFT:

• Preserva la Diversità di Campionamento: Evita la concentrazione auto-rinforzante della massa di probabilità su un set ristretto di percorsi di ragionamento, mantenando distribuzioni di entropia più ampie e migliori performance Pass@k.
• Riduce lo Shift della Distribuzione: Minimizza la divergenza KL dal modello preaddestrato durante il fine-tuning rispetto ai metodi di ripesatura online.
• Migliora la Prontezza per l'RL: Fornisce un'inizializzazione più forte per l'RL preservando la capacità del modello per l'ulteriore ottimizzazione on-policy, suggerendo che un "buon SFT" non riguarda solo la performance immediata ma il mantenimento della diversità necessaria per l'apprendimento futuro.

Gli autori notano i limiti, incluso il focus su modelli open di medie dimensioni e domini di task specifici, lasciando l'esplorazione di modelli più grandi e funzioni di utilità più ampie al lavoro futuro. Non pretendono che PriFT risolva tutti i problemi di generalizzazione, ma lo posizionano come un miglioramento robusto e generalizzabile al paradigma SFT.