IRIS: Interpolative Rényi Iterative Self-play for Large Language Model Fine-Tuning

1. Il Problema

Il fine-tuning dei Large Language Models (LLM) tramite Self-Play (come il metodo SPIN) mira a migliorare le prestazioni del modello oltre i limiti del Supervised Fine-Tuning (SFT) senza richiedere nuove annotazioni umane. Tuttavia, i metodi esistenti presentano limitazioni fondamentali legate alla scelta della divergenza utilizzata per ottimizzare il modello:

• SPIN (basato su KL): Utilizza la divergenza di Kullback-Leibler. Offre gradienti lisci quando il modello è lontano dal target, ma perde sensibilità e causa instabilità man mano che le distribuzioni convergono (vanishing gradient).
• SPACE (basato su Jensen-Shannon): Sostituisce il gap di reward con una classificazione indipendente. È stabile ma meno sensibile alle differenze nelle fasi avanzate di addestramento.
• SPIF (basato su $\chi^2$): Usa la divergenza $\chi^2$ per limitare i reward. Offre una discriminazione fine vicino alla convergenza, ma penalizza eccessivamente gli outlier nelle fasi iniziali.

Il problema centrale: Nessuna singola divergenza fissa fornisce dinamiche di apprendimento ottimali in tutte le fasi del training. Un approccio che funzioni bene all'inizio (esplorazione) potrebbe fallire alla fine (raffinamento) e viceversa.

2. Metodologia: IRIS

Gli autori propongono IRIS (Interpolative Rényi Iterative Self-play), un framework unificato basato sulla divergenza di Rényi, che permette di interpolare continuamente tra diversi regimi di divergenza attraverso un parametro di ordine $\alpha$.

Obiettivo IRIS

L'obiettivo di IRIS è decomposto in due termini di rischio "inclinati" (tilted risk) indipendenti sui dati annotati (reali) e sui dati sintetici:

$$\mathcal{L}_{IRIS}(\theta; \alpha) = -\frac{1}{\alpha-1} \log \mathbb{E}_{y \sim p_{data}} \left[ e^{(\alpha-1) r(x,y)} \right] + \frac{1}{\alpha} \log \mathbb{E}_{y' \sim p_{\theta_t}} \left[ e^{\alpha r(x,y')} \right]$$

Dove $r(x, \hat{y}) = \log p_\theta(\hat{y}|x) - \log p_{\theta_t}(\hat{y}|x)$ è il reward log-ratio.

• Terminologia: Il primo termine incoraggia il modello ad assegnare alti reward ai dati reali; il secondo penalizza i dati sintetici.
• Pesi di Importanza: Il gradiente dell'obiettivo introduce pesi di importanza esponenziali: $\tilde{w} \propto \exp((\alpha-1)r)$. Questo meccanismo concentra l'apprendimento sui campioni più informativi in modo controllabile tramite $\alpha$.

Unificazione Teorica

IRIS unifica i metodi esistenti come casi limite o rappresentativi specifici di $\alpha$:

• $\alpha \to 1$: Recupera la divergenza KL (comportamento di SPIN).
• $\alpha = 1$ (NCE): Corrisponde alla divergenza Jensen-Shannon (comportamento di SPACE).
• $\alpha = 2$: Corrisponde alla divergenza $\chi^2$ (comportamento di SPIF).
• $\alpha = 1/2$: Introduce un nuovo regime basato sulla distanza di Hellinger, favorendo una copertura delle modalità (mode-covering) che manca nei metodi precedenti.

Programmazione Adattiva dell'Ordine ($\alpha_t$)

La contribuzione chiave è l'introduzione di uno schedule adattivo per $\alpha$. Invece di fissare $\alpha$, lo si adatta dinamicamente in base al "gap distribuzionale" tra il modello corrente e il target:

• Fase iniziale (Gap grande): $\alpha$ è alto (es. vicino a 2 o 3). Questo favorisce un'esplorazione aggressiva e una pesatura dell'importanza più acuta sui campioni informativi (comportamento simile a $\chi^2$).
• Fase finale (Gap piccolo): $\alpha$ diminuisce verso 1. Questo transita verso gradienti più lisci e uniformi (comportamento simile a KL), facilitando la convergenza stabile.

L'aggiornamento di $\alpha_t$ può essere guidato dal feedback del gap di reward stimato o tramite un annealing geometrico.

3. Contributi Chiave

1. Prospettiva Unificata: Dimostrano che SPIN, SPACE e SPIF sono casi particolari di un unico framework basato sulla divergenza di Rényi.
2. Framework IRIS: Progettazione di un obiettivo di fine-tuning auto-giocante con un parametro $\alpha$ continuamente regolabile e pesi di importanza esponenziali.
3. Analisi Teorica: Stabiliscono la proprietà di punto fisso di IRIS (garantendo la convergenza verso la distribuzione target) e analizzano come $\alpha$ controlli la concentrazione del gradiente.
4. Schedule Adattivo: Propongono un metodo per adattare la geometria della divergenza durante il training, passando dall'esplorazione al raffinamento in modo automatico.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Zephyr-7B e Qwen2.5-3B su 10 benchmark (ragionamento matematico, conoscenza, senso comune, follow delle istruzioni).

• Prestazioni Superiori: IRIS supera tutti i baselines (SPIN, SPACE, T-SPIN, SPIF) e il SFT standard. Su Zephyr-7B, raggiunge un punteggio medio di 44.57% alla quarta iterazione, con guadagni significativi su task complessi come IFEval (+10.75 punti rispetto al SFT base).
• Stabilità: Mentre altri metodi mostrano plateau o degradazione nelle iterazioni successive (es. SPIN e SPIF), IRIS mantiene miglioramenti stabili e monotoni attraverso tutte le iterazioni.
• Efficienza dei Dati: IRIS, addestrato su solo 26k campioni annotati per 2 iterazioni, supera il SFT standard addestrato sull'intero dataset di 200k campioni. Questo dimostra che il meccanismo adattivo estrae segnali di training più ricchi da dati limitati.
• Dinamiche di Training: L'analisi mostra che IRIS aumenta il reward assoluto sui dati reali (a differenza di SPIN che si basa solo sul gap), portando a una modellazione di qualità superiore.

5. Significato e Impatto

Il lavoro IRIS rappresenta un avanzamento significativo nell'allineamento dei LLM:

• Superamento dei Limiti Statici: Risolve il compromesso tra stabilità iniziale e sensibilità finale dimostrando che la divergenza ottimale non è fissa, ma dipende dallo stato di addestramento.
• Riduzione della Dipendenza dai Dati: La capacità di ottenere prestazioni superiori con meno dati annotati è cruciale per scalare l'allineamento dei modelli senza costi di annotazione proibitivi.
• Fondamento Teorico: Fornisce una lente teorica unificata (divergenza di Rényi) per comprendere e migliorare le tecniche di self-play, aprendo la strada a futuri metodi adattivi che non si basano su ipotesi fisse.

In sintesi, IRIS trasforma il fine-tuning self-play da un processo con iperparametri statici e compromessi fissi a un processo dinamico e adattivo, ottimizzando le prestazioni del modello in ogni fase del suo ciclo di vita.