🤖 machine learning

RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning

Il paper presenta RIFT, un framework di fine-tuning che migliora l'allineamento dei modelli linguistici riutilizzando le campioni negativi tramite pesatura basata sulle ricompense, superando così l'inefficienza dei metodi tradizionali come RFT.

Autori originali: Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

Pubblicato 2026-04-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: L'Imparare a "Non Fare Errori"

Immagina di voler insegnare a un cuoco (l'Intelligenza Artificiale) a preparare la ricetta perfetta per una torta.
Fino a poco tempo fa, c'erano due modi principali per farlo:

SFT (Supervised Fine-Tuning): Dai al cuoco solo le foto delle torte perfette fatte da un maestro chef. Lui le copia.
- Il problema: Serve un maestro chef costoso per fare le foto, e se il cuoco prova a fare una torta da solo e sbaglia, gli diciamo: "No, non guardare questa, è spazzatura". Così, il cuoco non impara perché la torta è venuta male.
RFT (Rejection Sampling Fine-Tuning): Lasci che il cuoco provi a fare 8 torte da solo. Ne butti via 7 perché sono brutte e tieni solo quella perfetta.
- Il problema: Stai sprecando un sacco di ingredienti e tempo! Quelle 7 torte "brutte" contengono informazioni preziose su cosa non fare, ma le butti nel cestino.

La Soluzione: RIFT (Reward-Informed Fine-Tuning)

Gli autori di questo paper hanno detto: "Perché buttare via le torte brutte? Usiamole per imparare!".

Hanno creato RIFT, un metodo intelligente che non scarta nulla. Immagina RIFT come un istruttore di guida molto paziente e attento.

Ecco come funziona, passo dopo passo:

1. Non scarta nessuno (Niente cestino!)

Quando il modello (il cuoco) prova a rispondere a una domanda, genera diverse risposte.

Se la risposta è corretta, l'istruttore dice: "Bravo! Fai così!" (Premio positivo).
Se la risposta è sbagliata, l'istruttore non la butta via. Dice: "Attenzione, questa strada porta a un burrone. Non andare lì, ma guarda com'è fatta questa strada sbagliata per capire dove sta l'errore" (Premio negativo).

2. La regola d'oro: Non urlare troppo forte

C'era un vecchio modo di usare gli errori: se il cuoco sbagliava, l'istruttore urlava così forte che il cuoco si spaventava e dimenticava tutto quello che sapeva (un fenomeno chiamato "collasso dell'addestramento"). Matematicamente, questo succedeva perché il "punizione" diventava infinita quando la probabilità di errore diventava piccola.

RIFT risolve questo problema con un trucco matematico geniale:
Invece di urlare "NO!" in modo infinito quando il cuoco sbaglia, l'istruttore usa una punizione lineare e calma.

Analogia: Immagina di guidare un'auto. Se ti avvicini al bordo della strada, non ti schianti contro un muro invisibile che ti lancia in aria (come facevano i metodi vecchi). Invece, senti una leggera resistenza sul volante che ti spinge dolcemente verso il centro della strada. Più ti avvicini al bordo, più la resistenza aumenta, ma in modo controllato e sicuro. Questo permette al cuoco di imparare dagli errori senza impazzire.

3. Il risultato: Un cuoco più intelligente

Usando tutte le informazioni (sia le torte perfette che quelle bruciate), il modello impara due cose:

Cosa fare per ottenere il successo.
Cosa evitare per non fallire.

Perché è meglio degli altri?

Risparmia energia: Non devi pagare un maestro chef esterno per creare dati perfetti. Il modello si allena da solo con i suoi tentativi.
È più sicuro: Non si "rompe" quando incontra errori difficili, perché la sua punizione è calibrata per non essere distruttiva.
Funziona ovunque: È stato testato su problemi di matematica molto difficili (come le Olimpiadi di Matematica) e ha battuto tutti i record precedenti, usando meno memoria del computer rispetto ai metodi complessi.

In sintesi

RIFT è come dire a un bambino che sta imparando a camminare:

"Non ti dico solo 'cammina dritto' (SFT). Non ti dico anche 'se cadi, non guardare la strada, alzati e riprova' (RFT vecchio).
RIFT ti dice: 'Guarda dove hai messo il piede sbagliato, capisci perché sei caduto, e la prossima volta fai un passo più sicuro. E se hai fatto un passo perfetto, fallo di nuovo!'"

È un metodo semplice, intelligente ed efficiente che trasforma ogni errore in una lezione preziosa, rendendo l'Intelligenza Artificiale più robusta e capace di imparare da sola.

1. Il Problema: Inefficienza dei Dati e Scarto dei Campioni Negativi

L'allineamento dei Large Language Models (LLM) si basa attualmente su due approcci principali:

SFT (Supervised Fine-Tuning): Richiede dati di dimostrazione di alta qualità, spesso costosi da curare e difficili da ottenere in grandi quantità.
RFT (Rejection Sampling Fine-Tuning): Una variante più efficiente che genera risposte tramite il modello stesso e seleziona solo quelle che superano una soglia di qualità (campionamento per rifiuto).

Il limite critico: Sia l'SFT che l'RFT standard soffrono di inefficienza dei dati. In particolare, l'RFT scarta sistematicamente tutti i campioni "negativi" (risposte di bassa qualità o errate) che non superano la soglia. Questo approccio:

Spreca le risorse computazionali spese per generare tali campioni.
Impedisce al modello di imparare dai propri errori, limitando la sua capacità di distinguere tra output corretti e scorretti.
Può portare a un "allineamento tax" o a un oblio catastrofico se i dati di addestramento non sono perfettamente allineati con la distribuzione del modello.

2. Metodologia: Reward Informed Fine-Tuning (RIFT)

Il paper propone RIFT, un framework semplice ma efficace che riutilizza tutti i campioni generati (sia positivi che negativi) per l'addestramento, evitando lo scarto dei dati.

A. L'Obiettivo Naive e il Collasso dell'Addestramento

L'idea intuitiva sarebbe pesare la funzione di perdita (loss) con il reward $r$ :
$\mathcal{L}_{naive} = -\mathbb{E}[r \cdot \log \pi_\theta(y|x)]$
Tuttavia, il paper dimostra teoricamente che questo approccio è instabile:

Per i campioni negativi ( $r < 0$ ), minimizzare la loss equivale a massimizzare $\log \pi_\theta(y|x)$ (cioè aumentare la probabilità dell'errore) o, più precisamente, spingere la probabilità verso zero.
Poiché la derivata di $\log p$ tende all'infinito quando $p \to 0$ , i gradienti esplodono. Questo porta a un collasso numerico e a un'instabilità dell'ottimizzazione, distruggendo le rappresentazioni apprese dai dati positivi.

B. La Soluzione: Funzione di Perdita Stabilizzata

Per risolvere il problema dell'instabilità, RIFT introduce una formulazione della loss ibrida che tratta diversamente i campioni positivi e negativi:

Campioni Positivi ( $r > 0$ ): Si mantiene l'obiettivo standard di Massima Verosimiglianza (MLE) con il logaritmo.
$-\mathbb{E}_{D^+} [r \cdot \log \pi_\theta(y|x)]$
Questo incoraggia il modello a generare risposte corrette.
Campioni Negativi ( $r < 0$ ): Invece del logaritmo, si utilizza un surrogato lineare basato sull'approssimazione di Taylor ( $\log u \approx u - 1$ ).
$-\mathbb{E}_{D^-} [r \cdot \pi_\theta(y|x)]$
Poiché $r$ è negativo, il termine $-r$ diventa positivo. Minimizzare questa parte della loss equivale a minimizzare la probabilità $\pi_\theta(y|x)$ del campione negativo.
- Vantaggio chiave: La derivata di una funzione lineare è costante. Questo evita l'esplosione dei gradienti quando la probabilità tende a zero, garantendo stabilità numerica e robustezza durante l'ottimizzazione.

3. Contributi Chiave

Riutilizzo dei Campioni Negativi: RIFT trasforma i dati "scartati" dall'RFT in segnali di apprendimento utili, migliorando l'efficienza dei dati senza richiedere dati esterni aggiuntivi.
Formulazione Teorica Stabilizzata: Il paper identifica e risolve il problema fondamentale dell'integrazione diretta dei reward nella loss logaritmica, proponendo una funzione di perdita mista (logaritmica per i positivi, lineare per i negativi) che garantisce la convergenza.
Efficienza Computazionale: A differenza di metodi come DPO (Direct Preference Optimization) che richiedono un modello di riferimento (reference model) e quindi raddoppiano l'uso di memoria VRAM, RIFT non necessita di un modello di riferimento, riducendo l'uso di memoria di circa il 50%.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark matematici (MATH, GSM8K, Olympiad, AIME, ecc.) utilizzando modelli di diverse dimensioni (Qwen2.5-Math 1.5B/7B, Qwen3-1.7B, DeepSeek-R1-Distill).

Prestazioni Superiori: RIFT supera costantemente gli stati dell'arte (SFT, RFT, DPO, DFT, SimPO, KTO) sia in termini di Mean@8 (accuratezza media) che Pass@8 (probabilità di avere almeno una soluzione corretta su 8 tentativi).
- Su Qwen2.5-Math-1.5B, RIFT ha mostrato un miglioramento di +11.4 punti rispetto all'RFT e +6.1 punti rispetto al DPO.
Generalizzazione Out-of-Distribution (OOD): RIFT dimostra una migliore capacità di generalizzazione su compiti difficili non visti durante l'addestramento, grazie all'apprendimento dai modi di fallimento (errori) presenti nei campioni negativi.
Robustezza: Il metodo funziona bene anche con modelli base di capacità moderata, dove l'RFT fallisce spesso perché non riesce a generare abbastanza campioni di alta qualità per il rifiuto.
Efficienza: RIFT raggiunge prestazioni superiori con un utilizzo di picco della memoria GPU significativamente inferiore rispetto a DPO (es. ~22 GB contro ~43 GB).

5. Significato e Impatto

RIFT rappresenta un passo avanti significativo nell'allineamento dei LLM perché:

Democratizza l'addestramento: Permette di ottenere modelli allineati di alta qualità senza la necessità di costosi dati etichettati da esperti o di infrastrutture complesse per il Reinforcement Learning (RL) con modelli di riferimento.
Cambia la filosofia dei dati: Dimostra che i dati negativi non sono "rifiuti" da scartare, ma risorse preziose per insegnare al modello cosa non fare, migliorando la sua capacità di ragionamento e la discriminazione degli errori.
Scalabilità: Offre una soluzione scalabile ed efficiente per l'auto-miglioramento dei modelli, specialmente in domini con reward verificabili (come la matematica), ma con potenziale estendibilità ad altri compiti di preferenza.

In sintesi, RIFT risolve il compromesso tra efficienza dei dati e stabilità dell'addestramento, offrendo un metodo semplice, robusto e ad alte prestazioni per l'allineamento dei modelli linguistici.