RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning

1. Het Probleem

De huidige standaard voor het uitlijnen (alignment) van Large Language Models (LLM's) na pre-training omvat vaak Supervised Fine-Tuning (SFT) en Rejection Sampling Fine-Tuning (RFT). Deze methoden hebben echter aanzienlijke beperkingen:

• SFT is afhankelijk van dure, door experts gegenereerde data. Er bestaat een risico op "catastrophic forgetting" of een "alignment tax" als de verdeling van de trainingsdata niet overeenkomt met de oorspronkelijke modelcapaciteiten.
• RFT probeert dit op te lossen door zelf gegenereerde antwoorden te filteren: alleen antwoorden die een bepaalde kwaliteitsdrempel overschrijden (positieve samples) worden gebruikt voor training. Alle andere antwoorden (negatieve samples) worden verworpen en weggegooid.
• De kernkwestie: Het weggooien van negatieve samples is data-inefficiënt. Deze samples bevatten waardevolle informatie over foutpatronen en falen van het model. Door ze te negeren, leert het model niet hoe het onderscheid moet maken tussen correcte en incorrecte output, en wordt de rekenkracht die nodig was om die samples te genereren verspild.

2. Methodologie: RIFT (Reward-Informed Fine-Tuning)

RIFT is een framework dat alle zelfgegenereerde samples (zowel positief als negatief) benut door een beloningsgeïnformerde loss-functie te gebruiken. In plaats van een harde drempel (hard thresholding) toe te passen zoals bij RFT, weegt RIFT elke sample bijdrage aan de loss-functie in overeenstemming met een scalar beloning (reward).

De Uitdaging: Instabiliteit

Een naïeve aanpak waarbij de log-likelihood loss direct wordt vermenigvuldigd met een negatieve beloning ($r < 0$), leidt tot een fundamenteel probleem:

• Als het model een negatieve sample succesvol onderdrukt (de kans $p \to 0$), gaat de term $-r \cdot \log(p)$ naar oneindig.
• Dit veroorzaakt gradient explosion (explosie van de gradiënten) en numerieke instabiliteit, wat leidt tot een instorting van het trainingproces.

De Oplossing: Een Gestabiliseerde Loss-Functie

RIFT lost dit op door de loss-functie te decoupleren op basis van het type sample:

1. Positieve Samples ($r > 0$): Behoudt de standaard Negative Log-Likelihood (NLL) loss. Dit bevordert het leren van correcte gedragingen.
   $$\mathcal{L}_{+} = -r \cdot \log(\pi_\theta(y|x))$$
2. Negatieve Samples ($r < 0$): Vervangt de logaritmische term door een lineaire benadering (gebaseerd op de Taylor-expansie van $\log(u)$ rond $u=1$). In plaats van $-\log(p)$ wordt er $p$ gebruikt.
   $$\mathcal{L}_{-} = -r \cdot \pi_\theta(y|x)$$
   • Omdat $r$ negatief is, is de term $-r$ positief. Het minimaliseren van deze loss dwingt het model om de kans $\pi_\theta(y|x)$ op de negatieve sample te verkleinen.
   • Voordeel: De afgeleide van een lineaire functie is constant. Dit voorkomt dat de gradiënt naar oneindig gaat wanneer $p \to 0$, wat numerieke stabiliteit garandeert.

De totale RIFT loss-functie is:
$$\mathcal{L}_{RIFT}(\theta) = -\mathbb{E}_{D^+}[r \cdot \log \pi_\theta(y|x)] - \mathbb{E}_{D^-}[r \cdot \pi_\theta(y|x)]$$

3. Belangrijkste Bijdragen

• Efficiëntie in Data: RIFT elimineert de noodzaak om negatieve samples weg te gooien. Het leert effectief van zowel succesvolle als mislukte trajecten binnen dezelfde dataset.
• Theoretische Stabiliteit: Het paper introduceert een wiskundig onderbouwde loss-formulering die training instabiliteit (gradient explosion) voorkomt bij het integreren van negatieve beloningen.
• Referentie-vrij: In tegenstelling tot veel RL-methoden (zoals PPO of DPO) vereist RIFT geen referentiemodel (reference model) voor de training, wat de rekenkosten en geheugengebruik aanzienlijk verlaagt.
• Eenvoud: Het framework is een directe uitbreiding van SFT en vereist geen complexe RL-infrastructuur.

4. Resultaten

De auteurs hebben RIFT getest op wiskundige redeneerbenchmarks (zoals MATH, GSM8K, Olympiad) met verschillende modellen (Qwen2.5-Math, Qwen3, DeepSeek-R1-Distill).

• Prestaties: RIFT presteert consequent beter dan SFT, RFT, DFT en DPO, zowel op in-distribution als out-of-distribution taken.
  • Op de Qwen2.5-Math-1.5B (getraind op MATH) behaalde RIFT een gemiddelde verbetering van +11.4% ten opzichte van RFT.
  • RIFT behaalde de hoogste Pass@8 scores, wat aangeeft dat het model een bredere oplossingsruimte verkent dan RFT (dat vaak vastloopt op één correcte route).
• Efficiëntie:
  • Geheugengebruik: RIFT vereist ongeveer 50% minder GPU-geheugen dan DPO, omdat DPO een referentiemodel moet laden. De piekgeheugengebruik van RIFT is vergelijkbaar met dat van SFT en RFT.
  • Scalabiliteit: RIFT blijft stabiel en effectief zelfs bij modellen met gemiddelde prestaties, terwijl RFT vaak faalt zonder een zeer sterke basis.
• Generalisatie: De methode werkt ook op niet-wiskundige taken (zoals UltraFeedback), hoewel de winst daar iets kleiner is vanwege de ruis in menselijke voorkeursdata.

5. Betekenis en Conclusie

RIFT biedt een robuust en data-efficiënt alternatief voor bestaande uitlijningsmethoden. Het paper demonstreert dat het expliciet leren van gemengde kwaliteit data (zowel goed als fout) superieur is aan het filteren van data.

• Praktische impact: Het maakt het mogelijk om zelfverbetering (self-improvement) van LLM's te schalen zonder afhankelijk te zijn van dure expert-data of zware RL-frameworks.
• Toekomst: De methode opent de deur voor het gebruik van "ruwe" zelfgegenereerde data voor training, waarbij fouten niet als afval worden behandeld, maar als leermomenten. De auteurs wijzen er echter op dat de methode nog verder kan worden verfijnd voor complexe, meerstapsproblemen door stapsgewijze beloningen te gebruiken.

Kortom, RIFT bewijst dat door de loss-functie slim aan te passen, men de volledige potentie van gegenereerde data kan benutten voor een stabielere en krachtigere modeluitlijning.