🤖 machine learning

RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning

Die Arbeit stellt RIFT vor, ein effizientes Feinabstimmungsverfahren für große Sprachmodelle, das negative selbstgenerierte Stichproben durch reward-gewichtete Verlustanpassung nutzbar macht und damit die Datenineffizienz herkömmlicher Methoden wie RFT überwindet.

Ursprüngliche Autoren: Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

Veröffentlicht 2026-04-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du möchtest einen sehr klugen, aber noch etwas unerfahrenen Schüler (das ist unser KI-Modell) darauf trainieren, Mathe-Aufgaben zu lösen.

Bisher gab es zwei Hauptmethoden, wie man das gemacht hat:

Der strenge Lehrer (SFT): Der Lehrer gibt dem Schüler nur die perfekten Lösungen vor. Der Schüler lernt sie auswendig. Das Problem: Man braucht extrem viele perfekte Lösungen von echten Experten, was teuer und schwer zu finden ist.
Der Filter-Mechanismus (RFT): Der Schüler versucht, viele verschiedene Lösungen selbst zu finden. Der Lehrer schaut sich alle an und wirft alle schlechten Lösungen sofort in den Müll. Nur die perfekten Lösungen werden zum Lernen verwendet. Das Problem: Man verschwendet viel Zeit und Energie, weil man die Fehler des Schülers ignoriert. Dabei steckt in einem Fehler oft eine wertvolle Lektion!

Die neue Idee: RIFT (Der weise Coach)

Die Autoren dieses Papiers haben eine neue Methode namens RIFT entwickelt. Der Name steht für Reward-Informed Fine-Tuning (Belohnungsbasiertes Fein-Tuning).

Stell dir RIFT nicht als strengen Lehrer vor, sondern als einen weisen Sportcoach.

Wie funktioniert der Coach?

Stell dir vor, der Schüler (die KI) läuft einen Lauf und versucht, eine Strecke zu meistern. Er läuft 8 verschiedene Runden.

Runde 1, 3 und 5 waren großartig (positive Belohnung).
Runde 2, 4, 6, 7 und 8 waren chaotisch, er ist gestolpert oder falsch abgebogen (negative Belohnung).

Der alte Coach (RFT) würde sagen: "Wirf die schlechten Runden weg! Wir trainieren nur mit den perfekten Runden 1, 3 und 5."
Der neue Coach (RIFT) sagt: "Nein, wir behalten alle Runden! Aber wir behandeln sie unterschiedlich."

Für die guten Runden: Der Coach sagt: "Super gemacht! Mach das genau so weiter!" (Er belohnt das Verhalten).
Für die schlechten Runden: Der Coach sagt: "Das war nicht gut. Aber wir werfen es nicht weg! Wir sagen dem Schüler: 'Versuche, das nicht noch einmal zu tun'."

Das große Problem: Der "Explosions-Gefahr"

Hier kommt der geniale Teil der Erfindung. Wenn man einem Schüler sagt "Tu das nicht!", und er tut es immer weniger, passiert etwas Seltsames:
Je mehr der Schüler lernt, nicht zu stolpern, desto mehr "schreit" der Coach theoretisch, weil die Wahrscheinlichkeit des Stolperns gegen Null geht. In der Mathematik führt das zu einer numerischen Explosion – der Coach wird so laut, dass das Gehirn des Schülers (der Computer) abstürzt und alles vergisst, was er vorher gelernt hat. Das nennt man "Training Collapse".

Die Lösung von RIFT:
Der Coach RIFT hat eine spezielle Regel für die schlechten Runden. Anstatt zu schreien ("NICHT! NICHT! NICHT!"), sagt er ruhig: "Okay, das war nicht gut. Lass uns das einfach ein bisschen weniger wahrscheinlich machen."
Er nutzt eine mathematische Abkürzung (eine lineare Annäherung), die sicherstellt, dass der Coach nie zu laut wird, egal wie gut der Schüler wird. So bleibt der Unterricht stabil, und der Schüler lernt aus seinen Fehlern, ohne verrückt zu werden.

Warum ist das so toll?

Kein Müll: Früher wurden die "schlechten" Versuche weggeworfen. RIFT nutzt sie alle. Es ist wie beim Recycling: Aus dem "Abfall" wird wertvolles Wissen gewonnen.
Schneller und billiger: Da man keine perfekten Lösungen von teuren Experten braucht und keine riesigen Rechenkapazitäten für das Filtern verliert, ist es viel effizienter.
Bessere Ergebnisse: In Tests hat RIFT gezeigt, dass die KI nicht nur besser rechnet, sondern auch weniger "vergessen" hat, was sie vorher schon konnte. Sie wird robuster.

Zusammenfassung in einem Satz

RIFT ist wie ein Coach, der nicht nur die Siege feiert, sondern auch die Niederlagen analysiert, um daraus zu lernen – und dabei eine spezielle Technik anwendet, damit der Schüler nicht vor lauter Kritik zusammenbricht, sondern klüger wird.

Das Ergebnis: Eine KI, die mit weniger Ressourcen und weniger "perfektem" Input viel besser lernt, weil sie aus allem lernt, was sie selbst produziert hat.

1. Problemstellung

Das Paper adressiert die Ineffizienz und die Datenabhängigkeit bestehender Methoden zur Ausrichtung (Alignment) von Large Language Models (LLMs).

Supervised Fine-Tuning (SFT): Ist der Standard, erfordert jedoch hochwertige, von Experten erstellte Demonstrationsdaten, die teuer und schwer zu beschaffen sind. Zudem kann eine Diskrepanz zwischen den Vorab-Trainingsdaten und den SFT-Daten zu „katastrophalem Vergessen" führen.
Rejection Sampling Fine-Tuning (RFT): Eine effizientere Alternative, bei der das Modell selbst Daten generiert und nur Antworten über einem bestimmten Qualitätsschwellenwert für das Training verwendet werden.
- Hauptmangel von RFT: Alle unter dem Schwellenwert liegenden (negativen) Stichproben werden verworfen. Dies verschwendet Rechenressourcen und verhindert, dass das Modell aus seinen Fehlern lernt (Unterscheidung zwischen korrekten und inkorrekten Ausgaben).
Herausforderung bei der Integration negativer Samples: Ein naiver Versuch, negative Samples durch einfache Multiplikation mit einem negativen Reward in die Verlustfunktion einzubinden, führt zu einem mathematischen Problem: Da der Logarithmus für Wahrscheinlichkeiten nahe Null gegen $-\infty$ geht, führt die Multiplikation mit einem negativen Reward zu einem unbeschränkten Verlust, der das Training kollabieren lässt (Gradienten-Explosion).

2. Methodik: Reward-Informed Fine-Tuning (RIFT)

RIFT ist ein Framework, das alle selbstgenerierten Stichproben (sowohl positive als auch negative) nutzt, indem es die Verlustfunktion intelligent anpasst.

Kernidee:
Anstatt negative Samples zu verwerfen (wie bei RFT), werden sie beibehalten, aber mit einem skalaren Reward gewichtet. Das Ziel ist es, positive Ausgaben zu fördern und negative Ausgaben zu unterdrücken, ohne die Stabilität des Trainings zu gefährden.

Technische Lösung für die Stabilität:
Das Paper identifiziert, dass die direkte Anwendung der negativen Log-Likelihood auf negative Samples ( $r < 0$ ) zu instabilen Gradienten führt, wenn die Wahrscheinlichkeit des Modells für diesen Fehler gegen Null geht.

Naiver Ansatz (Problem): $L_{naive} = -E[r \cdot \log \pi_\theta(y|x)]$ . Für $r < 0$ und $\pi_\theta \to 0$ geht der Gradient gegen Unendlich.
RIFT-Lösung (Linearer Surrogat): RIFT entkoppelt positive und negative Samples:
1. Für positive Samples ( $r > 0$ ): Es wird der Standard-Log-Likelihood-Verlust verwendet (Maximum Likelihood Estimation), um korrekte Antworten zu stärken.
2. Für negative Samples ( $r < 0$ ): Anstatt des Logarithmus wird eine lineare Approximation der Wahrscheinlichkeit verwendet (basierend auf der Taylor-Entwicklung von $\log u \approx u - 1$ ).
- Der Verlust für negative Samples wird als $-r \cdot \pi_\theta(y|x)$ formuliert (wobei $r$ negativ ist, wird der Term positiv und minimiert $\pi_\theta$ ).
- Vorteil: Der Gradient dieser linearen Funktion ist konstant und beschränkt, was numerische Stabilität garantiert und verhindert, dass das Modell versucht, Wahrscheinlichkeiten auf exakt Null zu drücken, was zu Instabilität führt.

Verlustfunktion (Definition 3.3):
$L_{RIFT}(\theta) := -E_{D^+}[r \cdot \log \pi_\theta(y|x)] - E_{D^-}[r \cdot \pi_\theta(y|x)]$
Dabei ist $D^+$ die Menge der positiven und $D^-$ die Menge der negativen Samples.

3. Wichtige Beiträge

Neues Paradigma für negatives Lernen: RIFT ist das erste Framework, das negative, selbstgenerierte Trajektorien systematisch und stabil in den Fine-Tuning-Prozess integriert, anstatt sie zu verwerfen.
Theoretische Stabilität: Das Paper liefert eine theoretische Analyse, die zeigt, warum naive Ansätze scheitern, und beweist die Beschränktheit und Stabilität der neuen RIFT-Verlustfunktion.
Ressourceneffizienz: Im Gegensatz zu Methoden wie DPO (Direct Preference Optimization), die ein Referenzmodell benötigen und somit den Speicherbedarf verdoppeln, benötigt RIFT kein Referenzmodell. Es ist speichereffizienter als DPO und leistungsfähiger als reines SFT oder RFT.
Datenunabhängigkeit: RIFT funktioniert auch mit Modellen mittlerer Leistungsfähigkeit, die nicht in der Lage sind, ausschließlich hochwertige Daten zu generieren (im Gegensatz zu RFT, das starke Basis-Modelle benötigt).

4. Ergebnisse

Die Autoren evaluieren RIFT auf mathematischen Benchmarks (GSM8K, MATH, Olympiaden, etc.) mit verschiedenen Modellgrößen (Qwen2.5-Math 1.5B/7B, Qwen3, DeepSeek-R1).

Leistung: RIFT übertrifft konsistent SFT, DFT, RFT und DPO sowohl in der durchschnittlichen Genauigkeit (Mean@8) als auch in der Wahrscheinlichkeit, mindestens eine korrekte Lösung zu finden (Pass@8).
- Beispiel: Auf Qwen2.5-Math-1.5B (Trainiert auf MATH) erreicht RIFT eine durchschnittliche Genauigkeit von 37,0 %, während RFT nur 25,6 % und DPO 31,0 % erreicht.
Generalisierung: RIFT zeigt eine bessere Out-of-Distribution (OOD) Generalisierung als SFT und DFT, insbesondere bei schwierigen Aufgaben wie Olympiaden-Mathematik.
Speichereffizienz: RIFT benötigt etwa 50 % weniger GPU-Speicher als DPO, da kein Referenzmodell geladen werden muss. Der Peak-Speicherbedarf liegt nahe dem von SFT/RFT (ca. 20 GB vs. 43 GB bei DPO).
Robustheit: Die Methode ist robust gegenüber der Wahl des negativen Rewards (z. B. konstante Werte zwischen -0,2 und -0,8) und funktioniert auch bei Modellen mit expliziten Denkprozessen (Reasoner-Modelle wie DeepSeek-R1), wo SFT oft die inhärenten Fähigkeiten zerstört.

5. Bedeutung und Fazit

RIFT stellt einen bedeutenden Fortschritt im Bereich des Post-Training von LLMs dar. Es löst das Dilemma zwischen der Notwendigkeit hochwertiger Daten und der Verschwendung von Ressourcen durch das Verwerfen von Fehlern.

Daten-Effizienz: Durch die Nutzung der gesamten Verteilung selbstgenerierter Daten (inklusive Fehler) maximiert RIFT den Informationsgewinn pro generierter Antwort.
Skalierbarkeit: Da RIFT kein Referenzmodell benötigt und stabil mit gemischten Qualitätsdaten umgeht, ist es eine ideale Methode für skalierbares, selbstgesteuertes Lernen (Self-Improvement) ohne teure menschliche Annotationen.
Praktische Relevanz: Die Methode bietet eine einfache, aber effektive Alternative zu komplexen Reinforcement-Learning-Ansätzen (wie PPO) oder speicherintensiven Preference-Optimierungsmethoden (wie DPO), was sie besonders für den Einsatz in ressourcenbeschränkten Umgebungen attraktiv macht.

Zusammenfassend beweist RIFT, dass das explizite Lernen aus gemischten Qualitätsdaten (sowohl Erfolge als auch Misserfolge) durch eine stabilisierte Verlustfunktion zu robusteren und leistungsfähigeren Modellen führt.