Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions

Die Studie OXRL enthüllt durch eine kontrollierte Evaluation über 51 Post-Training-Algorithmen hinweg, dass die Modellgröße den Leistungserfolg maßgeblich bestimmt und zu umgekehrten Rangfolgen führt, während Änderungen der Verlustfunktionen nur vernachlässigbare Verbesserungen bringen und die Wahl des Algorithmus primär von der Trainingsdomäne abhängt.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Koch, der versucht, das perfekte Rezept für einen Kuchen zu finden. In der Welt der Künstlichen Intelligenz (KI) gibt es derzeit Dutzende von neuen „Rezepten" (Algorithmen), die versprechen, aus einem rohen Teig (einem vortrainierten Modell) einen köstlichen, menschlich ansprechenden Kuchen (ein hilfreiches KI-Modell) zu backen.

Die Forscher aus diesem Papier haben sich gefragt: Welches Rezept ist wirklich das beste?

Bisher war die Antwort verwirrend. Jeder Koch (Forscher) hat sein Rezept mit einem anderen Ofen, anderen Zutaten und einem anderen Thermometer getestet. Man konnte also nicht wirklich vergleichen, ob das neue Rezept wirklich besser ist oder nur der Ofen heißer war.

Diese Forscher haben nun eine riesige, kontrollierte „Kochshow" organisiert. Hier ist die einfache Erklärung ihrer wichtigsten Entdeckungen, mit ein paar kreativen Vergleichen:

1. Die Größe des Ofens ist wichtiger als das Rezept

Das überraschendste Ergebnis ist, dass die Größe des Modells (wie groß der Ofen ist) viel wichtiger ist als die Art des Rezepts.

• Der kleine Ofen (kleine KI): Bei kleinen KIs (z. B. 1,5 Milliarden Parameter) gewinnt ein Rezept namens SGRPO (eine Art „Online-Lernen", bei dem die KI während des Backens ständig probiert und korrigiert). Sie ist wie ein junger, hyperaktiver Koch, der durch ständiges Ausprobieren schnell lernt.
• Der riesige Ofen (große KI): Wenn man das gleiche Experiment mit einem riesigen Modell (7 Milliarden Parameter) macht, passiert etwas Magisches: Das Rezept, das bei der kleinen KI am schlechtesten war (SimPO), wird plötzlich zum Gewinner!
• Die Analogie: Stellen Sie sich vor, Sie haben ein Rezept für einen einfachen Muffin. Bei einem kleinen Herd funktioniert es gut. Aber wenn Sie in einem riesigen Industrietrockner backen, funktioniert ein völlig anderes Rezept (das für den Muffin eigentlich zu trocken war) plötzlich perfekt, weil der große Ofen die Feuchtigkeit anders verteilt. Die Forscher nennen dies eine „Rangfolge-Umkehrung": Was bei kleinen KIs gewinnt, verliert bei großen, und umgekehrt.

2. Die Suche nach dem „perfekten Gewürz" war umsonst

Es gibt über 20 Varianten des beliebtesten Rezepts (DPO). Forscher haben sich gedacht: „Vielleicht hilft es, wenn wir ein wenig mehr Zimt hinzufügen oder den Zucker anders mischen?"

• Das Ergebnis: Fast alle diese 20 Varianten waren genau so gut wie das Original. Kein einziges „neues Gewürz" hat den Kuchen wirklich besser gemacht.
• Der einzige Ausreißer: Eine Variante (SimPO) war sogar deutlich schlechter – wie wenn man versehentlich Salz statt Zucker in den Kuchen rührt.
• Die Lehre: Die Forscher sagen: „Hört auf, ständig neue Gewürzmischungen zu erfinden!" Der Unterschied zwischen den Rezepten ist winzig (kaum 1 %). Es bringt viel mehr, einfach mehr Mehl zu verwenden (das Modell größer zu machen) oder bessere Zutaten zu kaufen (bessere Trainingsdaten).

3. Der Kuchen schmeckt nur dort, wo er gebacken wurde

Ein weiterer wichtiger Punkt: Die KIs waren auf Matheaufgaben (GSM8K) trainiert. Was passiert, wenn man sie nach anderen Dingen fragt, die sie nicht gelernt haben?

• Das Ergebnis: Auf den Matheaufgaben gab es riesige Unterschiede zwischen den Rezepten (bis zu 19 %). Aber auf allgemeinen Fragen (wie „Was ist ein Hund?" oder „Erzähl mir eine Geschichte") waren alle KIs fast gleich gut.
• Die Analogie: Es ist wie ein Sportler, der speziell für das 100-Meter-Sprint trainiert wurde. Im Sprint ist er Weltklasse. Aber wenn man ihn bittet, einen Marathon zu laufen oder Schach zu spielen, ist er nicht besser als jeder andere normale Mensch. Die Wahl des Trainings-Rezepts macht also nur einen Unterschied, wenn man genau das macht, wofür man trainiert hat.

4. Die Hierarchie des Erfolgs

Die Forscher haben eine Art „Gewichtung" für den Erfolg erstellt. Wenn Sie ein KI-Modell verbessern wollen, sollten Sie Ihre Energie in dieser Reihenfolge investieren:

1. Größe des Modells (Der Ofen): Das bringt den größten Unterschied (ca. 50 % mehr Erfolg).
2. Die Trainingsmethode (Das Grundrezept): Online vs. Offline (ca. 10 % Unterschied).
3. Die Verlustfunktion (Die Gewürzmischung): Die feinen Details des Rezepts (nur ca. 1 % Unterschied).

Zusammenfassung für den Alltag

Wenn Sie also ein KI-Modell entwickeln wollen, hören Sie auf, nach dem „geheimen Gewürz" zu suchen, das alle anderen übertreffen soll.

• Wenn Sie eine kleine KI haben: Nutzen Sie einfache Methoden wie SFT (Supervised Fine-Tuning) oder Online-RL.
• Wenn Sie eine große KI haben: Nutzen Sie Methoden wie SimPO, die bei großen Modellen glänzen.
• Wichtig: Vergessen Sie nicht, dass die Ergebnisse, die Sie bei kleinen Modellen sehen, oft nicht auf große Modelle übertragbar sind. Ein Rezept, das im kleinen Testlabor funktioniert, kann im großen Maßstab katastrophal sein – und umgekehrt.

Die Forscher haben all ihre Rezepte, Daten und Ergebnisse als „lebendes Benchmark" veröffentlicht, damit die ganze Gemeinschaft endlich aufhört, im Dunkeln zu tappen und stattdessen auf das Wesentliche (Größe und Daten) fokussiert.

Technische Zusammenfassung

1. Problemstellung

Das Post-Training von Large Language Models (LLMs) zur Ausrichtung an menschlichen Präferenzen oder Aufgabenzielen ist eine kritische Phase, doch die Praxis steht vor einem Dilemma:

• Fehlende Vergleichbarkeit: Es gibt Dutzende konkurrierender Algorithmen (DPO, SimPO, KTO, GRPO, PPO, etc.), die jedoch auf unterschiedlichen Basismodellen, Datensätzen und Evaluierungs-Suiten getestet werden. Dies macht einen direkten Vergleich („Apples-to-Apples") unmöglich.
• Ungeklärte Dimensionen: Es ist unklar, wie sich Rankings über verschiedene Modellgrößen hinweg verändern, welche der über 20 DPO-Varianten tatsächlich einen Mehrwert bieten und wie sich Online-RL-Methoden gegenüber Offline-Methoden im Verhältnis zu Rechenkosten und Leistung verhalten.
• Implementierungs-Confounds: Bisherige Vergleiche vermischen oft algorithmische Unterschiede mit Implementierungsdetails (unterschiedliche Codebasen, Datenpipelines).

2. Methodik: Das OXRL-Framework

Die Autoren stellen OXRL vor, ein einheitliches Framework, das 51 Post-Training-Algorithmen unter identischen Bedingungen implementiert, um die erste groß angelegte, kontrollierte empirische Studie durchzuführen.

• Einheitliche Infrastruktur: Alle Algorithmen teilen sich denselben Code für Modell-Loading (HuggingFace), Datenpipelines, verteiltes Training (DeepSpeed ZeRO-3) und Evaluation. Der einzige Unterschied zwischen den Läufen ist die Verlustfunktion (Loss Function).
• Kontrolliertes Design:
  • Modellfamilie: Qwen 2.5 Instruct.
  • Skalen: 4 Größenordnungen (0.5B, 1.5B, 3B, 7B Parameter).
  • Algorithmen: 8 Kernalgorithmen (SFT, Online-RL wie PPO/GRPO, Offline-Präferenz wie DPO, SimPO, KTO, etc.) plus eine Taxonomie von 20 DPO-Varianten.
  • Datensatz: Präferenzpaare aus Self-Play auf GSM8K; SFT nutzt Gold-Antworten.
• Statistische Robustheit:
  • Insgesamt ca. 240 Trainingsläufe auf H100-GPUs.
  • Für die DPO-Taxonomie: 20 Varianten × 5 Seeds = 100 Läufe bei 1.5B.
  • Anwendung von Bonferroni-Korrektur für multiple Hypothesentests.
  • 2×2 Faktorielles Design: Bei 3B und 7B wurden Full-FT (Full Fine-Tuning) und LoRA verglichen, um Skaleneffekte von Regularisierungseffekten durch LoRA zu trennen.
• Evaluierung: Primärer Benchmark ist GSM8K (exakte Übereinstimmung). Zusätzlich MATH und allgemeine Reasoning-Benchmarks (ARC-Challenge, HellaSwag, WinoGrande).

3. Wichtige Ergebnisse

A. Skalierungsabhängige Ranking-Inversionen

Die Rangfolge der Algorithmen ist nicht stabil, sondern ändert sich drastisch mit der Modellgröße:

• Bei 1.5B: Online-RL (SGRPO) ist der beste Algorithmus (58,0 % Genauigkeit auf GSM8K), gefolgt von SFT und DPO. SimPO performt hier schlecht.
• Bei 7B: Die Reihenfolge kehrt sich vollständig um. SimPO wird zum besten Algorithmus (85,8 %), während SFT fast auf das Niveau des Basismodells zurückfällt.
• Ursache: Ein 2×2-Faktorial-Experiment bestätigte, dass diese Inversion durch die Modellgröße (Scale) und nicht durch LoRA-Regularisierung getrieben wird. LoRA ermöglicht lediglich das Training bei 7B, ist aber nicht die Ursache für den Leistungsanstieg von SimPO.

B. DPO-Varianten: Keine signifikanten Gewinner

• Von 20 getesteten DPO-Varianten (einschließlich IPO, KTO, ORPO, etc.) konnte keine einzige statistisch signifikant besser abschneiden als das vanilla DPO nach Bonferroni-Korrektur.
• SimPO war der einzige signifikante Ausreißer, performte aber deutlich schlechter als vanilla DPO bei kleinen Modellen (1.5B), was sich erst bei 7B umkehrt.
• Dies deutet darauf hin, dass Modifikationen der Verlustfunktion oft kosmetisch sind und keinen systematischen Gewinn bringen.

C. Aufgaben-spezifische Hebelwirkung (Leverage)

Der Einfluss des Algorithmus hängt stark von der Aufgabe ab:

• GSM8K: Große Streuung zwischen den Methoden (19,3 pp).
• MATH: Die Streuung kollabiert auf 0,54 pp (36-fache Kompression). Rankings invertieren sich erneut (SGRPO fällt auf Platz 4, SimPO steigt auf Platz 2).
• Allgemeine Domäne: Die Streuung ist noch geringer (0,47 pp). Keine Methode verbessert oder verschlechtert die allgemeinen Fähigkeiten signifikant.
• Fazit: Die Wahl des Algorithmus ist primär für Aufgaben relevant, die im Trainingsverteilung liegen und format-sensitiv sind.

D. Hierarchie der Hebelwirkung (Leverage Hierarchy)

Die Autoren quantifizieren die relative Bedeutung verschiedener Designentscheidungen:

1. Modellgröße (Scale): ~50 pp (dominierender Faktor)
2. Trainingsparadigma (z.B. SFT vs. RL): ~10 pp
3. Online vs. Offline: ~9 pp (nur bei GSM8K relevant)
4. Verlustfunktion (Loss Function): ~1 pp (vernachlässigbar)

E. Methodische Entdeckung

Die Studie deckte einen versteckten Determinismus-Bug in PyTorch's DistributedSampler auf, der die Samenabhängigkeit (Seed-Varianz) in verteilten Trainingsläufen stillschweigend eliminierte. Nach der Korrektur zeigten sich echte Varianzen (z.B. bei 3B), was die Notwendigkeit von Multi-Seed-Evaluierungen unterstreicht.

4. Signifikanz und Empfehlungen

Wissenschaftliche Bedeutung:

• Das Paper widerlegt die Annahme, dass neue Verlustfunktionen automatisch zu besseren Ergebnissen führen. Es zeigt, dass die Community zu viel Aufwand in die Optimierung der Verlustfunktion (niedrigste Hebelwirkung) investiert, während Skalierung und Paradigma (hohe Hebelwirkung) den Großteil des Gewinns bringen.
• Es etabliert OXRL als Standard-Benchmark für Post-Training-Algorithmen, analog zu GLUE für NLU oder HELM für Evaluation.

Empfehlungen für die Praxis:

1. Validierung bei Zielgröße: Rankings bei kleinen Modellen (≤3B) sind keine verlässlichen Indikatoren für das Verhalten bei großen Modellen (≥7B).
2. Kleine Modelle (≤1.5B): Bevorzugen Sie SFT (Supervised Fine-Tuning) gegenüber Präferenzmethoden; es ist kosteneffizienter und leistungsfähiger.
3. DPO-Nutzung: Nutzen Sie vanilla DPO; Varianten bieten keinen signifikanten Vorteil.
4. Große Modelle (≥7B): Bei Verwendung von LoRA ist SimPO aufgrund der besten Genauigkeit und Rechen-Effizienz zu bevorzugen.
5. Online RL: Token-level SGRPO ist auf format-sensitiven Aufgaben überlegen, wenn das Modell in der Lage ist, korrekte Lösungen selbst zu generieren.
6. Reproduzierbarkeit: Stellen Sie sicher, dass Seed-Propagation in verteilten Trainingspipelines korrekt funktioniert.

Zusammenfassend zeigt die Studie, dass die „beste" Methode nicht existiert, sondern stark vom Kontext (Modellgröße, Aufgabe, Evaluationsmetrik) abhängt, und fordert einen Paradigmenwechsel weg von der obsessiven Suche nach neuen Loss-Funktionen hin zum Verständnis der Interaktion zwischen Skalierung, Paradigma und Aufgabenstruktur.