Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions

Deze studie introduceert het OXRL-framework om 51 post-training algoritmes te evalueren en onthult dat modelgrootte de prestatieranking fundamenteel beïnvloedt, terwijl veranderingen in de verliesfunctie slechts minimale effecten hebben en algoritmekeuze vooral task-specifiek is.

De kern

Stel je voor dat je een groep jonge, slimme studenten (de AI-modellen) hebt die net hun universitaire diploma hebben gehaald. Ze zijn slim, maar ze weten nog niet hoe ze zich moeten gedragen in de echte wereld. Ze moeten leren hoe ze vragen moeten beantwoorden, hoe ze moeten redeneren en hoe ze zich moeten gedragen. Dit proces noemen we "post-training" of "aligneren".

De afgelopen twee jaar hebben onderzoekers tientallen verschillende "leerplannen" (algoritmen) bedacht om deze studenten te trainen. Sommige plannen zeggen: "Leren door te oefenen met een leraar" (SFT), andere zeggen: "Leren door te vergelijken met wat een andere student deed" (DPO), en weer andere zeggen: "Leren door te spelen en beloningen te krijgen" (RL).

Het probleem? Iedereen claimt dat hun leerplan het beste is, maar ze testen het op verschillende scholen, met verschillende studenten en verschillende examens. Het is een chaos.

De auteurs van dit paper (het onderzoek) hebben een enorme, gecontroleerde proef opgezet. Ze hebben 51 verschillende leerplannen getest op 8 verschillende soorten studenten (van heel klein tot heel groot) en hebben gekeken wie er echt wint.

Hier zijn de belangrijkste ontdekkingen, vertaald in alledaagse taal:

1. De "Grootte" van de student is belangrijker dan de "Leermethode"

Stel je voor dat je een leerplan hebt dat perfect werkt voor een kleuter (een klein model), maar totaal faalt voor een professor (een groot model). En omgekeerd: een methode die voor de kleuter slecht is, werkt wonderbaarlijk goed voor de professor.

• Het verrassende resultaat: Bij kleine modellen (zoals een kleuter van 1,5 miljard parameters) was een methode genaamd SGRPO (een soort "leren door te spelen") de absolute winnaar.
• De ommekeer: Maar zodra je naar de grootste modellen (7 miljard parameters) gaat, wint een heel andere methode: SimPO. De winnaar van de kleuterschool is nu de zeurpiet, en de zeurpiet is nu de beste.
• De les: Je kunt niet zeggen "Methode X is het beste". Het hangt er volledig van af hoe groot je model is. De grootte van het brein bepaalt meer dan de manier waarop je het traint.

2. Het "Nieuwe Recept" is vaak slechts een kleine tweak

Er zijn 20 verschillende variaties van een populaire methode genaamd DPO. Het is alsof er 20 verschillende koks zijn die allemaal zeggen: "Mijn soeprecept is net iets anders dan dat van de ander, en daardoor is mijn soep lekkerder."

• De ontdekking: De onderzoekers hebben 100 keer gekeken. Het resultaat? Geen enkele van die 20 variaties was echt beter dan het originele recept.
• De uitzondering: Eén variatie (SimPO) was zelfs slechter dan het origineel.
• De les: Het is een verspilling van tijd om te zoeken naar het perfecte wiskundige receptje (de "loss function"). Het originele recept werkt al prima. De echte winst zit hem niet in het kruiden, maar in de kwaliteit van de ingrediënten (de data) en de grootte van de pan (het model).

3. Wat je leert, werkt alleen op dat specifieke vak

Stel je voor dat je een student traint om wiskundige sommen op te lossen (GSM8K).

• Op die specifieke wiskundetoets zien we enorme verschillen tussen de leerplannen. De ene student haalt 58%, de andere 38%. Dat is een groot verschil!
• Maar als je diezelfde studenten een andere toets geeft (bijvoorbeeld algemene kennis of een heel moeilijk wiskundevak), dan verdwijnen die verschillen bijna volledig. Alle studenten scoren dan ongeveer even goed.
• De les: Als je een AI traint voor een specifieke taak (zoals wiskunde), maakt het uit welke methode je kiest. Maar als je kijkt naar hoe slim de AI is in het algemeen, maakt het niet uit. De keuze van de methode is alleen belangrijk voor de taak waarvoor je traint.

4. De Hiërarchie van Succes (De "Gouden Regel")

De onderzoekers hebben een ranglijst opgesteld van wat het meeste effect heeft op de prestaties van een AI:

1. Grootte van het model (De grootte van de hersenen): Dit is verreweg het belangrijkst. Een groter model doet het veel beter, ongeacht de methode.
2. Het type training (Online spelen vs. offline leren): Dit maakt een groot verschil, maar minder dan de grootte.
3. De specifieke wiskundige formule (De loss function): Dit heeft bijna geen invloed. Het is als proberen de snelheid van een Formule 1-auto te verhogen door de kleur van de wielen te veranderen. Het maakt niet uit.

Samenvattend advies voor de praktijk

Als je een AI wilt bouwen, vergeet dan niet om te zoeken naar het "perfecte algoritme" of de nieuwste wiskundige formule. In plaats daarvan:

• Zorg dat je een groot genoeg model hebt.
• Gebruik de standaard methode (zoals DPO of SimPO, afhankelijk van de grootte), want de variaties zijn niet beter.
• Test je model op de grootte die je uiteindelijk wilt gebruiken. Wat werkt voor een klein model, werkt vaak niet voor een groot model.

Kortom: Het is niet de methode die de winnaar bepaalt, maar de omvang van de student en de specifieke taak die hij moet leren. De rest is ruis.

Technische samenvatting

Probleemstelling

Post-training van grote taalmodellen (LLM's) – het uitlijnen van modellen met menselijke voorkeuren of taakdoelen – is een kritieke fase geworden. De afgelopen twee jaar hebben onderzoekers tientallen concurrerende algoritmen ontwikkeld, zoals DPO, SimPO, KTO, GRPO en PPO. Echter, voor practitioners bestaat er een gebrek aan betrouwbare, gecontroleerde vergelijkingen om de juiste algoritme te kiezen. Bestaande studies lijden vaak onder de volgende tekortkomingen:

• Gebrek aan controle: Vergelijkingen vinden plaats op verschillende basismodellen, datasets en evaluatiesets, waardoor cross-methode vergelijkingen onbetrouwbaar zijn.
• Confounding variabelen: Verschillen in resultaten worden vaak veroorzaakt door implementatie-details in plaats van de onderliggende algoritmes.
• Onbekende schaalafhankelijkheid: Het is niet duidelijk hoe algoritmerankings veranderen naarmate het model groeit (van 0.5B naar 7B parameters).
• Onduidelijke varianten: Er zijn meer dan 20 varianten van DPO, maar het is onbekend welke modificaties daadwerkelijk bijdragen aan prestaties.

Methodologie: Het OXRL Framework

De auteurs presenteren OXRL, een unificerend framework dat de eerste grote, gecontroleerde empirische vergelijking mogelijk maakt. Het onderzoek rust op drie pijlers:

1. Unificerend Framework: Alle 51 geïmplementeerde algoritmen delen exact dezelfde infrastructuur: modelloading (HuggingFace), data-pipelines, gedistribueerde training (DeepSpeed ZeRO-3) en evaluatieharness. Dit elimineert de "codebase" als een verstorende variabele; het enige verschil tussen runs is de verliesfunctie (loss function).
2. Gecontroleerd Ontwerp: Het onderzoek gebruikt een vaste modelfamilie (Qwen 2.5), trainingdata, optimizer en leerplanning. Alleen de verliesfunctie varieert. Waar nodig (bijv. voor referentiemodellen of rollouts) worden deze componenten gestandaardiseerd.
3. Multischaal Evaluatie:
   • Schaal: 8 algoritmen getest op 4 modelgroottes (0.5B, 1.5B, 3B, 7B).
   • DPO Taxonomie: 20 varianten van DPO getest op 1.5B met 5 seeds elk (totaal 100 runs).
   • Factoriaal Design: Een 2x2 experiment (3B/7B × Full Fine-Tuning/LoRA) om het effect van modelgrootte te ontkoppelen van het regularisatie-effect van LoRA.
   • Evaluatie: Hoofdbenchmark is GSM8K (wiskundig redeneren), aangevuld met MATH en algemene redeneringsbenchmarks (ARC-Challenge, HellaSwag, WinoGrande).

Belangrijkste Bevindingen en Resultaten

1. Schaalafhankelijke Ranking Inversies

De rangschikking van algoritmen is niet stabiel en keert volledig om naarmate het model groeit:

• Bij 1.5B: Online RL (SGRPO) presteert het beste (58.0% op GSM8K), gevolgd door SFT en DPO. SimPO presteert hier slecht (38.7%).
• Bij 7B: De rangschikking keert volledig om. SimPO wordt de beste methode (85.8%), terwijl SFT instort tot bijna het basismodelniveau (+0.6 pp).
• Oorzaak: Een 2x2 factoriaal experiment bevestigt dat deze inversie wordt gedreven door modelgrootte en niet door LoRA-regularisatie. Bij 7B wordt "format compliance" (het correct formuleren van antwoorden) de bepalende factor, en referentievrije methoden zoals SimPO leren dit autonoom beter.

2. Verliesfunctie-varianten hebben verwaarloosbaar effect

Van de 20 geteste DPO-varianten presteerde geen enkele significant beter dan de standaard (vanilla) DPO na correctie voor meervoudige vergelijkingen (Bonferroni).

• De enige significante afwijking was SimPO, maar deze presteerde juist slechter (-11.5 pp) dan vanilla DPO op de 1.5B schaal.
• Dit suggereert dat het optimaliseren van de verliesfunctie een "lage hefboom" is; de meeste varianten zijn cosmetisch.

3. Taakspecifieke Leverage

Het effect van het algoritme is sterk afhankelijk van de taak:

• Op GSM8K (de trainingsdistributie) is er een spreiding van 19.3 pp tussen de beste en slechtste methoden.
• Op MATH (moeilijker redeneren) krimpt deze spreiding tot 0.54 pp (36x compressie).
• Op algemene benchmarks krimpt de spreiding tot 0.47 pp (41x compressie).
• Conclusie: De keuze van het algoritme maakt alleen uit binnen de trainingsdistributie en op format-gevoelige taken. Er is geen systematische overdracht van voordelen naar andere taken.

4. Hiërarchie van Invloed (Leverage)

De auteurs stellen een hiërarchie op van wat het meeste invloed heeft op de prestaties:

1. Modelgrootte: ~50 pp (grootste impact).
2. Trainingsparadigma: ~10 pp (bijv. SFT vs. RL).
3. Online vs. Offline: ~9 pp (afhankelijk van de taak).
4. Verliesfunctie: ~1 pp (verwaarloosbaar).

5. Methodologische Waarschuwing

De auteurs ontdekten een verborgen determinisme-bug in de DistributedSampler van PyTorch die seed-afhankelijke variantie stilzwijgend elimineerde. Dit betekent dat eerdere studies die geen multi-seed runs met verifieerde seed-propagatie uitvoerden, mogelijk geen echte variantie hebben gemeten.

Significantie en Aanbevelingen

Significantie:
Dit onderzoek biedt een fundamentele verschuiving in hoe post-training algoritmen worden geëvalueerd. Het toont aan dat de gemeenschap te veel focus legt op het fine-tunen van verliesfuncties (zoals bij GAN-varianten in het verleden), terwijl de echte prestatieverbeteringen komen van schaalvergroting en het kiezen van het juiste trainingsparadigma voor de specifieke taak. Het introduceert OXRL als een "levend" benchmarkprotocol, vergelijkbaar met GLUE voor NLU, maar dan specifiek voor trainingsalgoritmen.

Aanbevelingen voor Practitioners:

1. Validatie op schaal: Rankings bij kleine modellen (≤3B) voorspellen het gedrag bij grote modellen (7B) niet; rankings keren om.
2. Kies SFT voor kleine modellen: Bij ≤1.5B is SFT de sterkste en goedkoopste offline methode.
3. Gebruik Vanilla DPO: Geen van de 20 varianten is beter; bespaar tijd op het testen van nieuwe loss-functies.
4. SimPO voor grote modellen: Bij ≥7B (met LoRA) is SimPO de beste keuze qua nauwkeurigheid en reken-efficiëntie.
5. Seed-variantie: Zorg altijd voor verifieerde seed-propagatie in gedistribueerde training om echte variantie te meten.

Samenvattend concludeert het artikel dat de community minder moet investeren in nieuwe loss-functies en meer in het begrijpen van de interactie tussen algoritmen, modelgrootte en taakstructuur.