🤖 machine learning

Why Does RL Generalize Better Than SFT? A Data-Centric Perspective on VLM Post-Training

Dit paper stelt dat Reinforcement Learning (RL) beter generaliseert dan Supervised Fine-Tuning (SFT) omdat het impliciet data filtert op moeilijkheidsgraad, en introduceert daarom *Difficulty-Curated SFT* (DC-SFT), een efficiëntere methode die door het selecteren van middelmatige voorbeelden superieure prestaties behaalt.

Oorspronkelijke auteurs: Aojun Lu, Tao Feng, Hangjie Yuan, Wei Li, Yanan Sun

Gepubliceerd 2026-02-12

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Aojun Lu, Tao Feng, Hangjie Yuan, Wei Li, Yanan Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Metafoor: De Student en de Examenstress

Stel je voor dat je een student bent die zich voorbereidt op een groot examen. Er zijn twee manieren om te studeren:

De "SFT-methode" (De Overwerkte Student): Je krijgt een enorme stapel oefenvragen. Je probeert elke vraag op te lossen, ook de vragen die zo absurd moeilijk zijn dat zelfs de professor ze nauwelijks begrijpt. Omdat je zo hard je best doet om die onmogelijke vragen goed te krijgen, raak je in de war. Je gaat patronen zien die er niet zijn en je leert de stof uit je hoofd in plaats van het echt te begrijpen. Als het echte examen dan een beetje anders is ingestoken, raak je volledig in paniek.
De "RL-methode" (De Slimme Strategist): Deze student is slimmer. Hij kijkt naar de vragen en zegt: "Als ik deze makkelijke vragen al weet, en die supermoeilijke vragen toch nooit ga snappen, dan focus ik mijn energie op de vragen die net een beetje uitdagend zijn." Hij leert van zijn fouten bij de gemiddelde vragen. Hierdoor begrijpt hij de logica van het vak echt, en kan hij ook met nieuwe, onverwachte vragen op het examen omgaan.

Wat zegt dit onderzoek nu echt?

Wetenschappers hebben ontdekt dat grote AI-modellen (die zowel plaatjes als tekst begrijpen, de zogenaamde VLMs) precies dit gedrag vertonen.

Het probleem met de huidige methode (SFT):
Normaal gesproken trainen we AI door hem simpelweg alle beschikbare data te voeren. Het probleem is dat er in die data altijd "extreem moeilijke" voorbeelden zitten. Deze voorbeelden zijn als een soort 'ruis' of 'verwarrende puzzels'. De AI probeert deze te hard te begrijpen, waardoor hij gaat "overfitten": hij leert de specifieke voorbeelden uit zijn hoofd, maar verliest het overzicht. Hierdoor presteert hij slecht zodra hij iets ziet dat net even anders is (dit noemen we Out-of-Distribution of OOD).

De ontdekking over Reinforcement Learning (RL):
Men dacht altijd dat de "slimme" manier van trainen (RL) beter was vanwege de ingewikkelde wiskunde erachter. Maar dit onderzoek zegt: "Nee, het is eigenlijk een slimme filter!" RL negeert de te makkelijke vragen (want die weet hij al) en de te moeilijke vragen (want daar leert hij niets van). RL focust zich automatisch op de "gouden middenweg": de vragen die precies moeilijk genoeg zijn om iets nieuws te leren.

De oplossing van de auteurs: DC-SFT
De onderzoekers hebben een nieuwe, veel simpelere methode bedacht: DC-SFT. In plaats van ingewikkelde wiskundige trucjes te gebruiken, doen ze gewoon aan "data-dieet".

Voordat de training begint, kijken ze naar de data en gooien ze de extreem moeilijke, verwarrende vragen er simpelweg uit. Ze houden alleen de makkelijke en de gemiddelde vragen over.

Het resultaat?

Beter: De AI begrijpt de wereld beter en kan beter omgaan met nieuwe situaties dan de "slimme" RL-methode.
Sneller: Het kost veel minder rekenkracht (geen eindeloos gepuzzel van de AI).
Stabieler: De training verloopt rustig en voorspelbaar, zonder dat de AI plotseling "in de war" raakt tijdens het leren.

Samenvatting in één zin:

In plaats van een AI te dwingen om alles te leren (inclusief de onmogelijke onzin), is het veel slimmer om de AI alleen te laten oefenen met vragen die hij écht kan begrijpen.

Technische Samenvatting: Waarom generaliseert RL beter dan SFT?

1. Het Probleem: De Generalisatiekloof

Bij het post-trainen van grootschalige Vision-Language Models (VLM's) is een consistent fenomeen waarneembaar: modellen die getraind zijn met Reinforcement Learning (RL) presteren aanzienlijk beter op out-of-distribution (OOD) data dan modellen die getraind zijn met Supervised Fine-Tuning (SFT). SFT-modellen hebben de neiging om te overfitten op hun in-distribution (ID) trainingsset, terwijl RL-modellen robuustere kennis lijken te extraheren. De fundamentele vraag is: wat is het onderliggende mechanisme dat dit verschil veroorzaakt?

2. Methodologie en Hypothese

De auteurs verwerpen de gangbare verklaring (dat het puur aan het optimalisatie-algoritme ligt) en stellen een data-centrische hypothese voor.

De Hypothese: Het verschil ligt in hoe de modellen leren van voorbeelden. SFT past uniforme updates toe op alle trainingsdata. RL daarentegen fungeert als een impliciete datafilter.
Taxonomie van moeilijkheidsgraad: De auteurs categoriseren data in drie types op basis van de variantie in beloning (reward) tijdens het genereren van meerdere antwoorden ( $G=8$ $G = 8$ ):
- Easy (Makkelijk): Alle antwoorden zijn correct (lage variantie in reward).
- Hard (Moeilijk): Alle antwoorden zijn incorrect (lage variantie in reward).
- Medium-difficulty (Gemiddeld): Een mix van correcte en incorrecte antwoorden (hoge variantie in reward).
Het mechanisme: In RL-algoritmen zoals GRPO leiden 'easy' en 'hard' samples tot een relatief voordeel ( $A_k$ ) van nul, waardoor ze nauwelijks bijdragen aan de gradiënt-update. RL concentreert zich dus impliciet op de medium-difficulty samples. SFT daarentegen wordt "vervuild" door harde samples, die door hun hoge gradiënt-norm de optimalisatie domineren en de generalisatie schaden.

3. Belangrijkste Bijdragen: DC-SFT

Om deze inzichten toe te passen, introduceren de auteurs Difficulty-Curated SFT (DC-SFT). Dit is een methode waarbij de trainingsset expliciet wordt gefilterd voordat de SFT begint. Er zijn twee varianten:

SFT-M: Traint uitsluitend op medium-difficulty samples (om het gedrag van RL na te bootsen).
SFT-EM: Traint op een combinatie van easy en medium-difficulty samples (door de schadelijke hard samples te verwijderen).

4. Resultaten

De experimenten werden uitgevoerd op modellen zoals Qwen2.5-VL (3B en 7B) en MiniCPM-V-4 op taken zoals beeldclassificatie en visual grounding.

Bevestiging van de hypothese: Modellen getraind op harde samples laten een sterke verbetering zien in ID-prestaties, maar een dramatische daling in OOD-prestaties (bijv. een daling van 14,07% op ImageNet-R voor het 7B model).
Superioriteit van DC-SFT:
- Generalisatie: DC-SFT (met name SFT-EM) presteert beter op OOD-benchmarks dan zowel standaard SFT als RL (GRPO).
- Stabiliteit: In tegenstelling tot RL, dat last heeft van scherpe prestatiedalingen tijdens de training, vertoont DC-SFT een zeer stabiel leerverloop.
- Efficiëntie: DC-SFT is aanzienlijk sneller. Het bereikt tot wel 4,9x hogere efficiëntie op ImageNet vergeleken met GRPO, omdat het de iteratieve sampling-stap van RL omzeilt.
Redeneren (Reasoning): Op complexe taken (zoals wiskunde en wetenschap) presteert SFT-M consistent beter dan zowel standaard SFT als GRPO.

5. Betekenis en Conclusie

Dit onderzoek verschuift de focus van algoritmische complexiteit naar datakwaliteit en -curatie. De belangrijkste conclusie is dat de kracht van RL bij het verbeteren van generalisatie niet noodzakelijkerwijs voortkomt uit de RL-methode zelf, maar uit het vermogen om de meest leerzame (medium-difficulty) data te selecteren.

DC-SFT biedt een eenvoudiger, stabieler en efficiënter alternatief voor RL-post-training, waarmee de generalisatiekloof wordt overbrugd zonder de computationele overhead van reinforcement learning.