Stage-1 Controls the Entropy Regime, Not the Outcome

Technische Samenvatting: Fase 1 regelt het entropieregime, niet de uitkomst

Probleemstelling
Tweefasige post-training pipelines voor Vision-Language Modellen (VLM's)—bestaande uit een Fase-1 warm-start (Supervised Fine-Tuning, SFT, of On-Policy Distillatie, OPD) gevolgd door Fase-2 Reinforcement Learning (RL)—worden steeds vaker de standaard. Een gangbare aanname in de community is dat de keuze van de warm-start de uiteindelijke RL-uitkomst aanzienlijk bepaalt. Voorstanders beargumenteren dat SFT kan leiden tot catastrofaal vergeten van basisvaardigheden, terwijl OPD (waarbij een student wordt getraind op zijn eigen rollouts onder de tokenverdeling van een docent) een superieure initialisatie biedt voor RL. Dit artikel onderzoekt deze claims binnen een kleine-data-regime (≈1–2k voorbeelden) met behulp van het Qwen2.5-VL-7B model, met als doel te bepalen wat Fase-1 daadwerkelijk controleert en of het de downstream eindtoestand betekenisvol verandert.

Methodologie
De studie maakt gebruik van een gecontroleerde experimentele opzet waarbij drie verschillende warm-start strategieën worden vergeleken, gevolgd door nauw op elkaar aansluitende Fase-2 GRPO (Group Relative Policy Optimization) recepten:

1. OPD: On-policy distillatie van een evensoortige 72B Qwen2.5-VL docent over alle 2.101 Geometry3K trainingsprompts.
2. SFTID: In-domain geoptimaliseerde SFT met behulp van de correcte traces van de docent (via rejection sampling) met een systeemprompt.
3. SFTOOD: Out-of-domain (OOD) geoptimaliseerde SFT met behulp van dezelfde docent-traces maar zonder systeemprompt en vroegtijdig gestopt bij 100 stappen.

Belangrijke onderscheidende kenmerken in de opzet:

• Docent-consistentie: Alle warm-starts zijn afgeleid van dezelfde 72B docent, waardoor de confounding van de identiteit van de docent wordt geëlimineerd.
• Data-dekking Confound: Er bestaat een bewust verschil in data-dekking. SFT-traces zijn afgeleid van rejection sampling, waarbij alleen de 807 problemen worden behouden die de docent oplost binnen 4 samples. OPD traint op alle 2.101 prompts, inclusief 1.294 problemen die de docent nooit oplost. De auteurs behandelen dit als een bekende instellingsverschil en analyseren de impact ervan op de entropie.
• Evaluatie: Modellen worden geëvalueerd in-domain (Geometry3K interne validatie) en out-of-domain (MathVista testmini). Metrieken omvatten policy-entropie, pass@k (met $k \in \{1, 4, 8, 16\}$), en antwoorddiversiteit.

Belangrijkste bevindingen

1. Vergeten is recept-afhankelijk (F1)
De studie daagt het idee uit dat kleine-data SFT inherent leidt tot catastrofaal vergeten.

• Een overgetrainde SFT-variant (200 stappen, geen systeemprompt) vertoonde een significante daling in OOD MathVista prestaties (−9,5 punten).
• Echter, een met een gelijkwaardig recept gekoppelde, vroegtijdig gestopte SFT (100 stappen) verbeterde de OOD-prestaties juist met +2,1 punten ten opzichte van het basismodel.
• Conclusie: Het waargenomen vergeten is geen intrinsieke eigenschap van SFT, maar een gevolg van specifieke keuzes in het recept (bijv. trainingsduur, prompt engineering).

2. In-domain eindtoestanden bezetten een smalle band (F2)
Ondanks verschillende warm-starts, convergeert de uiteindelijke in-domain prestatie op Geometry3K naar een smal bereik.

• Alle drie de warm-starts bereikten na GRPO een beste interne validatiescore tussen de 53% en 54%.
• Dit komt overeen met recente gespecialiseerde methoden, wat suggereert dat er beperkte "headroom" is om warm-starts te onderscheiden op deze specifie dan wel een universele verzadiging van de taak.

3. Fase-1 regelt het entropieregime, niet de uitkomst (F3)
Het meest onderscheidende en betrouwbare verschil tussen de methoden is het entropieregime dat de RL in gaat.

• Entropiekloof: OPD gaat de RL-fase in met een substantieel hogere policy-entropie (0,10–0,16 initieel) vergeleken met SFT-varianten (0,015–0,04). Deze kloof blijft bestaan gedurende de beschikbare trajecten, waarbij OPD zelfs laat in de training hoger blijft.
• In-domain initialisatievoordeel: In de initialisatiefase (vóór RL) vertoont het hoog-entropie OPD-model een groter exploratiepotentieel. Hoewel de greedy accuratesse (pass@1) vergelijkbaar of licht lager is, bereikt OPD een significant voordeel in pass@16 (+2,0 tot +5,2 punten ten opzichte van SFT-baselines) en een hogere antwoorddiversiteit.
• Verdwijnend rendement: Dit voordeel is strikt begrensd:
  • Post-RL: Na Fase-2 GRPO verdwijnt het pass@16 voordeel. De uiteindelijke eindtoestanden voor alle modellen liggen binnen 1,1 punt van elkaar, waarbij de betrouwbaarheidsintervallen de nul overschrijden.
  • OOD Transfer: Op MathVista verdwijnt de entropie-volgorde volledig. Alle zes de modellen (drie initialisaties × twee fasen) vallen binnen een bereik van 1,2 punten bij pass@16.

Significantie en Claims
Het artikel kadert zijn bijdrage expliciet als een beperkte empirische karakterisering in plaats van een nieuwe methode of een leaderboard-record.

• Wat Fase-1 controleert: De belangrijkste bevinding is dat Fase-1 sterk geassocieerd is met het entropieregime van de policy die de RL ingaat. OPD behoudt een hoog-entropietoestand, terwijl SFT inklapt naar een laag-entropie, deterministische staat.
• Wat Fase-1 niet controleert: De studie vindt geen bewijs dat de keuze van de warm-start (OPD vs. SFT) de uiteindelijke RL-eindtoestand of OOD-generalisatie bepaalt in deze kleine-data opstelling. De "downstream payoff" van het entropievoordeel is klein, gelokaliseerd tot de in-domain initialisatie, en overleeft het RL-optimalisatieproces niet.
• Kanttekeningen: De auteurs erkennen een confound: de entropiekloof kan deels worden gedreven door het feit dat OPD de "harde staart" van problemen ziet (1.294 problemen die de docent niet oplost) die SFT nooit ziet. Hoewel de intuïtie op objectief niveau (reverse-KL vs. cross-entropy) het entropiemechanisme ondersteunt, claimt het artikel geen causaliteit zonder een data-gealigneerde controle (het trainen van OPD op dezelfde 807 problemen als SFT).

Conclusie
In deze kleine-data VLM-studie is de keuze van de Fase-1 warm-start een sterke determinant voor het entropieregime, maar niet voor de uiteindelijke uitkomst. Hoewel OPD een hoog-entropie initialisatie biedt met betere in-domain exploratie (pass@16), vertaalt dit zich niet in een superieure RL-eindtoestand of OOD-prestaties. Het artikel concludeert dat entropie het duidelijkst waargenomen verschil is, maar dat dit geen bewijs is dat OPD universeel een betere RL warm-start is.