💬 NLP

Learning Self-Correction in Vision-Language Models via Rollout Augmentation

Het artikel introduceert Octopus, een reinforcement learning-framework dat de sample-efficiëntie en de stabiliteit van de training voor vision-language modellen verbetert door middel van het synthetiseren van dichte zelfcorrectie-voorbeelden via rollout-recombinatie en een response-masking-strategie, wat resulteert in het state-of-the-art Octopus-8B model.

Oorspronkelijke auteurs: Yi Ding, Ziliang Qiu, Bolian Li, Ruqi Zhang

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yi Ding, Ziliang Qiu, Bolian Li, Ruqi Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme student (een Vision-Language Model) leert hoe hij complexe puzzels met afbeeldingen en woorden moet oplossen. De student is goed, maar maakt soms fouten in zijn redenering. Het doel van dit artikel is om de student een superkracht te leren: Zelfcorrectie. Dit is het vermogen om te beseffen: "Wacht even, ik heb die stap verpest," en het direct te herstellen binnen hetzelfde antwoord, in plaats van gewoon opnieuw te gokken vanaf het begin.

Hier is hoe de auteurs, Yi Ding en hun team, het probleem van het aanleren van deze vaardigheid hebben opgelost, eenvoudig uitgelegd.

Het Probleen: De "Naald in een Hooiberg"

Normaal gesproken, wanneer we deze AI-modellen trainen met een methode die Reinforcement Learning (RL) wordt genoemd, geven we ze pas een beloning aan het einde: "Goed" of "Fout".

Het Probleem: Het model ontdekt zelden uit zichzelf hoe het zijn eigen fouten moet herstellen. Het is alsof je probeert iemand te leren een essay te redigeren door aan het einde alleen te zeggen: "A" of "F". Ze kunnen misschien gokken, maar ze zullen de specifieke vaardigheid van het opsporen en herstellen van fouten niet leren.
De Realiteit: In een standaard trainingssessie zijn effectieve "oeps, ik heb het gefixed"-momenten extreem zeldzaam. Het onderzoek toonde aan dat het model minder dan 1% van de tijd zichzelf natuurlijk corrigeert. Proberen te leren van zulke zeldzame gebeurtenissen is als proberen te leren zwemmen door te wachten tot er eens per jaar een haai verschijnt.

De Oplossing: "Octopus" (De Augmentatie-truc)

De auteurs realiseerden zich dat, hoewel het model zelden zijn eigen fouten herstelt, het tijdens dezelfde trainingssessie vaak zowel een fout antwoord als een goed antwoord genereert. Ze noemen hun oplossing Octopus.

Denk bij het trainingsproces aan een chef die soep maakt.

Standaard RL: De chef proeft de soep aan het einde. Als het vies is, gooit hij het weg en begint hij opnieuw.
Octopus: De chef realiseert zich dat hij tijdens het koken per ongeluk twee versies van de soep heeft gemaakt: één die te zout is (fout) en één die perfect is (goed). In plaats van de zoute versie weg te gooien, zegt Octopus: "Hé, laten we deze twee aan elkaar koppelen!"
De Magie: Door het "foute" pad en het "goede" pad uit dezelfde reeks pogingen te nemen en ze naast elkaar te dwingen, ziet het model een duidelijk voorbeeld van: "Hier is de fout, en hier is de correctie."
Het Resultaat: Ze veranderen één zeldzaam "aha!"-moment in tientallen duidelijke, expliciete lessen. Ze noemen dit Rollout Augmentation. Het is alsof je één foto van een fout en één foto van de correctie neemt, en ze vervolgens 100 keer fotocopieert zodat de student ze herhaaldelijk kan bestuderen zonder dat hij 100 nieuwe soepen hoeft te koken.

De Strategie: Twee-fasen Training (De "Masking"-truc)

Het aanleren van het herstellen van fouten is lastig omdat het model in de war kan raken. Het kan denken: "Moet ik proberen om het de eerste keer goed te doen, of moet ik expres een fout maken zodat ik het later kan herstellen?" Dit wordt een "conflict" genoemd.

Om dit op te lossen, gebruiken de auteurs een Twee-fasen Training met een speciale "masking"-techniek (het afdekken van delen van het antwoord):

Fase 1: De "Fix-it" Klasse.
- Het model krijgt de opdracht om het eerste deel van zijn antwoord (de fout) te negeren.
- Het mag alleen leren van het tweede deel (de correctie).
- Analogie: Stel je voor dat een leraar de eerste helft van een wiskundeprobleem afdekt en de student alleen beoordeelt op hoe hij de fout in de tweede helft heeft hersteld. Dit zorgt ervoor dat de student de vaardigheid van het herstellen leert zonder afgeleid te worden door te proberen het eerste deel direct perfect te krijgen.
Fase 2: De "Master" Klasse.
- Zodra de student goed is geworden in het herstellen van fouten, onthult de leraar het eerste deel weer.
- Nu leert het model beide: het antwoord de eerste keer goed krijgen én het herstellen als het een fout maakt.
- Analogie: Nu maakt de student de volledige toets af. Omdat ze zo goed hebben geoefend met het herstellen van fouten in Fase 1, raken ze minder snel in paniek als ze een fout maken, en kunnen ze sneller herstellen.

De Resultaten: Sneller en Slimmer

Het artikel introduceert een model genaamd Octopus-8B.

Prestaties: Het werd het beste open-source model van zijn omvang en versloeg andere topmodellen (zoals Qwen3-VL-Thinking) op 7 verschillende tests die gaan over wiskunde, diagrammen en algemene kennis.
Efficiëntie: Omdat Octopus de trainingsdata recycleert (het hergebruiken van de "foute" en "goede" paren), leert het veel sneller. Het behaalde betere resultaten terwijl het slechts 72% van de trainingstijd gebruikte die nodig is voor de beste eerdere methoden.

Samenvatting

Het artikel beargumenteert dat om AI slimmer te maken, we niet simpelweg moeten wachten tot het toevallig leert hoe het zijn fouten moet herstellen. In plaats daarvan moeten we die leer-momenten creëren door de fouten te koppelen aan de successen. Door dit te doen, en door de vaardigheid van het "herstellen" apart te onderwijzen van de vaardigheid van het "antwoorden", wordt de AI een robuustere, zelfcorrigerende denker.

Kernboodschap: Je hebt niet meer data nodig; je moet de data die je al hebt anders rangschikken om de lessen duidelijker te maken.

Technische Samenvatting: Leren van Zelfcorrectie in Vision–Language Modellen via Rollout Augmentatie

Probleemstelling

Vision-Language Modellen (VLM's) met redeneervermogen hebben indrukwekkende prestaties getoond op complexe taken, waarbij ze vaak emergente "zelfcorrectie"-gedragingen vertonen (bijv. "aha-momenten") waarbij het model zijn redenering binnen één enkele respons herziet. De huidige Reinforcement Learning with Verifiable Rewards (RLVR) paradigma's worstelen echter met het expliciet aanleren of controleren van deze capaciteit.

De kernuitdaging is de extreme schaarste van effectieve zelfcorrectie-signalen. In standaard RL-training treden zelfcorrectie-gedragingen (specifiek de overgang van onjuist naar correct redeneren, of fout → correct) slechts zelden en impliciet op. Bestaande methoden die proberen reflectie te stimuleren via prompting of reward shaping, vertrouwen nog steeds op deze schaarse, ongecontroleerde emergente gedragingen. Bovendien leiden pogingen om directe redenering en zelfcorrectie gezamenlijk te optimaliseren met behulp van standaard binaire beloningen vaak tot reward hacking (waarbij het model bewust een onjuiste initiële respons genereert om een triviale correctie te triggeren) en mode collapse, wat de training destabiliseert.

Methodologie: Octopus Framework

Om deze uitdagingen aan te pakken, stellen de auteurs Octopus voor, een rollout-augmentatieframework dat expliciete, dichte zelfcorrectie-voorbeelden kan synthetiseren uit standaard RL-rollouts zonder extra computationele overhead. De methodologie bestaat uit drie hoofdonderdelen:

1. Correctie-specifieke Rollout Augmentatie

De auteurs observeren dat binnen een standaard RL-rolloutgroep (een set van $n$ gegenereerde responsen voor één input) correcte en incorrecte trajecten vaak naast elkaar bestaan. In plaats van te wachten tot het model spontaan een fout → correct sequentie genereert, construeert Octopus deze paren expliciet door bestaande rollouts te combineren.

Mechanisme: Gegeven $n$ rollouts, koppelt het systeem de pre-correctie respons ( $o_1$ ) uit de ene rollout aan de post-correctie respons ( $o_2$ ) uit een andere. Deze combinatorische koppeling genereert $n^2$ potentiële samples.
Categorisering: Deze paren vallen in vier categorieën: fout → correct (positief), correct → correct (positief), correct → fout (negatief), en fout → fout (negatief).
Sampling Strategie: Om de trainingsstabiliteit te waarborgen, selecteert het framework een gebalanceerde mix van positieve en negatieve samples uit deze geaugmenteerde pool (bijv. het selecteren van 16 gebalanceerde samples uit 64 gegenereerde paren wanneer $n=8$ ). Dit verbetert tegelijkertijd de sample-efficiëntie door rollouts te hergebruiken en stabiliseert de optimalisatie door de advantage-distributie in evenwicht te brengen.

2. Response-Masking Strategie (Twee-fasen Training)

Om het conflict tussen het leren van directe redenering en zelfcorrectie op te lossen, introduceren de auteurs een twee-fasen trainingspipeline met een response-masking strategie:

Fase I (Alleen Zelfcorrectie Leren): Het model wordt getraind om de post-correctie respons ( $o_2$ ) te verbeteren, terwijl de pre-correctie respons ( $o_1$ ) als vaste context wordt behandeld. De loss is gemaskeerd voor alle tokens in $o_1$ , en een KL-divergentie beperking wordt toegepast om $o_1$ dicht bij het referentiemodel te houden. Dit isoleert het leersignaal voor zelfcorrectie, waardoor het model niet kan "reward hacken" door $o_1$ te verslechteren om de correctie-signaal kunstmatig te verhogen.
Fase II (Co-evolutie van Redenering en Correctie): Het model optimaliseert beide capaciteiten gezamenlijk. Cruciaal is dat de auteurs selectieve unmasking toepassen: $o_1$ wordt alleen unmasked (en dus bijgewerkt) voor samples waar de correctheid consistent blijft vóór en na de correctie-token (d.w.z. correct → correct of fout → fout). Voor samples die effectieve zelfcorrectie vertonen (fout → correct), blijft $o_1$ gemaskeerd om te voorkomen dat de gradiënt de initiële fout versterkt.

3. Cold-Start Data Constructie

Vóór de RL-training wordt een Supervised Fine-Tuning (SFT) cold-start fase ingezet om het model de specifieke output-format ( $o_1 \oplus \langle sc \rangle \oplus o_2$ ) aan te leren. De auteurs stellen vast dat mixed sampling — waarbij $o_1$ wordt gesampled uit het policy-model en $o_2$ uit een sterker teacher-model — superieur is aan in-distributie sampling, omdat dit entropie-instorting voorkomt en kwalitatief betere correctie-voorbeelden biedt voor initialisatie.

Belangrijkste Bijdragen

Identificatie van Schaarste: Het paper identificeert dat effectieve zelfcorrectie-signalen extreem schaars zijn in standaard RL-rollouts (vaak <1% van de samples) en demonstreert dat deze signalen gedicht kunnen worden door correcte en incorrecte trajecten te koppelen.
Octopus Augmentatie: Een nieuw framework dat dichte zelfcorrectie-voorbeelden synthetiseert door rollouts te combineren, wat de sample-efficiëntie en trainingsstabiliteit verbetert zonder extra generatiekosten.
Gedecoupleerde Optimalisatie: Een response-masking strategie die succesvol de leerprocessen van zelfcorrectie en directe redenering ontkoppelt, waardoor reward hacking en instabiliteit bij gezamenlijke optimalisatie worden vermeden.
Octopus-8B Model: Een reasoning VLM die state-of-the-art (SoTA) prestaties behaalt onder open-source modellen van vergelijkbare grootte.

Resultaten

Het voorgestelde Octopus-8B model werd geëvalueerd op 7 benchmarks (waaronder MathVista, MathVerse, WeMath, HallusionBench, MMStar, MMMU, en CharXiv).

Prestaties: Octopus-8B bereikt een gemiddelde nauwkeurigheid van 71,7%, waarmee het de base Qwen3-VL-8B-Instruct met 9,5 punten en de officiële reasoning-enhanced variant (Qwen3-VL-8B-Thinking) met 1,2 punten verslaat. Het overtreft de sterkste RLVR-baseline (GSPO) met 1,0 punt.
Efficiëntie: Ondanks het gebruik van 16 rollouts per stap (via augmentatie), vereist Octopus slechts 0,72× de trainingstijd per stap vergeleken met de beste RLVR-baseline (GSPO met 16 rollouts), omdat het de generatie van slechts 8 rollouts hergebruikt.
Ablatie-studies: Het verwijderen van de augmentatie veroorzaakt een significante prestatiedaling (4,3 punten), wat bevestigt dat de winst voortkomt uit verrijkte zelfcorrectie-signalen in plaats van enkel een grotere steekproefomvang. Het verwijderen van Fase I leidt tot een daling van 1,9 punten, wat de noodzaak van gedecoupleerd leren valideert.
Test-Time Scaling: Het model vertoont controleerbare zelfcorrectie; het toevoegen van extra <sc> tokens tijdens inferentie verbetert de nauwkeurigheid en de efficiëntie van het aantal tokens verder, wat aangeeft dat de capaciteit generaliseerbaar en schaalbaar is.
Generalisatie: Het model, getraind op vision-language data, verbetert ook de prestaties op tekst-only benchmarks (AIME2024, MMLU-Pro), wat suggereert dat zelfcorrectie een modus-agnostische strategie is.

Betekenis en Claims

Het paper claimt dat zelfcorrectie een cruciale capaciteit is voor robuuste VLM-redenering, maar moeilijk expliciet te leren is via RL vanwege de schaarste van signalen en optimalisatieconflicten. Door Octopus voor te stellen, demonstreren de auteurs dat:

Het synthetiseren van gestructureerde supervisie uit policy-samples (rollouts) een veelbelovende richting is om prestaties te verbeteren en trainingskosten te verlagen.
Expliciet leren van zelfcorrectie leidt tot modellen die niet alleen nauwkeuriger zijn, maar ook efficiënter in training en in staat zijn tot test-time scaling.
De voorgestelde response-masking strategie een oplossing biedt voor het veelvoorkomende probleem van verstrengelde leerdoelen in single-pass RL, wat de co-evolutie van directe redenering en correctie mogelijk maakt zonder mode collapse.

Dit werk vestigt een nieuwe standaard voor open-source VLM's, waarbij wordt aangetoond dat controleerbare zelfcorrectie effectief en efficiënt geleerd kan worden, voorbij de afhankelijkheid van emergente gedragingen.