💻 computer science

Grounded Reinforcement Learning for Visual Reasoning

Het artikel introduceert ViGoRL, een visueel-taalmodel getraind met een nieuw meer-draads versterkingsleerframework dat redeneerstappen verankert aan specifieke visuele coördinaten en dynamisch inzoomen mogelijk maakt, waardoor het bestaande methoden aanzienlijk overtreft in diverse benchmarks voor visueel redeneren en verankering.

Oorspronkelijke auteurs: Gabriel Sarch, Snigdha Saha, Naitik Khandelwal, Ayush Jain, Michael J. Tarr, Aviral Kumar, Katerina Fragkiadaki

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gabriel Sarch, Snigdha Saha, Naitik Khandelwal, Ayush Jain, Michael J. Tarr, Aviral Kumar, Katerina Fragkiadaki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complex puzzel probeert op te lossen, zoals het vinden van een specifieke kleine schroef in een rommelige garage of het uitzoeken of een tafel onder een bed past.

De meeste huidige AI-modellen die proberen deze visuele puzzels op te lossen, gedragen zich als iemand die hun ogen sluit, een wilde gok doet op basis van wat ze denken dat de kamer eruit ziet, en een antwoord roept. Ze kunnen zeggen: "Ik denk dat de tafel past!" maar ze hebben de tafel of het bed niet echt bekeken. Ze "hallucineren" een antwoord op basis van algemene kennis in plaats van het specifieke bewijsmateriaal voor hen.

Het artikel dat je deelde, introduceert een nieuwe methode genaamd ViGoRL (Visually Grounded Reinforcement Learning). Zie dit als het leren van een nieuwe manier om te "denken" aan de AI, die nabootst hoe mensen visuele problemen daadwerkelijk oplossen.

Hier is hoe het werkt, opgesplitst in eenvoudige stappen:

1. Het probleem: De "blinde gok"

De auteurs ontdekten dat wanneer ze AI-modellen lieten leren door alleen te proberen het juiste antwoord te krijgen (een proces dat Reinforcement Learning heet), de modellen lui werden. In plaats van de afbeelding nauwkeurig te bekijken, begonnen ze abstracte redenen te verzinnen.

Analogie: Het is als een student die een wiskundetoets maakt, die de sommen niet echt uitrekent maar gewoon "42" opschrijft omdat ze weten dat dat een veelvoorkomend antwoord is in sciencefictionfilms. Ze hebben soms geluk, maar ze begrijpen het probleem niet echt.

2. De oplossing: De "wijzende vinger"

De onderzoekers realiseerden zich dat de AI, om slimmer te worden, gedwongen moet worden om te wijzen naar de afbeelding terwijl ze denkt.

De nieuwe regel: Elke keer dat de AI een gedachte heeft (bijvoorbeeld: "De tafel ziet er klein uit"), moet ze ook een specifieke coördinaat op de afbeelding geven (bijvoorbeeld: "Ik kijk naar de tafel bij pixel 300, 400").
De analogie: Stel je voor dat de AI een detective is. In plaats van alleen te zeggen: "Ik denk dat de verdachte in de keuken is", moet de detective zeggen: "Ik kijk naar het keukenraam bij coördinaten (X, Y), en ik zie daar een schaduw." Als ze niet naar het bewijs kunnen wijzen, mogen ze de bewering niet doen.

3. De training: De "slimme tutor" (MCTS)

Je kunt een verwarde AI niet zomaar zeggen "wijst naar dingen" en verwachten dat ze weet hoe. Ze moet leren hoe ze moet kijken.

De methode: De onderzoekers gebruikten een "super-slimme tutor" (een enorm AI-model) om een spelletje "Monte Carlo Tree Search" te spelen. Stel je voor dat de tutor een doolhof verkent. Het probeert verschillende paden: "Wat als ik naar linksboven kijk? Wat als ik naar rechtsonder kijk?" Het houdt de paden die leiden tot het juiste antwoord en gooit die weg die dat niet doen.
Het resultaat: Dit creëert een bibliotheek van "perfecte" redeneervoorbeelden waarbij de AI langzaam de afbeelding verkent, verschillende plekken controleert en zichzelf corrigeert als ze een fout maakt. Het kleinere AI-model bestudeert vervolgens deze perfecte voorbeelden om de gewoonte te leren om "te kijken voordat ze spreekt".

4. De "zoom"-functie: De "microscoop"

Soms is de afbeelding te groot en is het detail te klein om te zien (zoals kleine tekst op een website of een klein pictogram op een scherm).

De innovatie: Het nieuwe systeem staat de AI toe om te zeggen: "Ik denk dat het antwoord in deze hoek zit," en vervolgens om in te zoomen op die specifieke plek.
De analogie: Het is als het gebruik van een vergrootglas. Als je op zoek bent naar een naald in een hooiberg, staar je niet naar de hele hooiberg; je zoomt in op het deel waar je denkt dat de naald zit. De AI kan dit nu digitaal doen, waarbij ze om een hoge-resolutie uitsnede van de afbeelding vraagt om een betere blik te krijgen voordat ze haar definitieve beslissing neemt.

5. De resultaten: Beter "zien"

Toen ze deze nieuwe methode (ViGoRL) testten in vergelijking met oudere methoden:

Betere nauwkeurigheid: De AI werd aanzienlijk beter in ruimtelijk redeneren (zoals het uitzoeken of objecten bij elkaar passen) en het vinden van kleine dingen op schermen.
Menselijk gedrag: De AI begon dingen te doen die mensen van nature doen: het verkende verschillende delen van de afbeelding, stelde kleine doelen ("Eerst controleer ik de deur, dan het raam") en ging zelfs terug als het besefte dat het naar het verkeerde ding keek.
Betrouwbaarheid: Toen mensen het redeneren van de AI bekeken, vonden ze het veel makkelijker te begrijpen waarom de AI een keuze had gemaakt, omdat ze letterlijk naar het bewijs wezen.

Samenvatting

Kortom, dit artikel leert AI om te stoppen met gokken en te beginnen met kijken. Door de AI te dwingen om elke gedachte te verankeren aan een specifieke plek op de afbeelding (en haar toe te staan in te zoomen wanneer nodig), wordt het model veel nauwkeuriger, betrouwbaarder en in staat om complexe visuele puzzels op te lossen, net zoals een mens dat zou doen.

Technische Samenvatting: Grounded Reinforcement Learning voor Visueel Redeneren (ViGoRL)

Probleemstelling

Visuele redeneertaken variëren aanzienlijk in structuur en vereisen vaak dat modellen visuele aandacht richten, perceptieve input interpreteren en abstract redeneren verankeren in ruimtelijk bewijs. Hoewel Reinforcement Learning (RL) over chains of thought taalmodellen heeft verbeterd in tekstgebaseerde domeinen (wiskunde, coderen), staat de toepassing op Vision-Language Models (VLMs) voor unieke uitdagingen. De auteurs stellen vast dat standaard VLMs vaak end-to-end werken, waarbij antwoorden worden voorspeld in één doorloop zonder dat computatiestrategieën worden aangepast aan de invoer-scène.

Cruciaal is dat het artikel betoogt dat naïeve toepassingen van RL op VLMs geen nuttige cognitieve gedragingen induceren. In plaats van systematisch regio's te verkennen, subdoelen te stellen of hypothesen te verifiëren, neigt standaard RL-optimalisatie op basis-VLMs ertoe te "instorten" op "shortcuts". Deze shortcuts maximaliseren directe taakbeloningen door abstracte, niet-verankerde redenering te produceren die visie behandelt als statische context in plaats van als actief geraadpleegde input. Bijgevolg falen modellen om de ruimtelijke aandachtsmechanismen te ontwikkelen die nodig zijn voor complex visueel redeneren, zoals het lokaliseren van kleine objecten in rommelige omgevingen of het navigeren door webinterfaces.

Methodologie: ViGoRL

De auteurs stellen ViGoRL (Visually Grounded Reinforcement Learning) voor, een raamwerk dat elke redeneerstap expliciet verankert aan specifieke visuele coördinaten. De kernhypothese is dat modellen "beter zien" en "beter denken" wanneer tekstuele redenering wordt gekoppeld aan ruimtelijke verankering, wat menselijk visueel besluitvorming nabootst waarbij de blik selectief verschuift om taakrelevante informatie te verzamelen.

De aanpak bestaat uit een tweestapsproces gevolgd door een multi-turn extensie:

1. Warm-Start via Monte Carlo Tree Search (MCTS)

Om de beperking te overwinnen dat basis-VLMs geen inherente visuele redeneergedragingen hebben (zoals terugkeren, regio-ontdekking), gebruiken de auteurs MCTS om hoogwaardige, verankerde redeneersporen te genereren.

Lerarenmodel: Een bevroren, hoogcapaciteit lerarenmodel (Qwen2.5-VL-72B) wordt gebruikt om knopen in de zoekboom uit te breiden.
Verankerde Knopen: Elke redeneerstap wordt gedefinieerd als een tuple $n_t = \langle s_t, (x_t, y_t) \rangle$ , waarbij $s_t$ een natuurlijke taalgedachte is en $(x_t, y_t)$ een coördinaat die de gedachte verankert aan een afbeeldingsregio.
Zoekproces: Het MCTS-algoritme (Selectie, Uitbreiding, Simulatie, Backpropagatie) verkent systematisch diverse afbeeldingsregio's en redeneerpaden. Het moedigt expliciet gedragingen aan zoals brede exploratie (vertakking om diverse regio's te bestrijken) en terugkeren (het opgeven van falende takken).
Linearisatie: De resulterende zoekbomen worden gelineariseerd tot trainingsvoorbeelden, inclusief zowel directe succesvolle ketens als "gecorrigeerde ketens" die terugkeren demonstreren (bijv. "Wacht, dat lijkt niet goed...").
Supervised Fine-Tuning (SFT): Het basismodel wordt fijn afgestemd op deze MCTS-genererde sporen om het vermogen te bootstrappen om gestructureerde, verankerde redenering te genereren.

2. Reinforcement Learning met GRPO

Na SFT ondergaat het model Reinforcement Learning met Group Relative Policy Optimization (GRPO).

Beloningsontwerp: De beloningsfunctie prikkelt twee dingen: (1) de correctheid van het uiteindelijke antwoord ( $r_{task}$ ) en (2) de validiteit van het outputformaat, waarbij specifiek wordt vereist dat alle coördinaatreferenties geldig zijn ( $r_{fmt}$ ). Dit zorgt ervoor dat het model leert verankering te behouden tijdens het hele redeneerproces.
Doel: Het RL-proces verfijnt de verankerde gedragingen die tijdens SFT zijn geleerd, en versterkt sequenties die leiden tot correcte antwoorden terwijl de ruimtelijke verankeringsbeperking wordt gehandhaafd.

3. Multi-Turn RL met Visuele Feedback

Voor taken die fijnkorrelige visuele inspectie vereisen (bijv. kleine GUI-elementen) introduceren de auteurs een multi-turn formulering.

Interactieve Microscoop: Na het voorspellen van een coördinaat kan het model een tool-call uitvoeren om een hoogresolutie uitsnede van die regio op te vragen.
Feedbacklus: De omgeving retourneert de uitgesneden afbeelding, die de input wordt voor de volgende redeneerbeurt.
Training: Het model wordt getraind op multi-turn dialogen waarbij het leert iteratief in te zoomen wanneer nodig. De beloning omvat een diversiteitsbonus om het verkennen van verschillende coördinaten aan te moedigen in plaats van dezelfde regio te herhalen.

Belangrijkste Bijdragen

Identificatie van RL-Foutmodi: Het artikel toont aan dat standaard RL op VLMs zonder expliciete verankeringsprikkels leidt tot niet-verankerde redenering, en falen om gedragingen zoals het stellen van visuele subdoelen of terugkeren te induceren.
ViGoRL-raamwerk: Een nieuw proces dat een MCTS-gebaseerde warm-start combineert (om verankerde redeneerpriors in te brengen) en GRPO (om deze gedragingen te verfijnen), waarbij redeneerstappen expliciet worden gekoppeld aan afbeeldingscoördinaten.
Multi-Turn Visuele Feedback: Een mechanisme dat modellen toelaat dynamisch in te zoomen op afbeeldingsregio's tijdens het redeneren, wat de prestaties op fijnkorrelige taken aanzienlijk verbetert.
Gedragsanalyse: Empirisch bewijs dat verankerde redenering cognitieve gedragingen versterkt zoals regio-exploratie, visuele verificatie en terugkeren, die afwezig zijn in standaard baselines.

Experimentele Resultaten

ViGoRL werd geëvalueerd over diverse benchmarks, waaronder ruimtelijk redeneren (SAT-2, BLINK, RoboSpatial), visuele zoekopdrachten (V*Bench) en webverankering (ScreenSpot, VisualWebArena).

Ruimtelijk Redeneren: Op SAT-2 behaalde ViGoRL-3B 62,9% nauwkeurigheid, een verbetering van 12,9 punten ten opzichte van Vanilla GRPO en een verbetering van 16,8 punten ten opzichte van het basismodel. Vergelijkbare winsten werden waargenomen op BLINK en RoboSpatial.
Webverankering: Op ScreenSpot-Pro (hoogresolutie GUI-verankering) bereikte ViGoRL-3B 31,1%, wat 21,8 punten beter is dan het basismodel en 2,1 punten beter dan Vanilla GRPO.
Visuele Zoekopdracht: Op V*Bench behaalde de multi-turn ViGoRL-7B 86,4% nauwkeurigheid, waarmee het propriëtaire modellen zoals GPT-4o (66,0%) en geavanceerde tool-gebruikende pipelines zoals Sketchpad-GPT-4o (80,3%) overtrof.
Live Web-interactie: Op VisualWebArena (alleen visuele input) overtrof ViGoRL de vorige state-of-the-art (ICAL) voor dezelfde modelgrootte, ondanks gebrek aan toegang tot HTML-tekst.
Ablatiestudies: Het verwijderen van expliciete verankering of de MCTS-warm-start degradeerde de prestaties aanzienlijk, wat bevestigt dat zowel de initialisatie van verankerde gedragingen als de RL-verfijning cruciaal zijn.
Menselijke Evaluatie: Menselijke beoordelaars vonden de verankerde voorspellingen van het model ruimtelijk accuraat (72,8% nauwkeurigheid) en nuttig voor het begrijpen van de redeneerstappen, vooral wanneer de voorspelling correct was.

Betekenis en Claims

De auteurs claimen dat visueel verankerde RL een sterk paradigma is om modellen algemene visuele redeneercapaciteiten bij te brengen. Zij betogen dat verankering niet slechts een visualisatiemiddel is, maar een centraal architecturaal en algoritmisch principe. Door modellen te trainen om te redeneren met deictische referentie (wijzen, inzoomen, verifiëren), stemt de aanpak het modelgedrag af op menselijke cognitieve strategieën (visuele routines, ruimtelijke aandacht).

Het artikel concludeert dat het expliciet verankeren van redeneerstappen aan ruimtelijke coördinaten modellen dwingt om gestructureerde, mens-gealigneerde cognitie te vertonen. Deze steigerstructuur stelt modellen in staat complexe problemen op te splitsen in beheersbare, perceptueel verankerde stappen, wat leidt tot betere generalisatie in out-of-distribution situaties en verbeterde interpreteerbaarheid. Het werk suggereert dat toekomstige systemen verankering moeten behandelen als een kernmechanisme voor redeneren in plaats van als een bijzaak.