💻 computer science

H-GRPO: Permutation-Invariant Reinforcement Learning for Grounded Visual Reasoning

Dit artikel introduceert H-GRPO, een framework dat de prestaties en interpreteerbaarheid van Vision-Language Modellen verbetert door permutatie-invariante reinforcement learning te gebruiken om complexe queries te deconstrueren in atomaire subvragen die geworteld zijn in specifieke visuele bewijslast, waardoor hallucinaties worden verminderd en mensachtig deductief redeneren wordt bevorderd.

Oorspronkelijke auteurs: Eric Peh, Debaditya Roy, Basura Fernando

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Eric Peh, Debaditya Roy, Basura Fernando

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar lichtelijk ondeugende kunststudent hebt genaamd "Vision-Language Model" (VLM). Wanneer je deze student een afbeelding laat zien en een vraag stelt als: "Is de chef aan het koken?", geeft hij vaak het juiste antwoord. Maar hier is de crux: hij kan ook raden op basis van het feit dat chefs meestal witte hoeden dragen, zelfs als de persoon op de foto eigenlijk een bakker is die een witte hoed draagt. Hij neemt een "shortcut" en kan zelfs details verzinnen (hallucinaties) om zijn gok te rechtvaardigen.

De paper die je hebt gedeeld, introduceert een nieuwe trainingsmethode genaamd H-GRPO om dit op te lossen. Denk aan dit als een nieuwe manier om het huiswerk van de student te beoordelen, die hem dwingt om zijn werk te laten zien, stap voor stap, met bewijs.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. Het Probleen: De "Black Box" Gok

Momenteel zijn deze AI-modellen als "black boxes". Je stopt een afbeelding erin, en er komt een antwoord uit. We weten niet hoe ze daar gekomen zijn. Ze kunnen het bij het rechte eind hebben, maar om de verkeerde redenen. Het is als een student die het juiste wiskundige antwoord geeft, maar de verkeerde formule heeft opgeschreven; hij had geluk, maar hij heeft het eigenlijk niet echt geleerd.

2. De Oplossing: Het "Detective-notitieblok"

De auteurs stellen een nieuw framework voor waarbij de AI niet zomaar een definitief antwoord mag geven. In plaats daarvan moet de AI zich gedragen als een detective die een gestructureerd notitieblok invult.

Voor elke vraag moet de AI het probleem opdelen in kleine stappen. Voor elke stap moet hij drie dingen opschrijven:

De Vraag: "Waar kijk ik op dit moment naar?" (bijv. "Is dat een muffintray?")
Het Antwoord: "Ja, dat is het."
Het Bewijs: Een specifiek kader getekend rondom de muffintray in de foto om dit te bewijzen.

Dit verandert het denkproces van de AI van een mysterieuze gok in een transparante keten van feiten: Ik zie een muffintray (bewijs hier) -> Ik zie een witte jas (bewijs hier) -> Daarom is dit een chef.

3. De Uitdaging: Verschillende paden naar dezelfde waarheid

Hier wordt het lastig. Stel je voor dat twee detectives hetzelfde misdrijf oplossen.

Detective A kijkt eerst naar de schoen, dan naar de hoed, en dan naar het pistool.
Detective B kijkt eerst naar het pistool, dan naar de hoed, en dan naar de schoen.

Beide detectives vonden dezelfde aanwijzingen en kwamen tot dezelfde conclusie. Als je een strenge leraar zou zijn, zou je kunnen zeggen: "Detective A, je keek in de verkeerde volgorde! Je krijgt nul punten." Dat zou onrechtvaardig zijn.

De innovatie van de paper, H-GRPO, is als een slimme leraar die begrijpt dat de volgorde er niet toe doet, zolang de aanwijzingen er maar zijn. Het gebruikt een wiskundig hulpmiddel (genaamd "Hungarian Matching") om de aanwijzingen van de student te koppelen aan de juiste aanwijzingen, ongeacht de volgorde waarin ze zijn opgeschreven. Het controleert: "Heb je de schoen gevonden? Ja. Heb je de hoed gevonden? Ja. Goed gedaan, zelfs als je ze in een andere volgorde hebt gevonden."

4. Het Beloningssysteem: "Laat me het bewijs zien"

In de oude dagen kreeg de AI alleen een "Goed gedaan!" als het uiteindelijke antwoord juist was. Nu, met H-GRPO, krijgt de AI alleen een beloning als:

Het de notitieblok-vorm volgde.
Het het juiste uiteindelijke antwoord vond.
Cruciaal: Elke stap in zijn notitieblok wordt ondersteund door een specifiek deel van de foto.

Als de AI probeert een feit te verzinnen zonder naar een plek in de foto te wijzen, krijgt hij een lage score. Dit dwingt de AI om te stoppen met gokken en daadwerkelijk de afbeelding te gaan "zien".

5. De Resultaten: Beter in "zien", niet alleen in "weten"

De auteurs hebben dit getest op diverse puzzels met betrekking tot afbeeldingen.

Voor taken die ruimtelijk redeneren vereisen (zoals bepalen waar objecten zich bevinden of hoe ze zich tot elkaar verhouden), werkte de nieuwe methode wonderen. De AI werd veel beter in het niet laten misleiden door shortcuts.
Voor taken die diepe boekenkennis vereisen (zoals complexe wetenschappelijke vragen), hielp het, maar de AI moet eerst de feiten kennen. De methode zorgt ervoor dat de AI de afbeelding correct gebruikt, maar het kan de AI niet de feiten leren die hij nog niet kende.
Interpreteerbaarheid: Omdat de AI zijn stappen moet opschrijven en naar het bewijs moet wijzen, kunnen mensen zijn "denkproces" daadwerkelijk lezen en verifiëren of het logisch is. Het is niet langer een black box; het is een transparante box.

Samenvatting

Kortom, H-GRPO is een trainingstechniek die AI-modellen leert om eerlijke detectives te zijn. In plaats van hen het antwoord te laten raden en te hopen op het beste, dwingt het hen om:

Het probleem in kleine stukjes op te delen.
Naar de exacte plek in de foto te wijzen die elk stukje bewijst.
Beloond te worden voor het vinden van de juiste aanwijzingen, zelfs als ze in een andere volgorde worden gevonden dan verwacht.

Dit maakt het redeneren van de AI betrouwbaarder, minder geneigd tot het verzinnen van zaken, en veel gemakkelijker voor mensen om te begrijpen en te vertrouwen.

Technisch Overzicht: H-GRPO voor Gegrond Visueel Redeneren

1. Probleemstelling

Vision-Language Models (VLM's) kampen momenteel met een kritieke discrepantie tussen hoge benchmarknauwkeurigheid en getrouwe visuele redenering. Hoewel modellen vaak sterke prestaties leveren, vertrouwen ze vaak op oppervlakkige correlaties, negeren ze relevante visuele bewijslast of hallucineren ze tussenliggende feiten. Dit probleem wordt verergerd wanneer VLM's worden post-getraind met Reinforcement Learning (RL); het uitsluitend optimaliseren voor de correctheid van het eindantwoord kan "shortcut"-redeneringen versterken in plaats van het stimuleren van bewijs-gegronde deductie.

Bestaande RL-gebaseerde methoden (bijv. R1-VL, Vision-R1) superviseren primair tekstuele redenering of eindresultaten zonder de tussenliggende stappen te funderen in gelokaliseerde visuele bewijslast. Daarentegen behandelen grounding-methoden (bijv. Visual-RFT, ViGoRL) lokalisatie als een hulpstuk in plaats van een integraal onderdeel van het redeneerproces. Bovendien ontbreken huidige datasets op grote schaal geannoteerde gegevens die de redeneerstructuur, tussenliggende antwoorden en specifieke ruimtelijke bewijslast gezamenlijk vastleggen. Een belangrijke uitdaging bij het trainen van dergelijke modellen is dat geldige redeneerpaden niet uniek zijn; verschillende modellen kunnen dezelfde visuele vraag oplossen met behulp van verschillende tussenliggende stappen of volgordes. Standaard sequentie-niveau vergelijkingen straffen correcte redenering af, simpelweg omdat deze afwijkt van een vaste referentievolgorde.

2. Methodologie

2.1 Decompositie van Gegronde Redenering

Het voorgestelde framework dwingt het model om een globale visuele query te deconstrueren in een sequentie van atomaire, verifieerbare subtaken. In plaats van een monolithische inferentie genereert het model een gestructureerde output $y$ bestaande uit:

Tussenliggende Tripletten ( $\tau_i$ ): Een sequentie $\{ \tau_1, \dots, \tau_m \}$ ${τ_{1}, \dots, τ_{m}}$ waarbij elk triplet het volgende bevat:
- $q_i$ : Een subvraag.
- $a_i$ : Een tussenliggend antwoord.
- $b_i$ : Een ruimtelijke bewijsbak (bounding box) $[x_{min}, y_{min}, x_{max}, y_{max}]$ die de visuele ondersteuning voor het antwoord lokaliseert.
Redeneerpad ( $r$ ): Een natuurlijke taal synthese van de tripletten.
Eindantwoord ( $a_{final}$ ): Het beknopte antwoord op de oorspronkelijke vraag.

2.2 Datasynthese (GVRS)

Om het gebrek aan trainingsdata aan te pakken, hebben de auteurs de Grounded Visual Reasoning Synthesis (GVRS) dataset geconstrueerd.

Pipeline: Een hoogwaardige referentieset van 40 voorbeelden werd opgesteld door GPT-4o en verfijnd via human-in-the-loop verificatie. De ruimtelijke precisie werd verbeterd met behulp van SAM3 voor box-verfijning.
Schaal: Met behulp van een geoptimaliseerde systeemprompt, geselecteerd via reward scoring, werden 10.000 trainingssamples gegenereerd uit vier bronnen: Visual7W, Visual-CoT, A-OKVQA en ERQA.
Validatie: Een subset werd handmatig gevalideerd door experts op logische consistentie, semantische correctheid en ruimtelijke nauwkeurigheid.

2.3 H-GRPO: Hungarian Group Relative Policy Optimization

De kerninnovatie is H-GRPO, een permutatie-invariante RL-framework ontworpen om met niet-unieke redeneerpaden om te gaan.

Permutatie-invariante Matching: In plaats van gegenereerde en referentie-redeneerketens in een vaste volgorde te vergelijken, formuleert H-GRPO de evaluatie als een bipartiete matching-probleem tussen de set voorspelde tripletten ( $\hat{D}$ ) en referentie-tripletten ( $D^*$ ).
Gelijkenismetriek: Een gelijkenis-matrix $S$ wordt geconstrueerd waarbij elke entry $S_{ij}$ het volgende combineert:
- Bestaan en compatibiliteit van bounding boxes.
- Sentence-BERT cosinus-gelijkenis voor subvragen ( $sim_q$ ) en sub-antwoorden ( $sim_a$ ).
- Intersection over Union (IoU) voor ruimtelijke overlap.
Hongarijaanse Algoritme: De optimale één-op-één toewijzing wordt gevonden met behulp van het Hongarijse algoritme om de totale gelijkenis-score ( $S_{HS}$ ) te maximaliseren.
Reward Functie: De totale reward $R$ is een composiet van:
1. Format Reward ( $R_{format}$ ): Zorgt ervoor dat de output de triplet-structuur volgt (sub-vragen, antwoorden, redeneerpad, eindantwoord).
2. Hungarian Reasoning Reward ( $R_{HS}$ ): Een dense proces-niveau reward afgeleid van de matching-score, met een drempelwaarde om zwakke redenering te onderdrukken.
3. Final Answer Reward ( $R_{answer}$ ): Wordt alleen geactiveerd als de redenering voldoende gegrond is (d.w.z. als $R_{HS}$ een drempelwaarde overschrijdt).
De formule is: $R = \alpha R_{format} + \beta R_{answer} \cdot R_{HS}$ .

Deze formulering zorgt ervoor dat het model alleen sterke beloningen ontvangt wanneer het eindantwoord correct is en afgeleid is van semantisch uitgelijnde, visueel gegronde tussenliggende stappen, ongeacht de volgorde waarin die stappen worden gegenereerd.

3. Belangrijkste Bijdragen

Grounded Reasoning Decomposition Protocol: Een nieuwe representatie van redeneerstappen als tripletten (sub-vraag, sub-antwoord, ruimtelijke bewijslast), wat expliciete externalisatie van visueel bewijs afdwingt.
Schaalbare Datasynthese Pipeline: Een methode om stap-voor-stap gegrondeerde redeneer-traces te genereren zonder uitgebreide handmatige annotatie, wat resulteert in de GVRS-dataset.
H-GRPO Framework: Een permutatie-invariante RL-algoritme dat gebruikmaakt van Hongarijse matching om voorspelde en referentie-redeneerstappen uit te lijnen, wat flexibele redeneertrajecten mogelijk maakt terwijl de consistentie van het bewijs wordt afgedwongen.
Uniform Evaluatieprotocol: Een uitgebreide metriek-suite die de juistheid van antwoorden, de getrouwheid van de grounding, de stap-gewijze uitlijning en de afhankelijkheid van visueel bewijs meet.

4. Experimentele Resultaten

De methode werd geëvalueerd op open-source VLM-backbones (Qwen2.5-VL-3B en SmolVLM-2.2B) over in-domain en out-of-distribution (OOD) benchmarks.

In-Domain Prestaties: H-GRPO behaalde de beste resultaten op A-OKVQA en Visual7W voor de SmolVLM-2.2B backbone (respectievelijk 73,4% en 77,2%), waarmee het standaard SFT en vanilla GRPO overtreft. Voor Qwen2.5-VL-3B matcht H-GRPO of overtreft het licht de SFT/GRPO-prestaties, met name op Visual7W.
Out-of-Distribution Generalisatie: H-GRPO demonstreerde superieure generalisatie op ruimtelijke en geometrische redeneertaken. Het behaalde de hoogste scores op RealWorldQA, RoboSpatial (70,2%) en MMStar. De verbetering op MMMU was matig, wat suggereert dat de methode het meest effectief is voor visueel gegronde taken in plaats van puur kennisintensieve redenering.
Interpreteerbaarheid: Geëvalueerd via LLM-as-a-Judge, scoorden de H-GRPO redeneerpaden het hoogst over alle dimensies (Relevantie, Coherentie, Consistentie, Helderheid, Interpreteerbaarheid), waarbij ze R1-VL, ViGoRL en Reason-RFT significant overtroffen.
Kwalitatieve Analyse: Voorbeelden lieten zien dat het model succesvol categorie-niveau, ruimtelijke en actie-redenering gronde in specifieke beeldregio's (bijv. het identificeren van een chef via een witte jas en een voedselcounter), wat het risico op ononderbouwde hallucinaties vermindert.

5. Betekenis en Claims

Het artikel claimt dat H-GRPO de trade-off tussen redeneernauwkeurigheid en grounding-getrouwheid aanpakt. Door af te dwingen dat elke tussenliggende logische stap verankerd is aan een specifieke visuele regio, produceert het framework redeneerpaden die:

Verifieerbaar zijn: Mensen en reward-functies kunnen het visuele bewijs voor elke stap inspecteren.
Getrouw zijn: Het eindantwoord komt voort als een logisch gevolg van geverifieerde visuele feiten in plaats van statistische gokken.
Flexibel zijn: De permutatie-invariante reward staat diverse, geldige redeneervolgordes toe, waardoor het vermijden van straf voor correcte logica die simpelweg een andere sequentie volgt dan de referentie wordt voorkomen.

De auteurs merken op dat hoewel H-GRPO de prestaties aanzienlijk verbetert voor lokalisatie-zware en ruimtelijke redeneertaken, het niet volledig de hiaten in domeinkennis compenseert die vereist zijn voor abstracte of wetenschappelijke redenering (bijv. MMMU). Zij concluderen dat toekomstig werk de gegronde supervisie moet uitbreiden naar symbolische, op grafieken gebaseerde en long-context multimodale redenering om het potentieel van bewijs-gebaseerde visuele deductie volledig te benutten.