Technische Samenvatting: ReGround

Probleemstelling

Vision-Language Models (VLM's) lijden vaak aan visuele gronding-degradatie (visual grounding decay) tijdens meerstaps-redeneren. Naarmate de redeneerketens langer worden, neemt de afhankelijkheid van taalkundige priors toe, terwijl de aandacht voor beeldtokens afneemt. De auteurs identificeren een consistente signatuur van deze degradatie: over 2.510 heronderzochte monsters neemt de aandacht-entropie over beeldtokens doorgaans significant af tijdens de eerste redeneerronde (Ronde 1) en slaagt er niet in te herstellen zonder interventie.

Hoewel eerdere studies deze degradatie hebben gedocumenteerd, blijft er een kritieke kloof bestaan: het simpelweg opnieuw injecteren van visueel bewijs garandeert geen correctie. Het artikel stelt dat de diagnostische kwaliteit de bepalende factor is. Zonder gerichte zelfdiagnose kan visuele heronderzoek leiden tot "schadelijk tweede twijfelen" (harmful second-guessing), waarbij het model correcte antwoorden overrulet of er niet in slaagt te herstellen van fouten. Daarentegen vereist effectief heronderzoek zowel de herinjectie van het beeld als een betekenisvolle, gerichte diagnostische aanwijzing.

Methodologie: Het ReGround-framework

ReGround is een tweestaps, tool-vrij framework ontworpen om VLM's te leren autonoom grondingsfouten te diagnosticeren en selectief visueel bewijs te heronderzoeken. Het vereist geen architecturale wijzigingen of externe tools (bijv. uitsnij- of zoomtools).

Fase 1: Cold-Start Supervised Fine-Tuning (SFT)

Het framework construeert een gespecialiseerde trainingsdataset met behulp van een sequentiële heronderzoek-trigger en visuele zelfdiagnose:

1. Heronderzoek-triggerbeleid: Niet alle monsters vereisen heronderzoek. Het systeem filtert de initiële reacties via drie stappen:

   • Is het correct? Als het antwoord fout is, wordt heronderzoek onvoorwaardelijk getriggerd.
   • Is het gegrond? (Is Grounded?) Als het antwoord correct is, evalueert een beoordelingsmodel (Qwen2.5-VL-72B) of de redenering werkelijk gegrond is aan de hand van vier criteria: dekking van visuele attributen, eliminatie van alternatieven, afwezigheid van voorbehoud (hedging) en visuele verankering. Correcte maar niet-gegronde antwoorden triggeren heronderzoek.
   • Is het verifieerbaar? Een stochastische trigger ($\epsilon$) wordt toegepast op correcte, gegronde antwoorden om het model te leren dat heronderzoek ook als verificatie kan dienen.
   • Geen-ReGround: Monsters die alle controles passeren zonder stochastische trigger worden behouden als single-turn trajecten om overmatig triggeren te voorkomen.

2. Visuele zelfdiagnose en herinjectie: Zodra getriggerd, genereert het systeem een diagnostische aanwijzing binnen een <reground> tag. Drie modi van informatieherinjectie worden gebruikt:

   • Correctie: Identificeert waarschijnlijke punten van visuele misperceptie om de aandacht te heroriënteren.
   • Gronding: Dwingt het model om speculatieve taal te verankeren aan concrete ruimtelijke coördinaten of elementen zonder het antwoord te onthullen.
   • Verificatie: Herinjecteert het beeld holistisch om de logische keten te dubbelchecken.

3. Capaciteits-bootstrapping: Tijdens de data-constructie genereert een sterkere modelvariant (bijv. 72B) de diagnostische aanwijzingen. Het beleidsmodel (bijv. 7B) leert deze aanwijzingen autonoom te genereren tijdens SFT. De sterkere variant wordt na de training weggegooid.

4. Traject-formattering: De data wordt geformatteerd in een multi-turn template: Initiële Redenering $\rightarrow$ <reground> (Diagnose + Herinjectie) $\rightarrow$ Herziene Redenering $\rightarrow$ Eindantwoord.

Fase 2: Reinforcement Learning (GRPO)

Het beleid wordt verfijnd met behulp van Group Relative Policy Optimization (GRPO) met een asymmetrische beloningsfunctie om het triggergedrag te kalibreren:

• Hergrondingsbeloning ($R_{reg}$): Beloont de structurele aanwezigheid van een geldige <reground> span.
• Nauwkeurigheidsbeloning ($R_{acc}$): Beloont correcte eindantwoorden, maar bevat een negatieve interactieterm. Dit straft het marginale voordeel van correctheid af als het model onnodig een heronderzoek heeft getriggerd, wat blind gokken ontmoedigt.
• Formatteringsstraf ($R_{form}$): Straft syntactische fouten af.

Deze beloningsvorming creëert een asymmetrische distributie: de hoogste beloning gaat naar succesvol herstel (hergronding + correct), terwijl "blind falen" (geen hergronding + incorrect) wordt gestraft. Dit moedigt het model aan om te leren wanneer het moet heronderzoeken en hoe het de heronderzoek effectief kan gebruiken.

Belangrijkste Bijdragen

1. Empirisch Bewijs van Degradatie en Herstel: De auteurs tonen aan dat de aandacht-entropie in 98,0% van de redeneerstappen versmalt, maar herstelt na visuele herinjectie in 94,4% van de gevallen.
2. Diagnostische Kwaliteit als de Bottleneck: Het artikel stelt vast dat generiek heronderzoek de prestaties kan verslechteren, terwijl gerichte zelfdiagnose 79–90% van de winsten van een oracle (sterker model) aanwijzing herstelt.
3. Analyse van het Triggerbeleid: De studie onthult dat overmatig triggeren correcte antwoorden beschadigt, terwijl conservatief triggeren herstelbare winsten misloopt. Een gebalanceerd beleid is essentieel.
4. Een Praktisch, Tool-vrij Framework: ReGround verbetert de prestaties over meerdere benchmarks zonder externe tools of architecturale wijzigingen, enkel vertroukkend op beeldherinjectie en zelfdiagnose.

Experimentele Resultaten

Experimenten werden uitgevoerd op acht benchmarks (waaronder MathVista, MathVision, MathVerse, HallusionBench, MMBench, etc.) met twee VLM-backbones (Qwen2.5-VL-7B en Qwen3-VL-8B).

• Prestatiewinsten: Op Qwen2.5-VL-7B behaalde ReGround de beste prestaties op vijf van de acht benchmarks, met significante verbeteringen op wiskundige redeneertaken (bijv. +3,8 op MathVista, +4,5 op MathVerse) en een substantiële +6,8 winst op HallusionBench (gericht op visuele hallucinatie).
• Cross-Backbone Transfer: Het toepassen van hetzelfde trainingsrecept op Qwen3-VL-8B leverde consistente winsten op over alle acht benchmarks zonder hyperparameter her-tuning.
• Efficiëntie: ReGround veroorzaakt een matige inferentie-overhead (1,62× totaal aantal tokens, 1,76× latentie) vergeleken met de baseline, maar presteert beter dan tool-geaugmenteerde baselines zoals Thyme in zowel snelheid als nauwkeurigheid.
• Ablatie-studies:
  • Mechanisme: Visuele herinjectie is essentieel; tekstuele reflectie alleen levert verwaarloosbare winst op.
  • Data-compositie: Het verwijderen van "No-ReGround" monsters zorgt ervoor dat de trigger-ratio naar ~85% stijgt en de nauwkeurigheid verslechtert, wat bevestigt dat negatieve voorbeelden nodig zijn.
  • Kwaliteit van de Aanwijzing: Generieke aanwijzingen (bijv. "kijk nog eens") kunnen de prestaties schaden. Gerichte zelfdiagnose is de cruciale variabele.

Betekenis en Claims

Het artikel claimt dat diagnostische kwaliteit, in plaats van de loutere handeling van het heronderzoeken van visueel bewijs, de centrale factor is in succesvolle visuele zelfcorrectie. ReGround demonstreert dat VLM's kunnen leren autonoom te identificeren wanneer ze het visuele contact met de grond verloren hebben en welk specifiek bewijs ze opnieuw moeten bekijken, mits ze getraind zijn met hoogwaardige diagnostische aanwijzingen en een gebalanceerd triggerbeleid.

De auteurs positioneren ReGround als een complementair, tool-vrij mechanisme dat een specifiek faalmodus aanpakt: "visuele gronding-drift" tijdens meerstaps-redeneren. Door de impact van diagnostische begeleiding te isoleren van het format van het heronderzoek, suggereert het werk dat toekomstige verbeteringen in gegronde redenering zich moeten richten op het versterken van het vermogen van het model om zelf te diagnosticeren en specifiek visueel bewijs te targeten, in plaats van enkel te vertrouwen op externe tools of grotere model-schalen.