Technische Samenvatting: Denken met Visuele Gronding

Probleemstelling

Recente Vision-Language Models (VLM's) hebben het vermogen aangetoond om natuurlijke taalredeneringen (bijv. Chain-of-Thought) te genereren om complexe visuele taken op te lossen. Echter, een kritieke beperking bestaat: deze tekstuele redeneersporen laten de ondersteunende beeldregio's vaak impliciet. Hoewel een model kan stellen: "de rode auto staat bij de ingang", identificeert het niet expliciet welke pixels of regio's overeenkomen met die bewering. Dit gebrek aan expliciete koppeling maakt het redeneerproces moeilijk te verifiëren, te superviseren of te debuggen. Een definitief antwoord kan door toeval correct zijn, of het redeneerspoor kan coherent lijken terwijl het steunt op gehallucineerde visuele bewijslast. Het artikel betoogt dat echt visueel denken niet alleen stapsgewijze tekstuele redenering vereist, maar ook expliciete, verifieerbare links tussen redeneerstappen en de specifieke visuele bewijslast in de afbeelding.

Methodologie

1. Visueel Gegronde Denkformat

De auteurs stellen een nieuw redeneerformaat voor waarbij modellen natuurlijke taalgedachten afwisselen met expliciete coördinaat-gebaseerde grondingen. Telkens wanneer een redeneerstap naar een visueel object verwijst, genereert het model een tag die de naam van het object en de ruimtelijke coördinaten bevat. Twee modi worden ondersteund:

• Box Mode: <obj> naam | [x1, y1, x2, y2] </obj>
• Point Mode: <obj> naam | [x, y] </obj>

2. Schaalbare Synthese-pipeline voor Data

Om dit gedrag te trainen, hebben de auteurs een pipeline geconstrueerd om gealigneerde trainingsdata (zowel voor Supervised Fine-Tuning als Reinforcement Learning) te synthetiseren uit open-source datasets (bijv. TallyQA, VSR, SpatialMQA). De pipeline omvat:

• Redeneersporen Distilleren: Het gebruik van hoogwaardige VLM's (Qwen3-VL-Plus/Qwen3.5-Plus) om correcte redeneersporen te genereren voor beeld-vraagparen.
• Grondbare Objecten Extraheren: Een LLM identificeert de specifieke visuele objecten die nodig zijn voor de redenering (bijv. antwoord-objecten, ruimtelijke ankers, getelde instanties) en wijst er een naam en een disambiguerende context aan toe (bijv. "rode auto" versus "rode auto in de achterste rij").
• Agentic Visual Grounding: Een SAM3-gebaseerde agent, aangedreven door een VLM, grondt deze geëxtraheerde objecten iteratief. De agent gebruikt tools om naamwoordfrasen voor te stellen, SAM3 aan te roepen voor instantie-masks, de masks te verifiëren via rendering en zoomen, en de uiteindelijke masks te selecteren.
• Supervisie Afleiden: De resulterende Run-Length Encoded (RLE) masks worden omgezet in ofwel genormaliseerde bounding boxes ofwel interne punten (verที่สุด van de rand) om gealigneerde SFT- en RL-datasets te creëren.

3. Grounding-bewuste Reinforcement Learning (RL)

De auteurs introduceren een nieuw beloningsmechanisme dat gezamenlijk optimaliseert voor antwoordcorrectheid en de kwaliteit van de grounding.

• Grounding Object Routing: Voorafgaand aan de scoring koppelt een lichtgewicht VLM-router de door het model gegenereerde grounding-objecten aan de grondwaarheid-objecten (gebaseerd op naam en context) om variaties in bewoording en disambiguatie op te vangen.
• Dense Grounding Rewards:
  • Box Mode: Gebruikt Intersection-over-Union (IoU) tussen de unie van gegenereerde boxes en de grondwaarheid-boxes voor elk gekoppeld object.
  • Point Mode: Gebruikt een F1-score op basis van of gegenereerde punten binnen de corresponderende grondwaarheid-masks vallen, om dubbele credits voor dezelfde instantie te voorkomen.
• Totale Beloning: De totale beloning combineert de dense grounding reward met sparse rewards voor antwoordcorrectheid, denkformaat en grounding-formaat.

Belangrijkste Bijdragen

1. Schaalbare Data-pipeline: Een systeem gecentreerd rond een SAM3-gebaseerde agentic grounding agent die hoogwaardige visueel gegronde redeneerdata synthetiseert voor zowel SFT als RL, waardoor handmatige coördinaat-annotatie overbodig wordt.
2. Grounding Reward Design: Een beloningsfunctie die direct de kwaliteit van intermediaire visuele referenties superviseert, waarbij zowel box- als point-grounding modi worden ondersteund.
3. Empirische Validatie: Gecontroleerde experimenten die aantonen dat visueel gegronde het denken de prestaties op tel- en ruimtelijke redeneertaken aanzienlijk verbetert, waarbij 4B-modellen de prestaties van 27B-baselines evenaren of zelfs overtreffen in specifieke ruimtelijke benchmarks.

Experimentele Resultaten

De auteurs evalueerden hun aanpak met behulp van Gemma3-4B-IT als het basismodel over twee tel-benchmarks (TallyBench, CountQA) en vier ruimtelijke redeneerbenchmarks (VSR-zeroshot, EmbSpatial, SpatialMQA, MultihopSpatial).

• Prestatiewinst: Visueel gegronde denkmodellen presteerden consequent beter dan zowel het basismodel Gemma3-4B-IT als een "niet-gegronde denk"-baseline.
• Schaalvergelijking: Op ruimtelijke redeneertaken bereikten de 4B visueel gegronde modellen prestaties die vergelijkbaar zijn met, en in sommige gevallen (SpatialMQA, MultihopSpatial) zelfs hoger zijn dan, de veel grotere Gemma3-27B-IT.
• Stabiliteit: De niet-gegronde baseline leed aan "length collapse" tijdens de RL-training (responsen werden te kort), terwijl gegronde varianten stabiele rollouts behielden, waarschijnlijk door de structurele beperkingen van de grounding-tags.
• Verschillen in Grounding Interface:
  • Tellen: Point grounding presteerde consequent beter dan box grounding, wat suggereert dat instantie-niveau lokalisatie voldoende is voor teltaken.
  • Ruimtelijke Redenering: Box grounding leverde duidelijke winst op wanneer de grounding reward werd toegepast, waarschijnlijk door de geometrische informatie (omvang, overlap) die boxes bieden. Echter, point en box grounding waren breed genomen vergelijkbaar in algehele nauwkeurigheid op deze taken.
• Impact van de Reward: De grounding reward bood consistente voordelen voor box-mode training, met name op ruimtelijke taken. Voor point-mode was het beloningssignaal minder fijnmazig (discrete F1-score versus gladde IoU), wat resulteerde in minder consistente downstream nauwkeurigheidswinsten in de huidige experimenten.

Betekenis en Claims

Het artikel beweert dat visueel denken moet evolueren van het genereren van plausibele tekst naar het produceren van bewijsgestuurde redenering. Door tussenliggende gedachten te koppelen aan specifieke beeldregio's, kunnen modellen effectiever worden gesuperviseerd en wordt hun redenering verifieerbaar. De auteurs stellen dat de volgende stap in visueel denken niet louter "langer denken" is, maar "denken gekoppeld aan de afbeelding" in een vorm die gecontroleerd en verbeterd kan worden. Hun resultaten suggereren dat expliciete grounding kleinere modellen (4B) in staat stelt om de redeneercapaciteiten van veel grotere modellen (27B) te evenaren op ruimtelijke taken, wat de efficiëntie van grounding-gebaseerde supervisie benadrukt.