Technische Samenvatting: iVGR – Internalisering van Visueel Gegronde Redenering voor MLLM's met Reinforcement Learning

1. Probleemstelling

Multimodale Large Language Models (MLLM's) hebben aanzienlijke stappen gezet in algemene redenering, maar worstelen met fijnmazige perceptie in hoog-resolutie of complexe visuele scènes. Hoewel Visually Grounded Chain-of-Thought (CoT) een veelbelovend paradigma heeft laten ontstaan om perceptie te verbeteren door redenering expliciet te verankeren aan visuele regio's (via dynamische crops of bounding boxes), blijft de effectiviteit ervan tijdens de inferentiefase onderbelicht.

Een empirische analyse in dit werk onthult een contra-intuïtieve bevinding: het verplichten van expliciete objectboxen of crop-tools tijdens inferentie verlaagt vaak de prestaties vergeleken met standaard tekstuele CoT.

• Tool-gebaseerde benaderingen (bijv. DeepEyes) die externe crop-tools aanroepen, lijden wanneer de crop-lokalisatie slecht is, wat visuele ruis introduceert die de antwoordvoorspelling schaadt.
• Expliciete grounding-benaderingen (bijv. TreeVGR) die het genereren van bounding boxes binnen de CoT vereisen, presteren consistent slechter dan tekstuele CoT over alle kwaliteitsintervallen van lokalisatie.

De auteurs hypothetiseren dat de visuele lokalisatiecapaciteit kan worden geïnternaliseerd in het tekstuele redeneerproces. Het verplichte genereren van expliciete coördinaten tijdens inferentie introduceert onnodige interferentie, wat het model afleidt van zijn primaire doel: de antwoordvoorspelling.

2. Methodologie: iVGR

Om dit aan te pakken, stellen de auteurs iVGR (Internalizing Visually Grounded Reasoning) voor, een nieuw reinforcement learning (RL) framework dat is ontworpen om lokalisatiecapaciteiten over te dragen van een gegronde stroom naar een puur tekstuele redeneerstroom.

Dual-Stream Training Strategie

De kern van iVgr is een dual-stream trainingsmechanisme waarbij de policy MLLM voor elke trainingsquery twee verschillende stromen rollouts genereert:

1. Grounded Stream: Het model wordt geprompt om expliciet bounding boxes (<box>[x1, y1, x2, y2]</box>) te voorspellen wanneer er naar objecten wordt verwezen. Deze stroom wordt beloond voor formaat, antwoordnauwkeurigheid en lokalisatiekwaliteit (IoU).
2. Textual Stream: Het model voert standaard natuurlijke taalredenering uit zonder expliciete grounding-beperkingen.

Consistency Reward

De cruciale innovatie is de Consistency Reward, die de tekstuele stroom afstemt op de hoogwaardige redenering uit de gegronde stroom.

• Referentie Selectie: Een "Rollout Archive" houdt de tot nu toe beste gegronde CoT (gebaseerd op IoU en nauwkeurigheid) per query bij.
• Semantische Afstemming: Een externe LLM-judge evalueert de semantische consistentie tussen de tekstuele CoT en de gearchiveerde gegronde referentie. De judge wijst een score toe (0.0 tot 1.0) op basis van of de tekstuele beschrijving overeenkomt met de visuele feiten die in de gegronde referentie zijn vastgesteld (bijv. het weglaten van details, het toevoegen van hallucinaties of het tegenspreken van feiten).
• Optimalisatie: De tekstuele stroom wordt geoptimaliseerd om deze consistency reward te maximaliseren, waardoor het effectief leert om objecten impliciet te "zien" en te lokaliseren binnen de tekst, zonder coördinaten te produceren.

Tool-Assisted Test-Time Scaling

Ho'ewel het model is getraind om grounding te internaliseren, behoudt iVGR de flexibiliteit om externe tools te gebruiken. Tijdens de testfase wordt een workflow voorgesteld waarbij het model eerst een gegronde CoT genereert om bounding boxes te extraheren. Deze boxen worden vervolgens gebruikt om de afbeelding te croppen (inclusief een "union crop" van alle regio's), en het model voert redenering uit op deze multi-view inputs met behulp van standaard tekstuele CoT.

3. Belangrijkste Bijdragen

• Empirische Analyse: Het artikel demonstreert dat expliciete visuele grounding tijdens inferentie vaak de prestaties schaadt, wat suggereert dat lokalisatiecapaciteiten impliciet kunnen worden overgedragen naar tekstuele CoT.
• iVGR Framework: Een reinforcement learning-gebaseerde dual-stream strategie die een consistency reward gebruikt om visuele lokalisatie te internaliseren in tekstuele redenering, waardoor de noodzaak voor expliciete coördinaatgeneratie tijdens inferentie wordt geëlimineerd.
• Schaalbaarheid en Compatibiliteit: De methode wordt gevalideerd op Qwen2.5-VL en Qwen3-VL modellen, waarbij significante verbeteringen worden getoond over fijnmazige en algemene benchmarks, terwijl de compatibiliteit met tool-geassisteerde workflows behouden blijft.

4. Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op fijnmazige VQA-benchmarks (V*, HR4K, HR8K) en algemene redeneertaken (MME-RW-Lite, POPE, RealWorldQA, etc.).

• Prestatiewinst: iVGR presteert aanzienlijk beter dan bestaande baselines. Op het Qwen2.5-VL-7B model bereikt iVGR een gemiddelde verbetering van 6,5% over de benchmarks, met substantiële winst in fijnmazige taken (bijv. +10,4% op HR8K).
• Vergelijking met SOTA: Het overtreft zowel tool-gebaseerde methoden (zoals DeepEyes) als expliciete grounding-methoden (zoals TreeVGR) zonder dat er externe tools nodig zijn tijdens de primaire inferentiefase.
• Bewijs van Internalisering: Attention score-analyse laat zien dat de iVGR tekstuele stroom sterker aandacht besteedt aan beeldtokens dan zelfs de alleen gegronde-stroom variant, wat bevestigt dat het model visuele grounding succesvol heeft geïnternaliseerd.
• Tool Synergie: Wanneer uitgerust met de voorgestelde tool-assisted test-time scaling (gebruikmakend van crops), verbetert de prestatie verder (bijv. +1,5% op HR4K voor Qwen3-VL-8B), wat de flexibiliteit van de methode aantoont.

5. Betekenis en Claims

Het artikel claimt dat iVGR een efficiënter en robuuster paradigma biedt voor fijnmazige visuele redenering. Door de lokalisatiecapaciteit te internaliseren, vermijdt het model de ruis en interferentie die worden veroorzaakt door de verplichte expliciete generatie van coördinaten tijdens de inferentie.

De auteurs positioneren iVGR als een methode die:

1. De capaciteit van visuele lokalisatie ontkoppelt van de noodzaak van expliciete outputformaten.
2. Fijnmazige perceptie verbetert zonder de flexibiliteit van standaard tekstuele redenering op te offeren.
3. De compatibiliteit met externe tools behoudt, waardoor een hybride aanpak mogelijk is waarbij tools kunnen worden ingezet tijdens de testtijd als er een hogere precisie vereist is.

Het werk suggereert dat de toekomst van visueel gegronde redenering niet ligt in het dwingen van modellen om coördinaten te produceren, maar in het trainen van hen om te redeneren met een impliciet, geïnternaliseerd begrip van de visuele ruimte.