Technische Samenvatting: Iteratieve Visuele Denken (IVT)

Probleemstelling

Vision-Language Models (VLM's) blinken momenteel uit in single-shot ruimtelijke grondingsopdrachten, zoals Referring Expression Comprehension (REC), waarbij ze direct bounding box-coördinaten voorspellen op basis van tekstuele beschrijvingen. Deze modellen missen echter een inherent mechanisme om hun eigen voorspellingen te observeren en te corrigeren. Terwijl mensen ruimtelijke taken oplossen via een closed-loop proces van hypothesen vormen, verifiëren tegen visueel bewijs en verfijnen, opereren VLM's volgens een "single-pass" paradigma.

Het artikel identificeert een kritieke "zelfcorrectie-kloof": het naïef instrueren van een VLM om over zijn eigen gerenderde voorspellingen te itereren leidt tot catastrofale mislukking. In experimenten veroorzaakte het toepassen van iteratief visueel denken zonder specifieke training een daling van de nauwkeurigheid bij IoU ≥ 0.5 (Acc@0.5) van 79,6% naar 48,7% (een daling van 31 procentpunt). Dit onthult dat hoewel VLM's over sterke grondingscapaciteiten beschikken, ze niet in staat zijn om visuele weergaven van hun eigen fouten inherent te interpreteren om zelfcorrectie uit te voeren.

Methodologie: Iteratieve Visuele Denken (IVT)

De auteurs stellen Iteratieve Visuele Denken (IVT) voor, een closed-loop framework waarbij het model een bounding box voorspelt, de voorspelling observeert die als een gekleurde overlay op de originele afbeelding is gerenderd, en deze visuele feedback gebruikt om zijn output iteratief te verfijnen.

De trainingspipeline maakt gebruik van een twee-fasen recept om de zelfcorrectie-kloof te overbruggen:

Fase 1: SFT Warm-up (Supervised Fine-Tuning)

Directe Reinforcement Learning (RL) faalt aanvankelijk omdat het basismodel geen concept heeft van ruimtelijke zelfcorrectie en de neiging heeft om bij elke stap identieke, degeneratieve voorspellingen te produceren. Om dit aan te pakken, introduceren de auteurs een datasynthese-strategie:

• Student-Voorspelling-Gebaseerde Synthese: In plaats van kunstmatig verstoorde ground-truth boxes te gebruiken, gebruikt de pipeline de realistische initiële voorspellingen van het studentmodel zelf (Stap 0) als startpunt voor fouttrajecten. Dit voorkomt "step-0 sandbagging", waarbij modellen leren om opzettelijk slechte initiële voorspellingen te produceren om de trainingsdata na te bootsen.
• Teacher Reasoning Traces: Een teacher VLM genereert corrigerende redeneertrajecten. De teacher observeert de initiële voorspelling van de student (of de gerenderde overlay van vorige stappen) en schrijft een redeneertraject dat ruimtelijke fouten identificeert (bijv. "verschoven", "te groot") en de noodzakelijke correctie uitlegt.
• Training: Het studentmodel wordt getraind op deze trajecten met behulp van cross-entropy loss, waarbij het de structuur van iteratief visueel denken leert: het interpreteren van gerenderde overlays, het genereren van gegronde redeneringen en het outputten van geldige boxes.

Fase 2: GRPO Fine-tuning

Zodra het model de structuur van verfijning begrijpt via SFT, wordt Group Relative Policy Optimization (GRPO) toegepast om het multi-step proces te stabiliseren.

• Beloningsfunctie: Er wordt een eenvoudige beloning gebruikt: de Intersection over Union (IoU) van de laatste stap plus een kleine format bonus voor het parsen van geldige bounding boxes. Deze eenvoud voorkomt de instabiliteit die wordt waargenomen bij complexe, multi-component beloningsfuncties.
• Doelstelling: GRPO optimaliseert traject-niveau uitkomsten met behulp van groep-relatieve voordelen, wat het model aanmoedigt om voorspellingen over verfijningsstappen heen te behouden of te verbeteren in plaats van ze te verslechteren.

Belangrijkste Bijdragen

1. Het IVT Framework: Een closed-loop ruimtelijk redeneringssysteem waarbij VLM's voorspellen, gerenderde voorspellingen observeren en zichzelf corrigeren. Het artikel demonstreert dat deze capaciteit niet natief is; zonder expliciete training veroorzaakt iteratieve verfijning een ernstige prestatiedegradatie.
2. Zelf-Referentiële Datasynthese: Een strategie die de eigen voorspellingen van het basismodel exploiteert als realistische foutbronnen voor SFT-training, waardoor de noodzaak voor menselijk geannoteerde correctietrajecten wordt geëlimineerd.
3. Asymmetrische Twee-Fasen Training: Het artikel stelt vast dat SFT de primaire enabler is van de nauwkeurigheidswinst, omdat het het model de structuur van iteratief denken aanleert. GRPO fungeert als een stabilisator, die de prestatiedegradatie per stap vermindert maar niet de initiële sprong in nauwkeurigheid drijft.
4. Bewijs van Schaalbaarheid: De auteurs demonstreren dat ruimtelijke zelfcorrectie kan worden geïnstilleerd met een bescheiden dataset van 2.400 samples getraind op een enkele GPU, waarmee de single-shot baselines worden overtroffen.

Experimentele Resultaten

Experimenten werden uitgevoerd op een gemengde benchmark van 505 testmonsters van RefCOCOg, Ref-Adv-S, en Ref-L4, met behulp van het Qwen3-VL-4B-Instruct model.

• De Zelfcorrectie-Kloof: Het basismodel met ongetrainde IVT liet de Acc@0.5 dalen van 79,6% naar 48,7%.
• Impact van SFT: Na de SFT warm-up met IVT overtrof het model het single-shot basismodel op alle metrieken:
  • Acc@0.5: 82,0% (+2,4pp)
  • Acc@0.7: 74,1% (+3,2pp)
  • Acc@0.9: 48,3% (+2,8pp)
• Impact van GRPO: Het toevoegen van GRPO aan SFT verminderde de algehele nauwkeurigheid licht vergeleken met SFT+IVT alleen (Acc@0.5: 80,6% vs 82,0%), maar verbeterde de verfijningsstabiliteit aanzienlijk.
  • De gemiddelde degradatie van de IoU per stap daalde van 0,140 (alleen SFT) naar 0,029 (SFT+GRPO), een vijfvoudige reductie.
  • Zonder SFT resulteerde GRPO alleen in "degeneratieve stagnatie", waarbij het model bij elke stap simpelweg de eerste voorspelling kopieerde.

Betekenis en Claims

Het artikel claimt dat ruimtelijke zelfcorrectie een leerbare capaciteit is die expliciet moet worden aangeleerd, aangezien het niet natuurlijk ontstaat in basis VLM's, zelfs niet met visuele feedback. Het werk benadrukt een fundamenteel onderscheid tussen "grondingscapaciteit" (één keer een object vinden) en "zelfcorrectievermogen" (iteratief fouten herstellen op basis van visuele feedback).

De voorgestelde predict-render-refine loop biedt een nieuw paradigma voor ruimtelijke redenering dat de "act-observe-correct" cyclus van embodied agents weerspiegelt. Bovendien biedt het iteratieve proces interpreteerbaarheid, aangezien de redeneertrajecten en gerenderde overlays op elke stap het ruimtelijke besluitvormingsproces van het model transparant maken, in contrast met de "black-box" natuur van single-shot voorspellingen. De auteurs merken op dat hoewel de huidige implementatie zich richt op single-object grounding, het framework representatie-agnostisch is en zich natuurlijk uitbreidt naar segmentatie, keypoints en multi-object redeneren.