Technische Samenvatting: VisReason

Probleemstelling

Huidige Multimodale Large Language Models (MLLM's) hebben aanzienlijke vooruitgang geboekt in visueel begrip, maar blijven beperkt in hun redeneerparadigma's. In tegen tegenstelling tot tekstuele Large Language Models (LLM's), die profiteren van Chain-of-Thought (CoT) prompting om tussenliggende rationales te articuleren, zijn de meeste MLLM's geoptimaliseerd voor directe input-naar-antwoord mapping. Dit gebrek aan expliciete tussenliggende supervisie leidt tot verschillende tekortkomingen:

1. Shortcut Learning: Modellen vertrouwen vaak op linguïstische priors of globale scène-statistieken in plaats van een doelbewuste, stapsgewijze visuele inspectie uit te voeren.
2. Gebrek aan Ruimtelijke Gronding: Bestaande visuele redeneerdatasets zijn vaak klein, domeinspecifiek of missen de gestructureerde multi-round supervisie die nodig is voor compositioneel redeneren.
3. Onvoldoende Dieptebewustzijn: De meeste datasets bieden alleen 2D-annotaties, waardoor ze ongeschikt zijn voor redeneren over relatieve diepte, occlusie en ordinale ruimtelijke relaties (bijv. "achter", "voor").

Het kernprobleem is de afwezigheid van grootschalige datasets die de menselijke, van globaal naar lokaal werkende redeneerworkflow vastleggen die vereist is voor complexe visuele queries, waarbij een model iteratief moet inzoomen op saillante regio's om bewijs te verifiëren.

Methodologie

Dataset Constructie: VisReason en VisReason-Pro

De auteurs introduceren VisReason, een grootschalige dataset met 489.000 geannoteerde voorbeelden verspreid over vier diverse domeinen: Tekst/Document Begrip, Fine-Grained Herkenning, General VQA en Spatial-Aware Relation Reasoning.

De dataset wordt geconstrueerd met behulp van een uniforme pipeline die een global-to-local reasoning workflow afdwingt:

• Multi-Round CoT: Elk sample bevat een multi-turn redeneertrace waarbij het model eerst de globale scène beoordeelt, vervolgens een Region of Interest (RoI) identificeert via een bounding box, en een rationale geeft voordat het eventueel inzoomt voor de volgende ronde.
• Dynamic Zooming: De pipeline dwingt een "zoom-and-verify" gedrag af. Als het doelobject of de tekst klein of subtiel is, wordt het model begeleid om een nauwere bounding box te voorspellen en een nieuwe redeneerstap te genereren op basis van de bijgesneden afbeelding. Dit proces gaat door totdat het antwoord is afgeleid of een rondelimiet (meestal 3–4) is bereikt.
• Depth Augmentation: Om het gebrek aan 3D-gronding aan te pakken, integreren de auteurs pseudo-diepte cues afgeleid van monoculaire diepteschatting (DepthAnythingV2) en semantische segmentatie (SegmentAnythingV2). Deze cues bieden ordinale diepte-informatie (bijv. de relatieve ordening van objecten) om ruimtelijk redeneren te sturen.

VisReason-Pro is een hoogwaardige subset van 165.000 voorbeelden (voornamelijk afkomstig van de GQA-dataset). Deze is samengesteld met behulp van sterkere GPT-4.1-serie modellen om rijkere rationales en preciezere, diepte-geïnformeerde annotaties te genereren. Deze subset richt zich specifiek op complexe ruimtelijke relaties en queries naar kleine objecten.

Trainingsparadigma

De auteurs stellen een trainings- en inferentiepipeline voor waarbij de MLLM leert een sequentie van acties $Y = (a_0, a_1, \dots, a_T)$ te genereren.

• Definitie van Actie: Elke actie $a_t$ bestaat uit een tekstuele redeneersnip $r_t$ en een voorspelde bounding box $b_{t+1}$ voor de volgende region of interest.
• Iteratieve Context: De visuele context voor stap $t$ wordt verkregen door de originele afbeelding $I$ bij te snijden met behulp van de bounding box van de vorige stap. Het model genereert autoregressief de volgende token op basis van de query, de historie van acties en de visuele kenmerken van de huidige crop.
• Supervisie: De modellen worden gefinetuned met behulp van Supervised Fine-Tuning (SFT) met een standaard negative log-likelihood objectief, waarbij de waarschijnlijkheid van de ground-truth redeneersequentie (inclusclusief zowel tekst als geserialiseerde box-coördinaten) wordt gemaximaliseerd.

Belangrijkste Bijdragen

1. VisReason Dataset: De release van een grootschalige (489K) dataset met multi-round, RoI-gegronde rationales die het visuele redeneerproces expliciet superviseren in plaats van alleen het uiteindelijke antwoord.
2. VisReason-Pro: Een hoogwaardige, diepte-geaugmenteerde subset (165K) die gedetailleerde redeneertraces en ordinale diepte-supervisie biedt, wat modellen in staat stelt om over ruimtelijke relaties en occlusie te redeneren.
3. Evaluatie Suite: Een uitgebreide benchmark ontworpen om stapsgewijs redeneren, RoI-lokalisatienauwkeurigheid en diepte-geaugmenteerde ruimtelijke redeneerkracht te evalueren.
4. Uniforme Pipeline: Een demonstratie dat het finetunen van sterke MLLM backbones (bijv. Qwen2.5-VL, InternVL) op deze data substantiële verbeteringen oplevert in fine-grained herkenning, ruimtelijk redeneren en interpreteerbaarheid.

Experimentele Resultaten

De auteurs evalueerden hun modellen (VisReason-7B en VisReason-Pro-7B, gebaseerd op Qwen2.5-VL-7B) tegen state-of-the-art MLLM's op de Visual-CoT benchmark en andere standaard suites.

• Prestatiewinst: VisReason-Pro-7B behaalde de hoogste gemiddelde score (0.802) onder open-source MLLM's en presteerde beter dan baselines zoals LLaVA-NeXT-8B en InternVL-2.5-8B.
• Domeinspecifieke Verbeteringen: De meest significante winsten werden waargenomen in Fine-Grained Recognition (bijv. Birds-200-2011: 0.681 $\to$ 0.831) en Spatial Relation Reasoning (bijv. OpenImages: 0.498 $\to$ 0.805), wat de effectiviteit van RoI-gegronde supervisie bevestigt.
• RoI Lokalisatie: Op de VisReason-Pro held-out suite behaalde het model superieure Intersection over Union (IoU) scores (0.34 bij IoU@0.5) vergeleken met baselines, wat wijst op een verbeterd vermogen om relevante visuele bewijslast te lokaliseren.
• Diepte Redeneren: Het model vertoonde een significante verbetering in "Grounded Ratio" (0.276 vs. <0.04 voor baselines) en een verminderde dieptefout, wat het nut van ordinale diepte cues valideert.
• Menselijke Evaluatie: In een blinded studie met 30 beoordelaars scoorden de VisReason-Pro modellen het hoogst op Grounded Faithfulness (4.46/5) en Stepwise Clarity (4.37/5), wat duidt op meer betrouwbare en coherente redeneerketens.
• Formaatgevoeligheid: De auteurs merkten op dat hoewel multi-round CoT uitblinkt in ruimtelijke en fine-grained taken, de prestaties op standaard short-answer benchmarks (zoals MME) kunnen dalen als het evaluatieprotocol niet overeenkomt met het verbale CoT-formaat. Echter, het overschakelen naar een direct-QA prompt herstelde de prestaties grotendeels, wat suggereert dat de capaciteit aanwezig is maar het inferentieformaat ertoe doet.

Betekenis en Claims

Het artikel claimt dat VisReason de fundamentele mismatch tussen huidige MLLM-trainingsparadigma's en menselijke visuele cognitie aanpakt. Door grootschalige, procesmatige supervisie te bieden die de menselijke "zoom-and-verify" workflow nabootst, stelt de dataset MLLM's in staat om:

• Voorbij shortcut learning en linguïstische priors te bewegen.
• Systematisch, verifieerbaar visueel te redeneren, verankerd in gelokaliseerde cues.
• Complexe ruimtelijke relaties en kleine-object herkenning aan te pakken die moeilijk op te lossen zijn vanuit een enkel globaal beeld.

De auteurs positioneren VisReason als een hoeksteen voor het cultiveren van mensachtige visuele redenering, wat de weg vrijmaakt voor de volgende generatie multimodale intelligentie die door afbeeldingen kan redeneren met dezelfde iteratieve strengheid als tekstueel redeneren. Ze erkennen beperkingen, zoals de afhankelijkheid van pseudo-diepte (niet metrische 3D) en het risico op cascade-lokalisatiefouten als een initiële RoI verkeerd is uitgelijnd, waarbij zij opmerken dat toekomstig werk zelfcorrigerende rollback-mechanismen kan verkennen.