More Thought, Less Accuracy? On the Dual Nature of Reasoning in Vision-Language Models

Titel: Meer denken, minder nauwkeurigheid? Over de dubbele aard van redeneren in Vision-Language Models

1. Het Probleem: De Dubbele Aard van Redeneren

Hoewel redeneren (reasoning) een cruciale vaardigheid is geworden voor Large Language Models (LLMs) en recentelijk ook succesvol is toegepast op Vision-Language Models (VLMs) via Reinforcement Learning (zoals GRPO), ontdekt dit paper een fundamenteel en ongekend probleem: de "dubbele aard" van multimodaal redeneren.

• De Paradox: Terwijl langere redeneerprocessen de logische inferentie verbeteren en helpen bij complexe taken (zoals wiskunde), leiden ze paradoxalerwijs vaak tot een daling in de nauwkeurigheid bij visuele taken.
• Visueel Vergeten (Visual Forgetting): De auteurs identificeren dat naarmate het redeneren langer duurt, het model zijn aandacht voor de visuele input verliest. Het model begint steeds meer te vertrouwen op zijn eigen historische gedachten (tekst) in plaats van de feitelijke visuele details in de afbeelding.
• Gevolg: Dit resulteert in "perceptuele fouten", zoals het verkeerd lezen van grafieken, hallucinaties van objecten die niet bestaan, of het tellen van verkeerde aantallen. De analyse toont aan dat meer dan 50% van de fouten in redeneermodellen voortkomt uit deze perceptieve fouten, en dat veel van deze fouten zouden kunnen worden opgelost als het model eerder zou stoppen met redeneren (early decision).

2. Methodologie: Vision-Anchored Policy Optimization (VAPO)

Om het probleem van visueel vergeten aan te pakken, stellen de auteurs VAPO voor. Dit is een eenvoudige maar effectieve policy gradient-algoritme dat het redeneerproces expliciet stuurt naar visueel verankerde trajecten.

Kerncomponenten van VAPO:

1. Visuele Claims (Visual Claims):
   • Voor elk voorbeeld worden een reeks feitelijke claims gegenereerd over de visuele input (bijv. "De bus is grijs" of "Er zijn drie auto's").
   • Deze claims zijn evenwichtig (evenveel juiste als onjuiste) en onafhankelijk van de oorspronkelijke vraag, zodat ze puur op visuele waarneming moeten worden beoordeeld.
2. Visuele Ankers (Visual Anchors):
   • Tijdens het genereren van het redeneertraject worden deze claims op strategische punten (ankers) ingevoegd.
   • Het model moet op deze ankers een oordeel vellen over de waarheid van de claim (Ja/Nee).
3. Perceptiebeloning (Perception Reward):
   • Naast de gebruikelijke beloningen voor nauwkeurigheid en formaat, introduceert VAPO een specifieke perceptiebeloning.
   • Deze beloning is gebaseerd op de score van het model bij het beoordelen van de visuele claims.
   • Late-Emphasis: De beloning geeft extra gewicht aan ankers die later in het redeneerproces voorkomen. Dit is cruciaal omdat visueel vergeten juist in de latere fasen van het redeneren optreedt.
4. Training:
   • Het algoritme gebruikt een variant van Group Relative Policy Optimization (GRPO), maar met de toegevoegde perceptiebeloning om het model te straffen als het visuele informatie negeert en te belonen als het visueel gefundeerd blijft.

3. Belangrijkste Bijdragen

• Identificatie van het Dual Nature Fenomeen: Het paper levert het eerste systematische bewijs dat langere redenering in VLMs niet altijd leidt tot betere prestaties, maar juist kan leiden tot een verslechtering van de perceptieve grondslag.
• Oorzaakanalyse (Visueel Vergeten): De auteurs tonen empirisch aan dat de daling in prestaties wordt veroorzaakt door een afname van de aandacht voor visuele tokens tijdens het genereren van tekst, wat leidt tot een toename van perceptuele fouten.
• VAPO Algoritme: Ze presenteren een nieuwe trainingsmethode die visuele ankers en perceptiebeloningen gebruikt om het model te dwingen om de visuele input actief te raadplegen tijdens het hele redeneerproces.
• State-of-the-Art Resultaten: Het ontwikkelde model, VAPO-Thinker-7B, bereikt nieuwe state-of-the-art resultaten op diverse benchmarks.

4. Resultaten

De evaluatie is uitgevoerd op tien benchmarks, variërend van wiskundige redenering tot visueel intensieve taken.

• Algemene Prestaties: VAPO-Thinker-7B verbetert de prestaties van sterke baselines (zoals Vision-R1 en VLAA-Thinker) met gemiddeld 2% tot 4%.
• Visueel Intensieve Taken: De verbetering is het meest opvallend bij taken die zwaar afhankelijk zijn van visuele waarneming, zoals MMStar en HallusionBench. Hier slaagt VAPO erin de prestaties van de beste open-source modellen te overtreffen en benadert het de prestaties van gesloten modellen (zoals GPT-5-Thinking).
• Vergelijking met Inference-level Remedies: De auteurs vergelijken VAPO met inferentie-strategieën zoals "Visual Replay" (het opnieuw tonen van de afbeelding) en "Focus Prompt". Hoewel deze methoden helpen, presteert VAPO (een trainingsoplossing) aanzienlijk beter, wat aantoont dat het probleem fundamenteel in het trainingsdoel zit en niet alleen opgelost kan worden tijdens het gebruik.
• Efficiëntie: De methode introduceert slechts een minimale rekentijd overhead tijdens het trainen, omdat het beoordelen van claims slechts een enkele token-output vereist (Ja/Nee).

5. Betekenis en Impact

Dit paper is significant omdat het een fundamentele beperking in de huidige ontwikkeling van redenerende VLMs blootlegt. De gemeenschap heeft vaak aangenomen dat "meer denken" (Test-Time Scaling) altijd beter is. Dit paper weerlegt die aanname voor multimodale taken en toont aan dat zonder expliciete maatregelen om visuele grondslag te behouden, langere redenering contraproductief kan zijn.

VAPO biedt een praktische oplossing die:

1. De betrouwbaarheid van VLMs verhoogt door hallucinaties en perceptuele fouten te verminderen.
2. Toont dat het integreren van visuele feedback in het trainingsdoel essentieel is voor het ontwikkelen van robuuste multimodale redeneringsmodellen.
3. Een nieuwe richting opent voor onderzoek naar hoe redeneren en waarnemen in balans kunnen worden gehouden in toekomstige AI-systemen.

Kortom, het paper concludeert dat voor Vision-Language Models kwaliteit van redeneren (visueel gefundeerd) belangrijker is dan kwantiteit (lengte), en dat VAPO de sleutel is om deze balans te herstellen.