DeepEyes: Incentivizing "Thinking with Images" via Reinforcement Learning

Probleemstelling

Grote Vision-Language Modellen (VLM's) presteren uitstekend in multimodale begrip, maar worstelen met het diep integreren van visuele informatie in hun redeneerprocessen. De huidige benaderingen vertrouwen grotendeels op tekstgebaseerde redenering (Chain-of-Thought of CoT), waarbij visuele data vaak slechts als statische input wordt behandeld en niet actief wordt verkend tijdens het denkproces. Dit staat in contrast met menselijke cognitie, waarbij visuele fixaties en het actief "nadenken met beelden" essentieel zijn voor nauwkeurige perceptie en besluitvorming. Bestaande methoden die visuele informatie proberen te integreren, maken vaak gebruik van vooraf gedefinieerde workflows of externe gespecialiseerde modellen, wat leidt tot suboptimale prestaties en een gebrek aan flexibiliteit.

Methodologie: DeepEyes

De auteurs introduceren DeepEyes, een model dat leert om "met beelden te denken" door middel van end-to-end versterkende leerling (Reinforcement Learning - RL), zonder dat er vooraf verzamelde redeneringsdata nodig is voor een koude start (Supervised Fine-Tuning of SFT).

De kern van de methode bestaat uit de volgende componenten:

1. Interleaved Multi-modal Chain-of-Thought (iMCoT):
   In plaats van alleen tekst te genereren, kan het model tijdens het redeneren actief beslissen om een "zoom-in" actie uit te voeren. Het genereert coördinaten voor een bounding box, knipt het relevante gebied uit de originele afbeelding en voegt dit nieuwe visuele fragment toe aan de context. Dit creëert een wisselend patroon van tekstuele redenering en visuele waarneming.

2. Actieve Perceptie als Intrinsic Capability:
   Het model maakt gebruik van zijn eigen native "grounding"-vaardigheid (het kunnen lokaliseren van objecten) als een interne tool. Er zijn geen externe API's of gespecialiseerde modellen nodig. Het model leert strategisch te beslissen wanneer en waar het moet inzoomen om informatie te vergaren.

3. Reinforcement Learning Strategie:

   • Reward Design: De beloning bestaat uit drie delen: een nauwkeurigheidsreward ($R_{acc}$), een formatreward ($R_{format}$) en een conditionele tool-bonus ($R_{tool}$). Deze bonus wordt alleen gegeven als het antwoord correct is én het model actief perceptie heeft gebruikt. Dit stimuleert het model om inzoomen alleen te gebruiken wanneer het daadwerkelijk helpt bij het oplossen van de taak, in plaats van willekeurige acties.
   • Optimalisatie: Er wordt gebruik gemaakt van Group Relative Policy Optimization (GRPO) om de hele trajecten (tekst + acties + observaties) gezamenlijk te optimaliseren.

4. Data Selectie en Cursatie:
   Om het probleem van een koude start op te lossen (waarbij het model in het begin slecht presteert zonder SFT), hebben de auteurs een data-selectiemechanisme ontwikkeld. Ze filteren trainingsdata op basis van moeilijkheidsgraad en "perceptie-utility", zodat alleen voorbeelden worden gebruikt waarbij actief inzoomen de kans op een correct antwoord vergroot.

Belangrijkste Bijdragen

• Native "Thinking with Images": DeepEyes demonstreert dat het vermogen om actief visuele informatie te integreren tijdens het redeneren natief kan ontstaan via RL, zonder complexe workflows of externe tools.
• End-to-End Training zonder SFT: Het model vereist geen vooraf verzamelde "Chain-of-Thought" data voor supervisie, wat de complexiteit van dataverzameling drastisch verlaagt.
• Dynamische Evolutie van Redenering: De auteurs identificeren drie fasen in het leerproces: initiële exploratie, frequente maar inefficiënte toepassing, en uiteindelijk een selectieve en efficiënte strategie die menselijke cognitieve patronen nabootst (zoals visuele zoektochten, vergelijkingen en bevestiging).
• Verbeterde Robuustheid: Het model toont aanzienlijke verbeteringen in het verminderen van hallucinaties en het oplossen van complexe wiskundige en perceptie-taken.

Resultaten

DeepEyes (gebaseerd op een 7B parameter model) presteert aanzienlijk beter dan bestaande state-of-the-art modellen op diverse benchmarks:

• Hoge Resolutie Benchmarks: Op de V* benchmark (focust op fijne details in hoge resolutie) bereikt DeepEyes 90,1% nauwkeurigheid, een stijging van +18,9% ten opzichte van de Qwen2.5-VL 7B baseline. Ook op HR-Bench (4K en 8K) zijn er significante verbeteringen (+6,3% en +7,3%).
• Algemene Perceptie en Redenering: Op de MME-RealWorld-Lite benchmark overtreft het model zowel de 7B als de 32B versies van Qwen2.5-VL.
• Hallucinatiemitigatie en Grounding: Het model toont een sterkere vermogen om objecten correct te lokaliseren (refCOCO) en reduceert hallucinaties aanzienlijk door visuele details actief te verifiëren in plaats van te vertrouwen op taalkundige aannames.
• Wiskundig Redeneren: Er zijn consistente verbeteringen gezien op uitdagende wiskunde-benchmarks zoals MathVista en MathVerse.

Betekenis en Impact

Deze studie markeert een belangrijke stap in de ontwikkeling van multimodale AI-systemen. DeepEyes bewijst dat versterkende leerling (RL) een krachtig middel is om modellen te leren actieve perceptie toe te passen, waardoor ze zich gedragen als menselijke waarnemers die hun blik richten op relevante details.

De belangrijkste implicaties zijn:

1. Schaalbaarheid: De methode is schaalbaar naar grotere modellen (32B parameters toonde nog betere prestaties en complexere redeneerketens).
2. Interpreteerbaarheid: Door de "iMCoT" aanpak wordt het denkproces transparanter; men kan zien waar en waarom het model inzoomt.
3. Toekomstperspectief: Het kader biedt een basis voor toekomstige systemen die niet alleen kijken, maar actief "onderzoeken" met visuele hulpmiddelen, wat essentieel is voor complexe taken in de echte wereld zoals medische beeldanalyse, wetenschappelijke data-analyse en robotica.

Kortom, DeepEyes verschuift de focus van passief beeldbegrip naar actief visueel redeneren, waarbij het model leert om visuele bewijslast strategisch in te zetten om zijn redeneerprocessen te versterken.