DeepEyesV2: Toward Agentic Multimodal Model

In dit artikel wordt DeepEyesV2 geïntroduceerd, een agentic multimodaal model dat door middel van een twee-traps trainingspipeline (koude start gevolgd door versterkingsleren) en een nieuw benchmark RealX-Bench effectief externe hulpmiddelen zoals code-uitvoering en webzoekopdrachten integreert in complexe redeneertaken.

De kern

Stel je voor dat je een zeer slimme, maar soms wat passieve assistent hebt. Hij kan foto's bekijken en teksten lezen, maar als hij een vraag krijgt die moeilijk is, blijft hij vaak steken. Hij zegt: "Ik denk dat dit een bloem is," maar durft niet echt te controleren of het klopt, of hij probeert het te berekenen zonder een rekenmachine.

Het artikel over DeepEyesV2 introduceert een nieuwe versie van zo'n assistent die niet alleen kijkt en leest, maar ook actief aan de slag gaat. Het is alsof we deze assistent hebben getraind om niet alleen een bril te dragen, maar ook een gereedschapskist mee te nemen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Luie" Assistent

Vroeger waren slimme modellen (zoals de vorige versie van DeepEyes) als een student die alleen uit zijn hoofd leert. Als hij een vraag kreeg over een foto, probeerde hij het antwoord te raden. Als hij een rekenfout maakte of een detail niet zag, gaf hij het op of gaf een verkeerd antwoord. Hij durfde geen hulpmiddelen te gebruiken, zoals een vergrootglas (om een foto in te zoomen) of Google (om iets op te zoeken).

2. De Oplossing: Twee Stappen naar een "Agent"

De onderzoekers van DeepEyesV2 hebben ontdekt dat je zo'n assistent niet zomaar kunt zeggen: "Ga nu zelfstandig werken!" als hij nog niet weet hoe. Als je dat probeert, begint hij te klooien met code die niet werkt of geeft hij op.

Daarom hebben ze een twee-stappenplan bedacht:

• Stap 1: De "Koude Start" (De Oefensessie)
  Stel je voor dat je iemand leert autorijden. Je kunt niet direct op de snelweg beginnen. Eerst moet je op een parkeerplaats oefenen.
  In deze fase trainen ze het model met speciale voorbeelden waar het moet leren hoe het gereedschap gebruikt moet worden. Het leert: "Oh, als ik een bloem moet herkennen, moet ik eerst de foto inzoomen en dan op Google zoeken." Het leert de basisbewegingen van het gereedschap zonder dat het al te moeilijk is.

• Stap 2: Versterkt Leren (De Snelweg)
  Nu het model de basisbewegingen kent, laten ze het los op een moeilijker parcours. Hier krijgen ze beloningen (punten) als ze het juiste antwoord vinden door slim gebruik te maken van de tools.
  Als het model zelfstandig beslist: "Ik ga eerst een stukje van de foto afsnijden, dan een berekening maken, en pas dan zoeken," krijgt het een sterretje. Als het domweg raadt, krijgt het geen ster. Zo leert het model wanneer het gereedschap nodig is en wanneer het gewoon kan denken.

3. De Gereedschapskist

DeepEyesV2 heeft drie hoofdtools in zijn koffer:

• De Code-uitvoerder (De Rekenmachine & Schaar): Hij kan Python-code schrijven om foto's te knippen, kleuren te meten of moeilijke wiskundeproblemen op te lossen. Het is alsof hij een schaar en een rekenmachine in zijn hand heeft.
• De Zoekmachine (De Bibliotheek): Als hij iets niet weet, zoekt hij op internet. Hij kan zoeken op tekst ("Wie is deze persoon?") of op afbeelding ("Wat voor bloem is dit?").
• De Denker (Het Brein): Hij combineert alles. Hij kijkt naar de foto, knipt het relevante stukje af, zoekt de naam op, en gebruikt de uitkomst om de vraag te beantwoorden.

4. De Nieuwe Test: RealX-Bench

Om te zien of deze nieuwe assistent echt slim is, hebben de onderzoekers een nieuwe test ontwikkeld genaamd RealX-Bench.
Stel je voor dat de oude tests vragen stelden als: "Wat zie je op deze foto?" (Te makkelijk) of "Wat is 2+2?" (Te simpel).
De nieuwe test is als een echte detective-case: "Kijk naar deze foto van een beursgrafiek. Vergelijk de prijsdaling van dit bedrijf met die van Tootsie Roll op dezelfde dag. Welke is groter?"
Om dit op te lossen, moet je:

1. De grafiek op de foto goed lezen (Perceptie).
2. De naam van het bedrijf opzoeken (Zoeken).
3. De cijfers vergelijken en rekenen (Redeneren).

De meeste oude modellen faalden hierop. DeepEyesV2 slaagde erin om deze complexe puzzels op te lossen door zijn tools slim te combineren.

5. Het Grote Resultaat: Slimme Keuzes

Het mooiste aan DeepEyesV2 is dat hij niet elke keer gereedschap gebruikt.

• Als de vraag simpel is ("Wat is de kleur van de auto?"), kijkt hij gewoon en geeft het antwoord.
• Als de vraag moeilijk is ("Hoeveel medicinale kruiden staan er in dit liedje?"), pakt hij zijn schaar, zoekt hij de tekst op en telt hij ze.

Het model leert dus adaptief te zijn. Het weet precies wanneer het zijn gereedschapskist moet openen en wanneer hij gewoon zijn hersenen kan gebruiken.

Kortom: DeepEyesV2 is een multimodale assistent die niet alleen kijkt en luistert, maar ook actief werkt. Door eerst te oefenen en daarna te leren door fouten te maken en beloningen te krijgen, is hij in staat om complexe, echte wereldproblemen op te lossen die voor eerdere modellen te moeilijk waren. Het is de stap van een "slimme lezer" naar een "slimme doener".

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DeepEyesV2: Toward Agentic Multimodal Model" in het Nederlands.

Probleemstelling

Huidige Multimodale Large Language Models (MLLM's) zijn over het algemeen passief: ze kunnen tekst en afbeeldingen interpreteren, maar missen het vermogen om actief externe hulpmiddelen aan te roepen (zoals code-uitvoering of webzoekopdrachten) en deze te integreren in hun redeneerproces. Dit beperkt hun betrouwbaarheid in complexe scenario's die vereisen dat visuele waarneming, kenniszoekopdrachten en logisch redeneren nauw met elkaar zijn verweven.

• Beperkingen: Bestaande modellen kunnen geen complexe bewerkingen op visuele of numerieke data uitvoeren (bijv. bijsnijden, meten) en hebben geen toegang tot actuele, externe kennis, wat leidt tot hallucinaties en verouderde antwoorden.
• Onderzoeksvraag: Hoe kunnen we een "agente" multimodale model bouwen dat niet alleen begrijpt, maar ook actief hulpmiddelen aanroept om bewijs te verzamelen, te verifiëren en tot betrouwbare conclusies te komen?

Methodologie

De auteurs introduceren DeepEyesV2, een agentic multimodaal model dat code-uitvoering (Python) en webzoekopdrachten (tekst en afbeelding) naadloos integreert in één dynamisch redeneerlus. De aanpak bestaat uit drie pijlers:

1. Twee-staps trainingspipeline

Directe toepassing van Reinforcement Learning (RL) op bestaande modellen (zoals Qwen2.5-VL) bleek onvoldoende; het model faalde in het genereren van stabiele tool-gebruikspatronen en neigde naar "reward hacking" (het genereren van lege codeblokken om beloningen te krijgen). Daarom wordt een twee-fasen aanpak gebruikt:

• Fase 1: Cold-Start (Supervised Fine-Tuning - SFT):
  • Er wordt een hoogwaardig dataset samengesteld met voorbeelden waar tool-gebruik essentieel is voor het juiste antwoord.
  • De dataset bevat trajecten van sterke modellen (zoals GPT-4o, Claude) die stap-voor-stap redeneren, inclusief het genereren van uitvoerbare code en zoekopdrachten.
  • Data wordt gefilterd op moeilijkheid (alleen vragen die het basismodel niet direct kan oplossen) en op "tool-baten" (gevallen waar tools de nauwkeurigheid verbeteren).
  • Dit stelt het model in staat om basispatronen voor tool-gebruik en dieper redeneren te leren.
• Fase 2: Reinforcement Learning (RL):
  • Na de cold-start wordt RL toegepast om het model te optimaliseren voor dynamische besluitvorming.
  • Het model leert in een interactieve omgeving wanneer en hoe tools aan te roepen.
  • Beloningssysteem: Er wordt gebruikgemaakt van een eenvoudig, spaarzaam beloningssysteem bestaande uit twee componenten: nauwkeurigheid (komt het antwoord overeen met de ground truth?) en formaat (volgt de output de vereiste structuur?). Er is geen complexe reward-engineering nodig.

2. Dataset Curation

De trainingsdata is zorgvuldig samengesteld uit drie categorieën:

• Waarneming (Perception): Taken die fijnmazige visuele details vereisen (bijv. bijsnijden van objecten).
• Redenering (Reasoning): Wiskundige en logische taken die numerieke analyse vereisen.
• Zoeken (Search): Taken die toegang vereisen tot externe kennis (webzoekopdrachten).
  De dataset bevat ook lange Chain-of-Thought (CoT) trajecten om het redeneervermogen te versterken.

3. Evaluatie: RealX-Bench

Bestaande benchmarks testen vaak slechts één vaardigheid (bijv. alleen waarneming of alleen zoeken). De auteurs introduceren RealX-Bench, een nieuwe benchmark die de gecoördineerde interactie tussen waarneming, zoeken en redeneren evalueert in realistische scenario's.

• Opbouw: 300 vragen uit vijf domeinen (Dagelijks leven, Media, Sport, Kennis, Spellen).
• Eisen: Vragen zijn ontworpen om moeilijk te zijn en vereisen vaak meerdere stappen, zoals het lokaliseren van een visueel element, het zoeken naar externe informatie en het combineren van deze bewijzen.

Belangrijkste Bijdragen

1. DeepEyesV2 Architectuur: Een model dat code-uitvoering en webzoekopdrachten unificeert binnen één redeneerlus, waardoor het actief bewijs kan verzamelen en verifiëren.
2. Trainingsparadigma: Het bewijs dat directe RL onvoldoende is en dat een cold-start SFT-fase essentieel is om robuuste tool-gebruikspatronen te vestigen voordat RL wordt toegepast.
3. RealX-Bench: Een nieuwe, uitgebreide benchmark voor het evalueren van geïntegreerde multimodale intelligentie in real-world scenario's.
4. Adaptief Tool-gebruik: Analyse toont aan dat het model leert om context-afhankelijk te handelen: het gebruikt beeldbewerking (zoals bijsnijden) voor waarnemingstaken en numerieke berekeningen voor redeneertaken.

Resultaten

DeepEyesV2 (gebaseerd op Qwen2.5-VL-7B) presteert overtuigend op diverse benchmarks:

• RealX-Bench: DeepEyesV2 overtreft bestaande open-source modellen en zelfs gespecialiseerde "grounded reasoning" modellen. Het behaalt een significant hogere nauwkeurigheid op taken die integratie van alle drie de vaardigheden vereisen, waarbij het de kloof met menselijke prestaties verkleint.
• Wiskundig Redeneren: Op benchmarks zoals MathVerse toont het model een verbetering van +7.1% ten opzichte van de basis Qwen2.5-VL-7B, en presteert het beter dan tekst-only redeneermodellen.
• Zoekopdrachten: Op zoekgerichte benchmarks (zoals MMSearch) bereikt het model 63.7%, wat aanzienlijk hoger is dan MMSearch-R1 (53.8%) en andere zoekmodellen.
• Real-World Begrip: Het model overtreft soms zelfs de 32B-parameter versie van Qwen2.5-VL op specifieke real-world en OCR-taken, dankzij effectief tool-gebruik.
• Zero-Shot Generalisatie: Het model toont sterk vermogen om nieuwe tools en taken (zoals rotatie of mazen oplossen) aan te pakken zonder extra training, wat wijst op sterke generalisatie.

Betekenis en Impact

De studie biedt een blauwdruk voor het ontwikkelen van echte "agente" multimodale modellen. De belangrijkste inzichten zijn:

• Tool-gebruik is niet triviaal: Zonder een zorgvuldig ontworpen cold-start fase faalt RL om betrouwbare tool-gebruikspatronen te genereren.
• Synergie: De kracht ligt in de combinatie van waarneming, zoeken en redeneren. Een model dat alleen zoekt of alleen ziet, is onvoldoende voor complexe real-world taken.
• Efficiëntie: RL zorgt ervoor dat het model leert om selectief tools aan te roepen. Het model wordt efficiënter door tools alleen te gebruiken wanneer nodig, in plaats van ze voor elke vraag te gebruiken.
• Toekomstperspectief: DeepEyesV2 demonstreert dat multimodale modellen kunnen evolueren van passieve vraag-antwoord-systemen naar actieve agenten die zelfstandig complexe problemen oplossen door interactie met de buitenwereld (via code en internet).

Kortom, dit paper markeert een belangrijke stap in de richting van autonome, betrouwbare multimodale AI-systemen die kunnen "denken met beelden" en externe kennis effectief integreren.