MM-DeepResearch: A Simple and Effective Multimodal Agentic Search Baseline

Dit paper introduceert MM-DeepResearch, een krachtige multimodale agent die drie innovaties combineert – Hyper-Search voor het genereren van trainingsdata, DR-TTS voor het optimaliseren van zoektrajecten via tool-experts, en een offline zoekmachine voor kostenefficiënt leren – om complexe onderzoekstaken succesvol uit te voeren.

De kern

Stel je voor dat je een super-rechercheur bent die niet alleen tekst kan lezen, maar ook foto's kan "snuffelen" om antwoorden te vinden. Dat is precies wat MM-DeepResearch doet. Het is een slimme computerprogramma dat complexe vragen kan beantwoorden door actief op internet te zoeken, net als een menselijke onderzoeker.

Maar hoe bouw je zo'n super-rechercheur? De auteurs van dit paper stuiten op drie grote problemen, die ze met drie creatieve oplossingen oplossen. Laten we het eens bekijken met een paar alledaagse vergelijkingen.

Het Probleem: De Drie Muren

1. Geen oefenmateriaal: Er zijn heel weinig vragen waarbij je zowel foto's als tekst moet zoeken om het antwoord te vinden. Het is alsof je iemand wilt leren vissen, maar er zijn geen visjes in het water om op te oefenen.
2. Geen goede routes: Bestaande methodes weten niet goed hoe ze stap-voor-stap moeten zoeken. Het is alsof je iemand een kaart geeft, maar die kaart heeft alleen lijnen die doodlopen.
3. Te duur: Het trainen van zo'n systeem met echte internet-zoekopdrachten kost duizenden dollars. Dat is alsof je een auto wilt leren rijden, maar elke kilometer brandstof kost je een maandloon.

De Oplossing: De Drie Magische Tools

Om deze muren te doorbreken, hebben de onderzoekers drie slimme tools bedacht:

1. Hyper-Search: De "Web-Web" (Het Kruisbestuivingsnet)

Stel je een enorm web voor, maar niet zomaar één. Dit is een hyperweb (een hypergraaf).

• Hoe het werkt: Normaal gesproken zijn foto's en tekst los van elkaar. Hyper-Search plakt ze samen als een gigantisch spinnenweb. Als je een foto van een kasteel hebt, koppelt dit systeem die foto direct aan de tekst over de bouwmeester, de locatie, en andere foto's van soortgelijke kastelen.
• De Analogie: Het is alsof je een detective bent die niet alleen naar een foto kijkt, maar direct een magische lijn trekt naar alle boeken, nieuwsartikelen en andere foto's die ermee te maken hebben. Hierdoor kunnen ze automatisch duizenden moeilijke vragen genereren die alleen opgelost kunnen worden door die lijnen te volgen. Ze noemen dit Hyper-Search.

2. DR-TTS: De "Meester-Orkestratie" (De Sfeer van de Expert)

Stel je een orkest voor waar elke muzikant een instrument bespeelt.

• Hoe het werkt: Vaak probeert één AI alles zelf te doen, wat resulteert in een rommelig geluid. DR-TTS (Decompose-Recompose Tool Tree Search) splitst het werk op. Eerst leert het systeem één "meester" voor het zoeken met tekst, één "meester" voor het zoeken met foto's, en één voor het zoeken in databases.
• De Analogie: In plaats van één generalist die alles halfslachtig doet, heb je nu een team van specialisten. Vervolgens laat je deze specialisten samenwerken in een boomstructuur (zoals een stamboom van beslissingen). Ze proberen verschillende routes uit: "Wat als we eerst een foto zoeken? En wat als we daarna tekst zoeken?" De beste route wordt gekozen. Dit zorgt voor een perfect getrainde "zoek-orchest" dat weet precies welk instrument (tool) op welk moment te spelen.

3. De Offline Zoekmachine: De "Bibliotheek van de Toekomst"

• Hoe het werkt: In plaats van elke keer het echte, dure internet op te zoeken (wat kostbaar is), bouwen ze een offline zoekmachine. Dit is een enorme, vooraf ingevulde bibliotheek met miljoenen pagina's en foto's.
• De Analogie: Stel je voor dat je een student wilt leren voor een examen. In plaats van hem elke dag naar de bibliotheek te sturen (waar hij lang moet wachten en betalen voor kopieën), geef je hem een perfecte, complete set van alle boeken in zijn kamer. Hij kan dan 24/7 oefenen, fouten maken en leren, zonder dat het hem één cent kost. Dit maakt het mogelijk om het systeem te trainen met duizenden "proefrondes" zonder de bank te laten springen.

Het Resultaat: De Super-Rechercheur

Door deze drie tools te combineren, hebben ze MM-DeepResearch gebouwd.

• Het heeft geoefend op de gegenereerde "Hyper-Search" vragen.
• Het heeft geleerd van de slimme "DR-TTS" routes.
• Het heeft getraind in de goedkope "Offline Bibliotheek".

Wanneer ze dit systeem testen op echte, moeilijke vragen (waarbij je foto's en tekst moet combineren), presteert het beter dan veel andere geavanceerde modellen, zelfs die welke duurder zijn getraind.

Kortom: Ze hebben een manier gevonden om een AI te leren "diep te graven" in de wereld van informatie, zonder dat ze daarvoor een fortuin hoeven uit te geven of wachten op perfecte oefenmateriaal. Het is alsof ze een genie hebben opgeleid in een privé-schuilplaats met alle boeken ter wereld, zodat het straks de slimste detective van de stad is.

Technische samenvatting

1. Het Probleem

De auteurs identificeren drie fundamentele uitdagingen bij het ontwikkelen van multimodale agenten die diep onderzoek kunnen verrichten (deep research agents) met expliciet redeneren, planning en het gebruik van meerdere zoektools:

1. Tekort aan zoekintensieve multimodale QA-data: Er zijn zeer beperkte publieke datasets die multi-turn zoekopdrachten en het gebruik van meerdere tools vereisen. Dit leidt tot onvoldoende supervisie om agenten te trainen die actief zoeken.
2. Gebrek aan effectieve zoektrajecten: Bestaande methoden voor het synthetiseren van zoektrajecten zijn vaak ontworpen voor single-turn zoekopdrachten en zijn ontoereikend voor complexe, multi-turn scenario's waarbij iteratief redeneren en verschillende tools nodig zijn.
3. Verbodsfyke kosten van online zoek-API's: Het trainen met online zoek-API's (zoals SerpAPI of Jina) is extreem duur (duizenden dollars per trainingrun), wat uitgebreide experimenten en systematische exploratie beperkt.

2. Methodologie

Om deze uitdagingen aan te pakken, stellen de auteurs MM-DeepResearch voor, een multimodaal agent dat is gebouwd op drie kerncomponenten:

A. Hyper-Search (Generatie van Zoekintensieve Data)

Om het tekort aan data op te lossen, introduceren ze een methode gebaseerd op hypergrafen:

• Constructie: Webafbeeldingen en webpagina-inhoud worden gemodelleerd als knooppunten (nodes). Relaties tussen deze knooppunten (binnen en tussen modaliteiten) worden vastgelegd via hyperedges.
• Expansie: Het systeem breidt de graaf uit door reverse image search, visuele zoekopdrachten en het extraheren van relevante URL's en afbeeldingen uit tekst.
• QA Generatie: Er worden twee strategieën gebruikt om vragen te genereren die het gebruik van zoektools vereisen:
  • Intra-hyperedge: Vragen binnen één hyperedge (vereist kruismodaliteits-informatie).
  • Inter-hyperedge: Vragen die informatie combineren over meerdere hyperedges, wat diepere zoekopdrachten en meer rondes vereist.
• Filtering: Een MLLM filtert lage kwaliteit data, dubbele vragen en vragen die zonder zoeken te beantwoorden zijn. Het resultaat is de Hyper-Search-3K dataset.

B. DR-TTS (Decompose–Recompose Tool Tree Search)

Om effectieve zoektrajecten te synthetiseren zonder direct een groot model te laten falen bij complexe taken:

• Decompositie: Taken worden opgesplitst op basis van het type zoektool (bijv. tekst-naar-tekst, afbeelding-naar-afbeelding). Er worden gespecialiseerde "experts" getraind voor elk tooltype via Reinforcement Learning (RL).
• Recompositie: Deze experts worden gecombineerd in een Boomzoek-algoritme (Tree Search). Het systeem verkent diverse paden door experts te wisselen op elke stap.
• Selectie: Alleen trajecten die leiden tot een correct antwoord (gevalideerd door een LLM) worden geselecteerd voor Supervised Fine-Tuning (SFT). Dit levert de DR-TTS-10K dataset op.

C. Offline Zoekengine

Om de kosten van online API's te omzeilen:

• De auteurs bouwen een offline zoekengine die vooraf een grote multimodale corpus verzamelt (webpagina's, Wikipedia, afbeeldingen).
• Tijdens het RL-training (GRPO) worden zoekopdrachten uitgevoerd tegen deze lokale database in plaats van live APIs.
• Dit verlaagt de kosten van duizenden dollars naar nul en vermindert de latentie aanzienlijk, terwijl het nog steeds effectief leren van zoekgedrag mogelijk maakt.

D. Trainingspipeline

Het model wordt getraind in twee fasen:

1. SFT (Supervised Fine-Tuning): Op de door DR-TTS gegenereerde zoektrajecten om patronen voor toolgebruik en redeneren te leren.
2. RL (Reinforcement Learning): Multi-turn RL (GRPO) met de offline zoekengine. De beloning (reward) is gebaseerd op de correctheid van het antwoord en de naleving van het juiste format voor toolgebruik.

3. Belangrijkste Resultaten

De prestaties van MM-DeepResearch werden geëvalueerd op zes benchmarks (o.a. SimpleVQA, MMSearch, LiveVQA, FVQA, InfoSeek, Browsecomp-VL):

• Superioriteit: MM-DeepResearch (zowel de 8B als 32B variant) presteert significant beter dan bestaande state-of-the-art modellen, waaronder SenseNova-MARS-8B, MMSearch-R1, en WebWatcher.
• Verbetering: De 8B-versie behaalde een gemiddelde verbetering van 3.4 punten ten opzichte van SenseNova-MARS-8B en 17% ten opzichte van de basis Qwen3-VL-8B.
• Van Scratch: Zelfs zonder native tool-use capaciteiten (getest op Qwen2.5-VL-7B), slaagde het model erin om effectieve zoekagenten te worden na training, met een verbetering van 23% ten opzichte van eerdere 7B-modellen.
• Kosten-efficiëntie: Het gebruik van de offline engine maakte uitgebreid RL mogelijk zonder de hoge kosten van online APIs.

4. Belangrijkste Bijdragen

1. Hyper-Search: De eerste toepassing van hypergrafen voor het synthetiseren van zoekintensieve multimodale QA-data, wat zorgt voor complexe, multi-tool vragen.
2. DR-TTS: Een innovatieve methode die zoektaken decomposeert in gespecialiseerde experts en deze recomposeert via boomzoek om hoogwaardige, diverse zoektrajecten te genereren.
3. Offline Zoekengine: Een schaalbare infrastructuur die agent-based RL mogelijk maakt zonder afhankelijkheid van dure online zoek-API's.
4. Empirisch Bewijs: Uitgebreide experimenten tonen aan dat deze aanpak leidt tot superieure prestaties in diep multimodaal onderzoek, zowel voor modellen met als zonder native agent-capaciteiten.

5. Betekenis en Impact

Dit werk biedt een eenvoudig maar effectief basismodel voor de toekomst van multimodale deep research agents. Het lost het "chicken-and-egg" probleem op van data-tekort en hoge trainingskosten. Door te laten zien dat offline simulatie en gespecialiseerde expert-training leiden tot betere resultaten dan directe training met online APIs, opent het de deur voor bredere adoptie en onderzoek naar autonome, redenerende multimodale systemen die complexe wereldwijde vragen kunnen beantwoorden door actief informatie te zoeken en te synthetiseren.