MM-DeepResearch: A Simple and Effective Multimodal Agentic Search Baseline

Die Arbeit stellt MM-DeepResearch vor, einen leistungsstarken multimodalen Forschungsagenten, der durch die Einführung von Hyper-Search zur Datengenerierung, DR-TTS zur Optimierung von Suchwerkzeug-Experten und einer Offline-Suchmaschine für kosteneffizientes Reinforcement Learning komplexe Suchaufgaben effektiv löst.

Das Wesentliche

🕵️‍♂️ MM-DeepResearch: Der multikulturelle Detektiv mit einem riesigen Werkzeugkasten

Stellen Sie sich vor, Sie haben einen sehr klugen, aber etwas faulen Assistenten (eine Künstliche Intelligenz), der alles über die Welt weiß, was er in seinem Gedächtnis gespeichert hat. Aber wenn Sie ihn fragen: „Wie sieht das Wetter heute in einer kleinen Stadt in Peru aus, und wie hat sich die Architektur des dortigen Rathauses im Vergleich zu einem ähnlichen Gebäude in Japan verändert?", stößt er an seine Grenzen. Er weiß es einfach nicht, weil es nicht in seinem „Gedächtnisbuch" steht.

Bisherige KI-Modelle waren wie Bibliotheksbesucher, die nur das lesen durften, was auf den Regalen stand. Wenn das Buch fehlte, gaben sie auf.

MM-DeepResearch ist etwas ganz anderes. Es ist wie ein professioneller Privatdetektiv, der nicht nur lesen kann, sondern auch:

1. Denkvermögen hat: Er plant genau, wie er die Antwort findet.
2. Werkzeuge benutzt: Er kann googeln, Bilder suchen, Videos ansehen und Experten fragen.
3. Alles verbindet: Er verknüpft ein Foto mit einem Text und einer Statistik zu einer schlüssigen Geschichte.

Das Problem war bisher: Solche Detektive zu trainieren, war extrem schwierig, teuer und langweilig. Die Forscher haben drei geniale Tricks entwickelt, um das zu lösen.

---

🧩 Trick 1: Der „Hyper-Such-Netz"-Generator (Hyper-Search)

Das Problem: Um einen Detektiv zu trainieren, braucht man viele Übungsaufgaben, bei denen er muss, um das Internet zu durchsuchen. Solche Aufgaben gibt es aber kaum.

Die Lösung: Die Forscher haben eine Art digitalen Spinnennetz-Generator gebaut.
Stellen Sie sich vor, Sie haben ein Foto einer alten Burg.

• Der Generator nimmt dieses Foto und sucht im Internet nach ähnlichen Fotos (z. B. von anderen Winkeln).
• Dann sucht er nach Texten über diese Burg (z. B. Baupläne, historische Artikel).
• Er verknüpft alles zu einem riesigen Spinnennetz (Hypergraph).

Aus diesem Netz generiert er dann automatisch schwierige Fragen wie: „Vergleichen Sie die Dachziegel auf diesem Foto mit denen im Artikel von 1920."
Die Analogie: Es ist wie ein Koch, der nicht nur Rezepte kauft, sondern selbst neue, komplexe Gerichte erfindet, indem er Zutaten aus verschiedenen Supermärkten kombiniert, um sicherzustellen, dass der angehende Koch (die KI) wirklich kochen muss, nicht nur ablesen kann.

---

🌳 Trick 2: Der „Baum-Experten"-Ansatz (DR-TTS)

Das Problem: Wenn man einen KI-Detektiv trainiert, versucht er oft, alles auf einmal zu lösen. Er ruft das falsche Werkzeug auf (z. B. eine Textsuche, wenn er ein Bild braucht) und verirrt sich.

Die Lösung: Die Forscher bauen keine „Super-Detektive", sondern erst Spezialisten.

• Schritt 1 (Zerlegen): Sie bilden einen Experten für Bildsuche, einen für Textsuche und einen für Expertenwissen. Jeder lernt nur sein eigenes Handwerk perfekt.
• Schritt 2 (Wiedervereinigen): Diese Spezialisten arbeiten dann zusammen wie ein Rat von Weisen. Sie nutzen einen „Baum-Such-Algorithmus". Das bedeutet: Sie probieren verschiedene Wege aus (wie Äste an einem Baum). Wenn ein Weg in eine Sackgasse führt, wird er abgeschnitten. Wenn ein Weg zur Lösung führt, wird er behalten.

Die Analogie: Statt einen Generalisten zu haben, der alles halb gut kann, haben Sie ein Team aus einem Bild-Experten, einem Text-Experten und einem Logik-Experten. Sie diskutieren untereinander („Ich suche erst das Bild, dann den Text") und finden so den besten Pfad zur Antwort.

---

🏗️ Trick 3: Die „Offline-Simulations-Stadt" (Offline Search Engine)

Das Problem: Echte Internetsuche kostet Geld (API-Gebühren) und ist langsam. Wenn man eine KI trainiert, muss sie millionenfach suchen. Das würde Tausende von Dollar kosten und ewig dauern.

Die Lösung: Die Forscher bauen eine große, offline Simulations-Stadt.
Sie sammeln vorher Millionen von Bildern und Texten und speichern sie lokal. Wenn die KI während des Trainings „googeln" will, sucht sie nicht im echten Internet, sondern in dieser vorbereiteten Bibliothek.

• Vorteil: Es kostet 0 Dollar.
• Vorteil: Es ist blitzschnell (keine Wartezeit auf echte Server).

Die Analogie: Statt den Schüler jeden Tag in die echte Bibliothek zu schicken (was Geld und Zeit kostet), bauen Sie eine Nachbildung der Bibliothek im Klassenzimmer. Der Schüler kann dort endlos üben. Wenn er dann zur Prüfung kommt (im echten Internet), ist er so geübt, dass er die echten Bücher sofort findet.

---

🚀 Das Ergebnis: Der Meister-Detektiv

Durch diese drei Tricks haben die Forscher MM-DeepResearch geschaffen.

• Er wurde mit den selbstgemachten schwierigen Fragen trainiert.
• Er hat gelernt, wie man die Spezialisten-Teams koordiniert.
• Er hat in der kostenlosen Simulations-Stadt geübt.

Das Ergebnis? Wenn man ihn jetzt auf echte Aufgaben testet (wie „Finden Sie den Architekten dieses Gebäudes und vergleichen Sie ihn mit einem anderen"), schlägt er fast alle bisherigen Modelle, auch solche, die viel teurer trainiert wurden. Er ist schneller, billiger zu produzieren und besser im Lösen von kniffligen, mehrstufigen Rätseln.

Kurz gesagt: Sie haben einen KI-Detektiv gebaut, der nicht nur auswendig lernt, sondern wirklich forscht, indem er clever plant, spezialisierte Werkzeuge nutzt und in einer günstigen Simulation trainiert wurde.

Technische Zusammenfassung

1. Problemstellung

Das Ziel der Arbeit ist die Entwicklung eines multimodalen Forschungs-Agenten, der explizites Schlussfolgern (Reasoning), Planung, die Aufrufung mehrerer Werkzeuge und die Synthese von Informationen über verschiedene Modalitäten hinweg beherrscht. Solche Agenten sollen komplexe „Deep Research"-Aufgaben lösen, die über das reine Wissen des Modells hinausgehen.

Die Autoren identifizieren drei Hauptherausforderungen bei der Entwicklung solcher Agenten:

1. Mangel an datenintensiven multimodalen QA-Daten: Es gibt kaum öffentlich verfügbare Datensätze, die Suchvorgänge mit mehreren Runden und die Nutzung verschiedener Werkzeuge erfordern.
2. Fehlen effektiver Suchpfade (Trajectories): Herkömmliche Ansätze zur Synthese von Suchpfaden sind oft auf einzelne Runden ausgelegt und nicht für iterative, mehrstufige Interaktionen mit verschiedenen Suchwerkzeugen geeignet.
3. Prohibitive Kosten für Online-APIs: Das Training mit echten Online-Such-APIs (z. B. SerpAPI, Jina) ist extrem teuer (oft tausende Dollar pro Trainingslauf), was systematische Experimente einschränkt.

2. Methodik

Um diese Probleme zu lösen, schlagen die Autoren drei komplementäre Techniken vor, die in das Framework MM-DeepResearch integriert sind:

A. Hyper-Search (Datengenerierung)

Dies ist eine Methode zur Generierung von Such-intensive multimodalen Frage-Antwort-Paaren (QA) auf Basis von Hypergraphen.

• Konzept: Web-Informationen (Bilder und Texte) werden als Knoten in einem Hypergraphen modelliert. Hyperkanten verbinden diese Knoten und bilden native Beziehungen zwischen ihnen ab.
• Expansion: Ausgehend von einem Bildknoten werden neue Text- und Bildknoten durch Operationen wie „Reverse Image Search" oder „Text-zu-Bild-Suche" generiert.
• QA-Generierung: Fragen werden auf zwei Ebenen generiert:
  • Intra-Hyperedge: Innerhalb eines einzelnen Hypergraphen (erfordert Kombination von Bild und Text).
  • Inter-Hyperedge: Über mehrere Hypergraphen hinweg (erfordert tiefere Exploration und mehrere Suchrunden).
• Ergebnis: Ein Datensatz namens Hyper-Search-3K mit 3.000 hochwertigen, suchintensiven QA-Paaren.

B. DR-TTS (Decompose–Recompose Tool Tree Search)

Ein Algorithmus zur Synthese effektiver Suchpfade (Trajectories) für das Training.

• Decomposition (Zerlegung): Aufgaben werden nach den benötigten Suchwerkzeugen kategorisiert. Statt ein einziges Modell zu trainieren, werden spezialisierte „Experten" für jedes Werkzeug (z. B. Text-zu-Text, Bild-zu-Bild) separat mittels Reinforcement Learning (RL) optimiert. Dies reduziert die Lernkomplexität und erhöht die Kompetenz pro Werkzeug.
• Recomposition (Wiedervereinigung): Die spezialisierten Experten werden wieder kombiniert, um gemeinsam mittels Baumsuche (Tree Search) nach gültigen Suchpfaden zu suchen.
• Vorteil: Dieser Ansatz vermeidet Verzerrungen bei der Werkzeugnutzung, erhöht die Vielfalt der erkundeten Pfade und generiert hochwertige Trajektorien für das Supervised Fine-Tuning (SFT). Es wurden DR-TTS-10K (10.000 Trajektorien) generiert.

C. Offliner Suchmaschine

Um die Kosten für Online-APIs zu umgehen, wurde eine offline Suchmaschine entwickelt.

• Aufbau: Sie nutzt einen vorab gesammelten multimodalen Korpus (Webseiten, Bilder, Wikipedia-Daten).
• Werkzeuge: Sie unterstützt sowohl informationsbasierte Suche (Abruf von Text/Bild aus dem Korpus) als auch wissensbasierte Suche (Generierung von Antworten durch Experten-Modelle).
• Vorteil: Ermöglicht Reinforcement Learning (RL) ohne externe API-Kosten und mit deutlich geringerer Latenz, während dennoch realistische Suchverhalten gelernt werden können.

D. Trainingspipeline

Das Modell MM-DeepResearch wird in zwei Stufen trainiert:

1. SFT (Supervised Fine-Tuning): Training auf den von DR-TTS generierten Suchpfaden, um Werkzeugaufrufmuster und Informationsintegration zu lernen.
2. Reinforcement Learning (RL): Nutzung von GRPO (Group Relative Policy Optimization) mit der offline Suchmaschine, um die tiefen Forschungsfähigkeiten zu incentivieren. Die Belohnungsfunktion kombiniert Formatrichtigkeit und Antwortgenauigkeit.

3. Wichtige Beiträge

1. Hyper-Search: Erste Anwendung von Hypergraphen zur Synthese von Such-intensive multimodalen QA-Daten, die komplexe Abhängigkeiten zwischen Modalitäten modellieren.
2. DR-TTS: Ein neuer Ansatz zur Zerlegung und Wiedervereinigung von Werkzeug-Experten, der die Exploration von Suchpfaden effizienter und erfolgreicher macht als direkte Generierung durch ein einzelnes Modell.
3. Kosten-effizientes RL: Die Entwicklung einer offline Suchmaschine, die das Training von Agenten ohne die prohibitiven Kosten von Online-APIs ermöglicht.
4. Leistungsfähiger Baseline: MM-DeepResearch demonstriert, dass ein einfacher, aber effektiver Ansatz (ohne kompleste Architekturen) State-of-the-Art-Ergebnisse erzielen kann.

4. Ergebnisse

Das Modell wurde auf sechs Benchmarks evaluiert (u. a. SimpleVQA, MMSearch, LiveVQA, FVQA, InfoSeek, Browsecomp-VL).

• Vergleich mit Baselines: MM-DeepResearch (in den Varianten 8B und 32B) übertrifft sowohl nicht-agente Modelle als auch andere agente Such-Modelle (wie MMSearch-R1, WebWatcher, DeepEyes).
• Leistungssprung: Auf dem MMSearch-Benchmark erreicht MM-DeepResearch-8B einen Score von 67,8, was eine deutliche Verbesserung gegenüber dem Basis-Modell Qwen3-VL-8B (37,4) und anderen SOTA-Modellen darstellt.
• Skalierbarkeit: Die Leistung steigt konsistent mit der Modellgröße (von 7B/8B auf 32B).
• Ablationsstudien: Die Studien zeigen, dass sowohl die Hyper-Search-Daten als auch die DR-TTS-Trajektorien und die offline Suchmaschine entscheidend für den Erfolg sind. Die Kombination aller Komponenten führt zu den besten Ergebnissen.

5. Bedeutung und Fazit

MM-DeepResearch stellt einen wichtigen Meilenstein für multimodale Deep-Research-Agenten dar. Die Arbeit zeigt, dass es möglich ist, leistungsfähige Suchagenten zu trainieren, ohne auf teure Online-APIs angewiesen zu sein. Durch die Kombination von strukturierten Daten (Hyper-Search), effizienter Pfadsynthese (DR-TTS) und kostengünstigem RL (Offline-Engine) wird ein robuster Baseline für zukünftige Forschung geschaffen. Das Modell beweist, dass explizites Planen und die iterative Nutzung multimodaler Suchwerkzeuge entscheidend für das Lösen komplexer, wissensintensiver Aufgaben sind, die über das reine Bildverständnis hinausgehen.

Der Code ist unter https://github.com/HJYao00/MM-DeepResearch verfügbar.