Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models

Das Paper stellt Vision-DeepResearch vor, ein multimodales Deep-Research-Framework, das durch mehrstufige, mehrdimensionale Suchverfahren und Reinforcement-Learning-Training die Fähigkeit von Large Language Models zur Bewältigung komplexer visueller und textueller Recherchen unter realen Bedingungen mit hohem Rauschen signifikant verbessert und dabei bestehende State-of-the-Art-Modelle sowie Workflows führender kommerzieller KI-Systeme übertrifft.

Das Wesentliche

Stell dir vor, du hast einen sehr intelligenten, aber etwas vergesslichen Assistenten. Er kennt die Welt auswendig, was er gelernt hat, aber wenn du ihn nach etwas Fragst, das heute passiert ist oder das in einem speziellen Foto versteckt ist, stößt er oft an seine Grenzen. Er versucht, aus dem Gedächtnis zu antworten, und macht dabei Fehler.

Das ist das Problem, das die Forscher mit Vision-DeepResearch lösen wollen. Hier ist die Erklärung, wie sie das tun, ganz einfach und mit ein paar bildhaften Vergleichen:

1. Das Problem: Der "Sturkopf" und der "Nebel"

Bisherige KI-Modelle, die Bilder verstehen, machen oft zwei Fehler:

• Der "Sturkopf"-Fehler (Hit-Rate Problem): Stell dir vor, du suchst in einer riesigen Bibliothek nach einem bestimmten Buch. Die alten KIs würden versuchen, das ganze Regal auf einmal zu scannen. Aber das Bild ist voller Unordnung (Nebel, andere Gegenstände). Die KI schaut sich das ganze Bild an, wird verwirrt und findet das Buch nicht.

  • Die Lösung: Unsere neue KI ist wie ein Detektiv, der nicht stur auf das ganze Bild starrt. Sie schneidet kleine Ausschnitte heraus (wie mit einer Lupe), sucht in verschiedenen Größen und fragt: "Ist das hier das, was ich suche? Nein? Okay, probieren wir einen anderen Ausschnitt." Sie gibt nicht auf, bis sie den Treffer hat.

• Der "Oberflächliche"-Fehler (Reasoning Depth): Wenn die alte KI etwas sucht, gibt sie oft nach zwei oder drei Versuchen auf. "Ich habe es nicht gefunden, hier ist keine Antwort."

  • Die Lösung: Unsere neue KI ist wie ein erfahrener Journalist. Sie weiß, dass die Wahrheit oft hinter mehreren Ecken versteckt ist. Sie macht sich auf eine lange Reise: Sie sucht ein Bild, liest eine Webseite, sucht nach einem Namen, prüft eine andere Quelle und verknüpft alles miteinander. Sie kann Dutzende von Schritten machen, bis sie die Antwort hat.

2. Die Lösung: Ein "Super-Detektiv" mit einer Bibliothek

Die Forscher haben eine neue Methode entwickelt, die man Vision-DeepResearch nennt. Das funktioniert in drei Schritten:

• Schritt 1: Das Training im Simulator (Die "Flugsimulatoren")
  Bevor die KI echte Fragen beantwortet, hat sie in einer riesigen Fabrik trainiert. Dort haben Computer automatisch Millionen von schwierigen Rätseln erstellt.

  • Die Analogie: Stell dir vor, man baut eine riesige Flugsimulatoren-Anlage. Die KI fliegt durch tausende von virtuellen Stürmen und Labyrinthen, lernt, wie man bei schlechtem Wetter (verrauschte Bilder) navigiert und wie man lange Strecken fliegt, ohne zu landen. Sie lernt, nicht nur "gucken", sondern zu "forschen".

• Schritt 2: Die Brücke zwischen Bild und Text
  Die KI lernt, dass ein Bild oft nur ein Teil der Geschichte ist. Sie nimmt ein Bild, beschreibt es in Worten und nutzt diese Beschreibung, um im Internet nach mehr Informationen zu suchen.

  • Die Analogie: Es ist wie ein Detektiv, der ein Foto eines Tatorts macht, aber dann nicht nur das Foto betrachtet, sondern die Beschreibung des Fotos nutzt, um im Telefonbuch, in Zeitungsarchiven und bei Zeugen nachzufragen. Bild und Text arbeiten Hand in Hand.

• Schritt 3: Das "Belohnungssystem" (Reinforcement Learning)
  Die KI hat viele Versuche gemacht. Aber wie lernt sie, was gut ist? Die Forscher haben ihr gesagt: "Wenn du die richtige Antwort findest, bekommst du einen Sternchen-Punkt. Wenn du aufgibst oder falsch liegst, gibt es keinen Punkt."

  • Die Analogie: Wie ein Hund, der Leckerlis bekommt, wenn er den richtigen Trick macht. Die KI hat Millionen von Versuchen gemacht, hat gelernt, welche Wege zum Ziel führen und welche in Sackgassen enden. Sie wurde so trainiert, dass sie nicht aufhört, bis sie den "Stern" (die richtige Antwort) hat.

3. Das Ergebnis: Ein kleiner Riese

Das Tolle an dieser Arbeit ist, dass sie nicht nur riesige, teure Computermodelle braucht. Sie haben gezeigt, dass sogar ein kleineres Modell (wie ein "kleiner Assistent") durch dieses spezielle Training so gut wird, dass es mit den größten, teuersten Modellen der Welt mithalten kann – und manchmal sogar besser ist.

Zusammenfassend:
Stell dir Vision-DeepResearch wie einen Detektiv vor, der nicht stur auf ein Foto starrt, sondern:

1. Das Foto in viele kleine Puzzleteile zerlegt, um den richtigen Hinweis zu finden.
2. Nicht aufgibt, bis er Dutzende von Quellen geprüft hat.
3. Durch unzählige Trainingsrunden gelernt hat, wie man komplexe Rätsel löst.

Das Ergebnis ist eine KI, die in der Lage ist, tief in das Internet und in Bilder einzutauchen, um Antworten zu finden, die für andere KIs zu schwer oder zu versteckt sind.

Technische Zusammenfassung

1. Problemstellung

Bestehende Multimodale Large Language Models (MLLMs) stoßen bei faktenintensiven visuellen Frage-Antwort-Aufgaben (VQA) an Grenzen, da ihr internes Weltwissen begrenzt ist. Zwar wurde bereits der Ansatz „Reasoning-then-Tool-Call" (ReAct) eingeführt, bei dem Modelle Suchmaschinen nutzen, um externe Fakten zu erhalten, doch diese Ansätze weisen zwei kritische Mängel auf:

1. Das „Hit-Rate"-Problem (Trefferquote): Herkömmliche Methoden behandeln Bildsuchanfragen oft naiv als Vollbild- oder Entitätssuche. In realen, verrauschten Umgebungen führt eine einzelne Vollbild-Abfrage häufig zu irrelevanten Ergebnissen. Zudem variiert die Trefferquote stark, je nachdem, in welchem Maßstab (Crop) oder welche Entität abgefragt wird.
2. Begrenzte Tiefe und Breite: Bestehende Systeme sind in der Tiefe des Schlussfolgerns (Anzahl der Schritte) und der Breite der Suche (Anzahl der Interaktionen mit der Suchmaschine) eingeschränkt. Sie generieren meist nur kurze Trajektorien und können komplexe Probleme nicht lösen, die die Aggregation von Beweisen aus diversen visuellen und textuellen Quellen erfordern.

2. Methodik: Der Vision-DeepResearch-Ansatz

Das Paper stellt Vision-DeepResearch vor, ein neues Paradigma, das multimodale Deep-Research-Fähigkeiten durch Multi-Turn-, Multi-Entity- und Multi-Scale-Suche in MLLMs integriert. Das System führt Dutzende von Schlussfolgerungsschritten und Hunderte von Interaktionen mit Suchmaschinen durch.

Die Methodik gliedert sich in drei Hauptphasen:

A. Hochautomatisierte Datenpipeline (Data Synthesis)

Um hochwertige Trainingsdaten zu generieren, wurde eine komplexe Pipeline entwickelt:

• Faktische VQA-Verifizierung: Es werden Bilder aus Open-Source-Datensätzen gefiltert, um sicherzustellen, dass sie nicht ohne externe Beweise beantwortet werden können und dass eine einfache Vollbildsuche nicht ausreicht.
• Fuzzy Multi-hop VQA-Synthese: Um die Komplexität zu erhöhen, werden Entitäten und Antworten verschleiert (Obfuscation). Dies geschieht durch:
  • Antwort-Obfuscation: Verknüpfung von Relationen (z. B. „Wie heißt der Lehrer der Tochter des Katzenbesitzers?").
  • Entitäts-Obfuscation: Zufällige Pfade (Random Walks) über Webseiten, um Entitäten durch verwandte, mehrstufige Links zu ersetzen.
• Trajektorien-Generierung:
  • Visuelle Suche: Ein MLLM generiert Bounding Boxes für verschiedene Entitäten und Skalen (Multi-Scale Cropping). Diese werden nacheinander in einer visuellen Suchpipeline abgefragt. Ein „Judge"-Modell prüft, ob genug Beweise gesammelt wurden.
  • Text-Brücke: Die visuelle Trajektorie wird in einen textbasierten Kontext überführt, indem das Bild durch eine detaillierte Beschreibung ersetzt wird. Ein starker textbasierter Deep-Research-LLM (Foundation Model) führt daraufhin eine mehrstufige Textsuche durch.
  • Die beiden Trajektorien werden zu einer vollständigen multimodalen Trajektorie fusioniert.

B. Training (SFT und RL)

• Supervised Fine-Tuning (SFT): Das Basismodell (z. B. Qwen3-VL) wird mit den generierten hochwertigen multimodalen Trajektorien trainiert, um die Grundmuster für Multi-Turn-Suche und die Integration visueller/textueller Beweise zu lernen.
• Reinforcement Learning (RL):
  • Es wird Group Relative Policy Optimization (GRPO) eingesetzt.
  • Asynchrone Rollout-Architektur: Um die Latenz bei langen Suchpfaden zu überwinden, wurde ein hochdurchsatzfähiges, asynchrones Rollout-System entwickelt, das parallele Tool-Aufrufe (z. B. gleichzeitige Suche nach mehreren Bild-Crops) ermöglicht.
  • Engineering-Tricks: Um Stabilität zu gewährleisten, wurden Techniken wie das Maskieren von anomalen Trajektorien (die z. B. durch Formatfehler abbrechen, aber korrekte Schritte enthalten), Wiederholungsdetektoren und die Verwendung von BF16 statt FP16 implementiert.

C. Suchstrategie

Das System führt keine einmalige Suche durch, sondern einen trial-and-error-Prozess:

• Multi-Scale & Multi-Entity: Das Modell schneidet Bilder in verschiedenen Größen zu und sucht nach spezifischen Entitäten, um die Trefferquote zu erhöhen.
• Iterative Verfeinerung: Basierend auf Zwischenergebnissen werden Suchanfragen angepasst, um mit verrauschten Umgebungen umzugehen.

3. Wichtige Beiträge

1. Neues Paradigma: Einführung von Vision-DeepResearch, das Deep-Research von rein textbasierten auf multimodale Szenarien überträgt und dabei explizit das Problem der niedrigen Trefferquote bei Bildsuchen adressiert.
2. Skalierbare Trajektorien: Das System unterstützt Dutzende von Schlussfolgerungsschritten und hunderte von Engine-Interaktionen, was weit über die Fähigkeiten bestehender MLLMs hinausgeht.
3. Hochwertige Datensynthese: Entwicklung einer Pipeline zur Generierung von „fuzzy multi-hop" VQA-Daten, die komplexe, mehrstufige Recherchen simulieren.
4. Effizientes RL-Training: Ein asynchrones Rollout-Framework, das das Training von Agenten mit langen Horizonten und häufigen Tool-Aufrufen effizient und stabil macht.

4. Ergebnisse

Die Evaluation erfolgte auf sechs multimodalen faktenbasierten Benchmarks (VDR, FVQA, MMSearch+, MMSearch, LiveVQA, BC-VL).

• State-of-the-Art (SoTA): Vision-DeepResearch übertrifft alle bestehenden multimodalen Deep-Research-MLLMs sowie Workflows, die auf starken geschlossenen Modellen basieren (wie GPT-5, Gemini-2.5-Pro, Claude-4-Sonnet).
• Leistungssteigerung:
  • Das Vision-DeepResearch-8B-Modell erreicht einen Durchschnitt von 50,5 % (im Vergleich zu 40,1 % beim reinen Agenten-Workflow des Basismodells).
  • Das Vision-DeepResearch-30B-A3B-Modell erreicht 56,9 % (im Vergleich zu 40,9 % beim Basismodell).
• Ablationsstudien:
  • Die Kombination aus Multi-Scale-Cropping (CIS) und Textsuche (TS) ist entscheidend. Reine Vollbildsuche (WIS) bringt kaum Vorteile, während die Kombination aus lokalisierter Bildsuche und Textrecherche die Leistung drastisch steigert.
  • Das RL-Training verbessert die Leistung nach dem SFT-Schritt um durchschnittlich weitere 3,1 % auf schwierigen Benchmarks.

5. Bedeutung und Fazit

Vision-DeepResearch demonstriert, dass MLLMs durch gezieltes Training mit langen, mehrstufigen Suchtrajektorien in der Lage sind, komplexe, faktenbasierte visuelle Fragen zu lösen, die bisher unüberwindbar schienen.

• Robustheit: Das System ist robust gegenüber visuellem Rauschen und unvollständigen Eingaben, da es iterativ nach Beweisen sucht.
• Effizienz: Es erreicht SoTA-Leistung mit vergleichsweise kleineren Parametern (8B und 30B) als die geschlossenen Modelle, mit denen es konkurriert.
• Zukunftsausblick: Die Arbeit liefert wichtige Erkenntnisse für die Entwicklung autonomer Agenten, die in realen, unstrukturierten Web-Umgebungen tiefgehende Recherchen durchführen müssen. Der Code wird als Open Source veröffentlicht.

Zusammenfassend adressiert das Paper die Lücke zwischen der Fähigkeit von MLLMs, Bilder zu verstehen, und der Fähigkeit, tiefgehende, evidenzbasierte Recherchen in verrauschten Umgebungen durchzuführen, indem es eine neue Architektur für Daten, Training und Suchstrategien einführt.