Vision-DeepResearch Benchmark: Rethinking Visual and Textual Search for Multimodal Large Language Models

Die Arbeit stellt das Vision-DeepResearch-Benchmark (VDR-Bench) vor, eine umfassend kuratierte Datensammlung aus 2.000 VQA-Instanzen, die bestehende Mängel in der Bewertung visueller und textueller Suchfähigkeiten von Multimodalen Large Language Models adressiert, und schlägt zudem einen effektiven Multi-Round-Cropped-Suchworkflow zur Verbesserung der visuellen Retrieval-Leistung vor.

Das Wesentliche

Stell dir vor, du hast einen superintelligenten Assistenten, der sowohl Bilder als auch Texte verstehen kann. Dieser Assistent soll wie ein Detektiv arbeiten: Er bekommt ein Foto und eine Frage, sucht im Internet nach Antworten und versucht, alles zusammenzufügen.

Das Problem ist: Die bisherigen Tests für solche Assistenten waren wie eine Falle.

Hier ist die einfache Erklärung der neuen Forschung „Vision-DeepResearch" (oder kurz VDR-Bench), als wäre es eine Geschichte:

1. Das alte Problem: Der „Fahrrad-Test"

Stell dir vor, du willst testen, ob dein Assistent wirklich gut im Sehen ist. Du zeigst ihm ein Foto von einem Fahrrad und fragst: „Welche Farbe hat das Rad?"

In den alten Tests war das aber oft ein Trick:

• Der Text-Trick: Die Frage lautete: „Das Fahrrad ist rot oder blau? Es ist die Farbe der Flagge von Deutschland." Dein Assistent musste gar nicht auf das Bild schauen! Er wusste einfach aus seinem Gedächtnis (Weltwissen), dass die deutsche Flagge schwarz-rot-gold ist, und riet „Rot". Er hat nicht gesehen, er hat nur gelesen.
• Der „Perfekte Foto"-Trick: Wenn der Assistent das Bild ins Internet hochlädt, findet er oft sofort das exakt gleiche Bild mit dem Titel „Rotes Fahrrad". Das ist wie bei Google Bilder: Du suchst nach einem Bild und findest sofort das Original mit der Antwort darauf. Das ist zu einfach. Es ist, als würdest du einen Detektiv testen, indem du ihm den Lösungsschlüssel direkt in die Hand drückst.

Das Ergebnis: Die alten Tests haben nicht gemessen, ob der Assistent wirklich gut schauen kann, sondern nur, ob er gut raten oder lesen kann.

2. Die neue Lösung: VDR-Bench (Der echte Detektiv-Test)

Die Forscher haben einen neuen, fairen Test entwickelt, den sie VDR-Bench nennen. Stell dir das wie einen echten Schnitzeljagd-Spiel vor, bei dem keine Abkürzungen erlaubt sind.

• Keine Abkürzungen: Die Fragen sind so gestellt, dass man das Bild wirklich ansehen muss. Man kann die Antwort nicht erraten, nur weil man weiß, wie die Welt funktioniert.
• Das „Mikroskop"-Prinzip: Statt das ganze Bild hochzuladen (was oft nur das Originalbild zurückbringt), müssen die Assistenten das Bild wie mit einer Lupe heranzoomen. Sie müssen kleine Teile ausschneiden (z. B. nur ein Logo, nur ein Schild, nur ein Gesicht) und diese kleinen Teile einzeln im Internet suchen.
• Der Puzzle-Effekt: Die Fragen sind wie ein mehrstufiges Rätsel.
  • Beispiel: „Wer hat das Gebäude auf dem Foto gebaut?"
  • Schritt 1: Der Assistent muss das Gebäude im Bild erkennen (durch Heranzoomen).
  • Schritt 2: Er sucht im Internet nach dem Namen des Gebäudes.
  • Schritt 3: Er muss dann noch eine zweite Suche starten: „Wer war der Architekt dieses Gebäudes?"
  • Nur wer diesen ganzen Weg geht, gewinnt.

3. Die neue Strategie: „Mehrfach-Zoomen"

Die Forscher haben auch eine neue Methode für die Assistenten entwickelt, die sie „Multi-Round Cropped-Search" nennen.

Stell dir vor, du suchst nach einem bestimmten Vogel in einem dichten Wald (dem Bild).

• Der alte Weg: Du schreist „Vogel!" in den Wald und hoffst, jemand ruft zurück. Oft passiert nichts, oder du hörst nur ein falsches Geräusch.
• Der neue Weg (Mehrfach-Zoomen): Du nimmst erst einen Ast genauer unter die Lupe. Nichts. Dann zoomst du auf ein Blatt. Nichts. Dann siehst du ein kleines Nest. Jetzt suchst du spezifisch nach „Vogel im Nest".
  • Diese Methode funktioniert viel besser. Sie zwingt den Assistenten, sich Schritt für Schritt vorzuarbeiten, statt alles auf einmal zu wollen.

4. Was haben sie herausgefunden?

Als sie ihre neuen Tests mit den besten KI-Modellen der Welt machten, kam eine Überraschung ans Licht:

• Die „faulen Genies": Die allerstärksten Modelle (die viel Wissen auswendig gelernt haben) waren oft faul. Sie versuchten, die Antwort aus ihrem Gedächtnis zu erraten, ohne wirklich zu suchen. Weil der neue Test aber keine Abkürzungen zulässt, haben sie oft gescheitert.
• Die „fleißigen Sucher": Modelle, die weniger auswendig gelernt hatten, aber besser darin waren, die Suchwerkzeuge zu benutzen (das Bild zu zerschneiden und gezielt zu suchen), kamen viel weiter.
• Die Lektion: Um einen echten „Deep-Research"-Assistenten zu bauen, reicht es nicht, das Gehirn (das Modell) größer zu machen. Man muss ihm beibringen, genau hinzuschauen und systematisch zu suchen, genau wie ein echter Detektiv.

Zusammenfassung

Dieser Papier sagt im Grunde: „Hört auf, KI mit zu einfachen Tests zu belügen. Wir haben einen neuen, harten Test gebaut, bei dem man wirklich sehen und suchen muss. Und wir haben gezeigt, dass der beste Weg, ein KI-Genie zu machen, nicht mehr Wissen ist, sondern die Fähigkeit, ein Bild wie ein Puzzle in kleine Teile zu zerlegen und jedes Teil sorgfältig zu untersuchen."

Technische Zusammenfassung

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben zwar Fortschritte bei der Visual Question Answering (VQA) gemacht und unterstützen nun Systeme für „Vision-DeepResearch" (die Suchmaschinen für komplexe visuell-textuelle Faktenfindung nutzen). Die Evaluierung dieser Fähigkeiten ist jedoch nach wie vor schwierig, da bestehende Benchmarks zwei fundamentale Mängel aufweisen:

1. Fehlender Fokus auf visuelle Suche: Viele Fragen in aktuellen Benchmarks können ohne echte visuelle Verifizierung beantwortet werden. Antworten lassen sich oft durch textuelle Hinweise (Cross-Referenzen innerhalb der Frage) oder durch das Vorwissen (World Knowledge) des MLLM ableiten. Dies führt zu „Shortcut-Lösungen", die die tatsächliche Fähigkeit zur visuellen Suche nicht testen.
2. Überidealisierte Evaluierungsszenarien:
   • Bildsuche: Die benötigten Informationen werden oft durch eine „nahezu exakte" Ganzbild-Suche (Whole-Image Search) gefunden, bei der das Originalbild oder fast identische Kopien mit Metadaten zurückgegeben werden. Dies spiegelt nicht die Realität wider, wo visuelle Suche iterativ, verrauscht und mehrstufig ist.
   • Textsuche: Die Fragen sind oft zu direkt und oberflächlich, um die Komplexität von Multi-Hop-Reasoning und der Aggregation von Beweisen zu testen.

2. Methodik: VDR-Bench und der Cropped-Search-Workflow

Um diese Probleme zu lösen, stellen die Autoren VDR-Bench (Vision-DeepResearch Benchmark) und einen neuen Such-Workflow vor.

A. VDR-Bench (Der Datensatz)

VDR-Bench besteht aus 2.000 sorgfältig kuratierten VQA-Instanzen über 10 verschiedene visuelle Domänen (z. B. Sport, Architektur, Natur, Kunst). Der Datensatz wird durch eine strenge, mehrstufige Pipeline erstellt:

1. Manuelles Cropping & Visuelle Suche: Annotatoren schneiden relevante Regionen aus Bildern aus und führen eine Web-Suche durch, anstatt das ganze Bild zu nutzen.
2. Entitäten-Extraktion & Verifizierung: Kandidaten-Entitäten werden aus den Suchergebnissen extrahiert und durch MLLM sowie menschliche Prüfung validiert, um sicherzustellen, dass sie nicht trivial durch Ganzbild-Suche gefunden werden können.
3. Seed-VQA-Generierung: Basierend auf verifizierten Entitäten werden Fragen generiert, die eine explizite visuelle Verankerung erfordern.
4. Komplexitätssteigerung (Knowledge Graph): Um Single-Hop-Erkennung zu vermeiden, werden Fragen durch Multi-Hop-Reasoning erweitert (z. B. „Wer ist der Gründer des Unternehmens, dessen Logo im Bild zu sehen ist?").
5. Qualitätssicherung: Zweistufige Überprüfung (automatisch und menschlich), um sicherzustellen, dass jede Frage visuelle Beweise erfordert, eindeutig ist und keine textbasierten Abkürzungen zulässt.

Metriken:

• Antwortgenauigkeit (Answer Accuracy): Bewertung der Korrektheit der finalen Antwort.
• Entity Recall (ER): Misst, ob das System die relevanten Entitäten erfolgreich gefunden hat, unter Berücksichtigung semantischer Äquivalenz (nicht nur String-Matching).

B. Multi-Round Cropped-Search Workflow

Um die unzureichenden visuellen Abrufkapazitäten aktueller MLLMs zu adressieren, schlagen die Autoren einen einfachen, aber effektiven Workflow vor:

• Statt das gesamte Bild zu suchen, führt das Modell mehrstufige Suchen mit zugeschnittenen Bildausschnitten (Crops) durch.
• Dies ermöglicht eine schrittweise Verfeinerung der visuellen Abfragen, eine genauere Lokalisierung von Entitäten und die Reduzierung von Suchrauschen.
• Der Workflow integriert Multi-Turn Visual Forcing (MVF), das das Modell zwingt, iterativ Regionen zu croppen und Hypothesen über mehrere Runden hinweg zu verfeinern.

3. Hauptbeiträge

1. Identifikation kritischer Limitationen: Nachweis, dass bestehende Benchmarks visuelle Suchfähigkeiten durch textuelle Abkürzungen und idealisierte Ganzbild-Suchen überschätzen.
2. Einführung von VDR-Bench: Ein neuer Benchmark mit 2.000 Instanzen, der durch eine menschgeprüfte Pipeline erstellt wurde und reale, visuelle Suchanforderungen erzwingt.
3. Proposition eines neuen Workflows: Die Einführung des Multi-Round Cropped-Search-Workflows, der die Leistung von Modellen in realistischen visuellen Suchszenarien signifikant verbessert.

4. Ergebnisse

Die Autoren evaluierten führende Modelle (Gemini 2.5 Pro, GPT-5, Claude-4-Sonnet, Qwen3-VL-Varianten) unter drei Bedingungen:

1. Direct Answer: Nur Bild und Frage (ohne Suche).
2. CIS+TS: Cropped-Image Search + Text Search.
3. CIS+TS+MVF: Zusätzlich Multi-Turn Visual Forcing (iteratives Cropping).

Wichtige Erkenntnisse:

• Schwäche bei direkter Beantwortung: Alle Modelle erzielten ohne Suchwerkzeuge sehr niedrige Scores, was bestätigt, dass VDR-Bench echte Suchfähigkeiten erfordert.
• Phänomen „Lazy Search": Modelle mit starkem Vorwissen (z. B. geschlossene Modelle wie Gemini oder GPT-5) neigten dazu, Suchwerkzeuge zu ignorieren und sich auf textuelles Reasoning zu verlassen, was ihre Leistung in visuellen Deep-Research-Aufgaben limitierte. Open-Source-Modelle mit schwächerem Vorwissen zeigten überraschend starke Suchfähigkeiten.
• Effektivität von MVF: Die Strategie des Multi-Turn Visual Forcing (MVF) führte zu signifikanten Verbesserungen bei allen Modellen.
  • Beispiel: Gemini 2.5 Pro stieg von 16,2 % (CIS+TS) auf 30,0 % (CIS+TS+MVF).
  • Qwen3-VL-235B erreichte mit MVF insgesamt 27,4 %.
• Korrelation: Es besteht eine starke positive Korrelation zwischen dem korrekten Abruf von Entitäten (Entity Recall) und der finalen Antwortgenauigkeit.

5. Bedeutung und Fazit

Das Paper zeigt, dass der Fortschritt bei multimodalen Deep-Research-Systemen nicht allein durch das Vergrößern der Basis-Modelle erreicht werden kann. Stattdessen ist es entscheidend:

• Realistische Benchmarks zu verwenden, die textbasierte Abkürzungen unterbinden.
• Iterative, visuelle Suchstrategien (wie Cropping und Multi-Hop-Reasoning) aktiv zu fördern.

Die Ergebnisse liefern praktische Leitlinien für die Entwicklung robusterer Agenten, die in der Lage sind, in verrauschten, mehrdeutigen realen Umgebungen visuelle Beweise zu lokalisieren und mit textuellem Wissen zu verknüpfen. Der Code und der Benchmark werden als Open Source veröffentlicht.