VisBrowse-Bench: Benchmarking Visual-Native Search for Multimodal Browsing Agents

Die Arbeit stellt VisBrowse-Bench vor, einen neuen Benchmark mit 169 von Experten erstellten VQA-Instanzen, der die visuell-nativen Suchfähigkeiten von Multimodal-Browsing-Agenten bewertet und zeigt, dass selbst führende Modelle wie Claude-4.6-Opus und o3-deep-research dabei nur eine begrenzte Genauigkeit erreichen.

Das Wesentliche

🕵️‍♂️ Die große Entdeckung: Warum KI beim „Forschen" noch blind ist

Stell dir vor, du hast einen sehr intelligenten Assistenten, der im Internet surfen kann. Er ist wie ein Detektiv mit einem riesigen Buchwissen im Kopf. Aber wenn man ihm ein Foto zeigt und sagt: „Finde heraus, was auf diesem Bild passiert ist und suche im Internet nach Details dazu", stolpert er oft.

Warum? Weil die bisherigen Tests für solche KI-Assistenten (die sogenannten „Benchmarks") einen großen Fehler hatten:

1. Der „Google-Bildsuche"-Trick: Bisherige Tests gaben der KI ein Bild und eine Frage. Die KI musste nicht wirklich hinschauen. Sie konnte einfach das Bild bei Google eingeben, und Google sagte ihr sofort: „Das ist ein Bierbrauerei-Museum." Die KI brauchte ihr eigenes Sehen nicht, sie nutzte nur das Werkzeug. Das ist wie ein Detektiv, der statt zu suchen, einfach das Lösungsbuch aufschlägt.
2. Der „Text-Blindheit"-Fehler: Selbst wenn die KI ein Bild sah, bestand der Rest der Aufgabe nur aus Text. Sie musste keine weiteren Bilder analysieren. Es war, als würde man ihr ein Puzzle geben, bei dem sie nur die Ränder aus Text zusammenfügen muss, aber die bunten Bildteile ignoriert.

🚀 Die Lösung: VisBrowse-Bench (Der neue, faire Test)

Die Forscher haben sich gedacht: „Das reicht nicht!" Sie haben einen neuen, viel schwierigeren Test namens VisBrowse-Bench erfunden.

Wie funktioniert dieser neue Test?
Stell dir vor, die KI ist ein Archäologe, der eine Schatzkarte (das Bild) hat.

• Der Anfang: Die KI sieht ein Foto (z. B. ein Gebäude).
• Die Aufgabe: Sie muss herausfinden, was dieses Gebäude früher war.
• Die Falle: Im Internet gibt es keine einfache Textantwort. Die KI muss selbst aktiv werden:
  1. Sie muss das Bild genau analysieren (z. B. „Da ist ein Bierfass zu sehen").
  2. Sie muss im Internet nach neuen Bildern suchen, die zu diesem Detail passen.
  3. Sie muss diese neuen Bilder wieder sehen und verstehen (z. B. „Ah, auf diesem alten Foto steht dort 'Brauerei'").
  4. Sie muss Text und Bilder verknüpfen, um die Antwort zu finden.

Es ist wie eine Schnitzeljagd, bei der man nicht nur lesen, sondern auch sehen muss, um den nächsten Hinweis zu finden. Wenn die KI nicht genau hinsieht, verpasst sie den Hinweis und findet den Schatz nicht.

🧪 Der Testlauf: Wie gut sind die aktuellen KIs?

Die Forscher haben die besten KI-Modelle der Welt (wie Claude, GPT, Gemini) in diesem neuen Test antreten lassen. Das Ergebnis war überraschend und etwas enttäuschend:

• Die Gewinner: Selbst die allerbeste KI (Claude-4.6-Opus) erreichte nur 47,6 % richtige Antworten. Das ist weniger als eine 50/50-Chance!
• Die anderen: Die meisten anderen Modelle lagen nur bei ca. 30 %.
• Die „Deep Research"-Modelle: Sogar spezialisierte Forschungs-KIs (wie o3-deep-research) scheiterten mit nur 41,1 %.

Was bedeutet das?
Es zeigt, dass KIs zwar gut darin sind, Texte zu lesen und Werkzeuge zu bedienen, aber noch sehr schlecht darin sind, aktiv visuelle Informationen im Internet zu suchen, zu verstehen und mit Text zu verbinden. Sie sind wie ein Leser, der blind ist, wenn es um Bilder geht.

🛠️ Der neue Werkzeugkasten

Um diesen Test zu bestehen, haben die Forscher eine spezielle Arbeitsweise (einen „Workflow") entwickelt. Sie geben der KI fünf Werkzeuge in die Hand:

1. Text-Suche: Um nach Wörtern zu suchen.
2. Bild-Suche: Um nach Bildern zu suchen.
3. Rückwärts-Bild-Suche: Um ein Bild zu finden, das zu einem anderen passt.
4. Zuschneiden (Crop): Um auf einen kleinen Teil eines Bildes zu zoomen (wie mit einer Lupe).
5. Webseiten-Besuch: Um den Text auf einer Seite zu lesen.

Die KI muss nun selbst entscheiden: „Soll ich jetzt zoomen? Soll ich ein Bild suchen? Oder soll ich einen Text lesen?" Sie muss diese Werkzeuge wie ein geschickter Handwerker kombinieren.

🏁 Fazit: Der Weg ist lang, aber wichtig

Die Botschaft der Forscher ist klar:
Bisher haben wir KIs getestet, als wären sie nur Textmaschinen. Aber die echte Welt ist voller Bilder, Videos und komplexer visueller Hinweise. VisBrowse-Bench ist der erste ehrliche Spiegel, der zeigt: Unsere KI-Assistenten müssen noch viel lernen, wenn sie wirklich wie menschliche Detektive durch das visuelle Internet reisen sollen.

Es ist wie beim Lernen eines neuen Sports: Bisher haben wir nur geprüft, ob die KI rennen kann (Text). Jetzt prüfen wir, ob sie auch springen, balancieren und den Ball fangen kann (Bilder verstehen und suchen). Und da liegt noch viel Trainingsbedarf vor uns!

Technische Zusammenfassung

1. Problemstellung

Trotz der rasanten Fortschritte bei Multimodalen Large Language Models (MLLMs) und Agenten-Technologien leiden bestehende Benchmarks für „Deep Research" und multimodales Browsen unter zwei wesentlichen Mängeln:

• Unzureichende Bewertung visueller Schlussfolgerungen: Viele aktuelle Benchmarks (z. B. MMSearch, BrowseComp-VL) testen lediglich die Fähigkeit, Bildsuch-Tools aufzurufen, um semantische Informationen aus einem Bild zu extrahieren. Dies erfordert kein tiefes, feingranulares Verständnis der visuellen Inhalte, da die Antwort oft durch einfache Textsuche nach dem erkannten Objekt gefunden werden kann.
• Vernachlässigung nativer visueller Informationen: In realen Suchszenarien ist die Informationsbeschaffung oft rein textbasiert, sobald ein Entitätsname identifiziert wurde. Die bestehenden Benchmarks ignorieren, dass in komplexen Suchpfaden oft neue visuelle Beweise (z. B. spezifische Details in Diagrammen, räumliche Beziehungen in Fotos) aktiv gesucht und visuell analysiert werden müssen, um die Antwort zu finden. Die Aufgaben degenerieren oft zu rein textbasierten Suchaufgaben.

Das Ziel ist es, eine Umgebung zu schaffen, in der visuelle Fähigkeiten für die Lösung der Aufgabe unverzichtbar sind und nicht nur als optionales Add-on dienen.

2. Methodik: VisBrowse-Bench

Die Autoren stellen VisBrowse-Bench vor, einen neuen Benchmark, der speziell entwickelt wurde, um die Fähigkeiten von multimodalen Browsing-Agenten in visuell-nativen Suchszenarien zu evaluieren.

• Datensatz: Der Benchmark besteht aus 169 VQA-Instanzen (Visual Question Answering), die von menschlichen Experten in einem mehrstufigen Prozess erstellt wurden.
• Kategorien: Die Daten decken sieben Domänen ab: Medien, Leben, Kunst, Geografie, Technologie, Sport und Finanzen.
• Design-Prinzipien:
  1. Integration multimodaler Informationen: Die Suchkette erfordert eine aktive Verarbeitung sowohl visueller als auch textlicher Modalitäten. Die Antwort kann nicht allein durch Textrecherche gefunden werden.
  2. Erzwingung visueller Kompetenz: Visuelle Informationen sind strukturell unersetzlich. Sie erfordern räumliches Grounding (z. B. „die Person rechts von X"), attributive Wahrnehmung (z. B. Farben, Texturen) und relationales Parsen, die nicht durch Bildunterschriften ersetzt werden können.
• Aufbau der Aufgaben: Jede Aufgabe beginnt mit einem Bild und einer Textfrage. Die Lösung erfordert einen mehrstufigen Suchprozess (Multi-Hop), bei dem der Agent neue visuelle Beweise finden und diese mit textlichen Informationen verknüpfen muss. Es sind mindestens zwei visuelle Evidenzblöcke und drei Suchschritte erforderlich.
• Agenten-Workflow: Die Autoren schlagen einen Workflow vor, der den Agenten mit fünf Kern-Tools ausstattet:
  • text_search: Textbasierte Websuche.
  • image_search: Suche nach Bildern basierend auf Textanfragen.
  • reverse_image_search: Suche nach ähnlichen Bildern basierend auf einem Bild.
  • image_crop: Zuschneiden von Bildbereichen für detaillierte Analyse.
  • webpage_visit: Abruf und Analyse strukturierter Webseiteninhalte.

3. Schlüsselbeiträge

1. Formalisierung der Aufgabe: Identifikation der Lücken in aktuellen Benchmarks (fehlende Bewertung visueller Reasoning-Fähigkeiten und Vernachlässigung visueller Native-Informationen).
2. VisBrowse-Bench: Einführung eines rigoros validierten Benchmarks mit 169 Instanzen, der die Kombination aus Such- und visuellen Reasoning-Fähigkeiten testet.
3. Agentic Workflow: Entwicklung eines Multi-Turn-Workflows, der Agenten dazu anregt, aktiv visuelle Informationen zu sammeln und zu verarbeiten, anstatt sich nur auf Text zu verlassen.
4. Umfassende Evaluation: Erste umfassende Bewertung sowohl von Open-Source- als auch von Closed-Source-Modellen sowie spezieller „Deep Research"-Modelle in diesem Szenario.

4. Ergebnisse

Die Evaluation umfasste eine breite Palette von Modellen, darunter Gemini, GPT, Claude, Kimi, Qwen und Deep Research-Modelle (z. B. o3-deep-research).

• Gesamtleistung: Die Leistung ist insgesamt niedrig, was die Schwierigkeit des Benchmarks unterstreicht.
  • Das bestperformende Modell (Claude-4.6-Opus) erreichte eine Genauigkeit von nur 47,6 %.
  • Das proprietäre Deep Research-Modell (o3-deep-research) erreichte 41,1 %.
  • Open-Source-Modelle (z. B. Qwen3-VL) lagen deutlich darunter (ca. 14,2 %).
• Einfluss der Tools:
  • Direkte Antwort (ohne Tools): Sehr schlechte Ergebnisse, da parametrisches Wissen für dynamische Suchaufgaben nicht ausreicht.
  • Text-Suche (+TS): Verbesserte die Leistung moderat, zeigte aber, dass Text allein nicht ausreicht.
  • Bild-Suche (+IS): Die Nutzung aller Tools (inkl. Bildsuche und Cropping) führte zu den besten Ergebnissen, bestätigte aber, dass viele Modelle Schwierigkeiten haben, visuelle Beweise korrekt zu integrieren.
• Tool-Nutzung: Modelle wie Kimi-K2.5 zeigten eine signifikante Leistungssteigerung durch häufigere Nutzung der image_search-Funktion, während andere Modelle (wie Claude-4.6-Sonnet) die Bildsuche teilweise ineffizient nutzten oder sogar Fehler machten, was zu Leistungsabfällen führte.

5. Bedeutung und Fazit

VisBrowse-Bench stellt einen wichtigen Schritt vorwärts in der Evaluierung von multimodalen Agenten dar. Es beweist, dass aktuelle State-of-the-Art-Modelle zwar in der Lage sind, Text zu suchen, aber oft scheitern, wenn sie visuell-nativ suchen und reasoning über visuelle Inhalte durchführen müssen, die während des Suchprozesses neu entdeckt werden.

Die Studie zeigt, dass:

1. Reine Textsuche für komplexe multimodale Fragen unzureichend ist.
2. Die Fähigkeit, visuelle Beweise aktiv zu suchen, zu analysieren und mit Text zu verknüpfen, eine kritische, aber noch nicht ausreichend entwickelte Fähigkeit für Agenten ist.
3. Der vorgeschlagene Workflow effektiv ist, um diese Fähigkeiten zu stimulieren, aber noch erheblicher Forschungsbedarf besteht, um die Genauigkeit über 50 % zu heben.

Der Benchmark und die zugehörigen Daten sind öffentlich verfügbar und dienen als Grundlage für die Weiterentwicklung von Agenten, die in der realen Welt mit multimodalen Informationen umgehen müssen.