AgentVista: Evaluating Multimodal Agents in Ultra-Challenging Realistic Visual Scenarios

Das Paper stellt AgentVista vor, einen Benchmark für multimodale Agenten, der realistische, detailreiche Szenarien mit langfristigen Werkzeuginteraktionen über 25 Unterdomänen hinweg testet und dabei erhebliche Defizite aktueller State-of-the-Art-Modelle bei der Bewältigung solcher komplexen Aufgaben aufdeckt.

Das Wesentliche

Stell dir vor, du hast einen sehr intelligenten, aber noch etwas unerfahrenen Assistenten namens „KI-Agent". Dieser Assistent kann nicht nur lesen und schreiben, sondern auch sehen (Bilder verstehen) und Handeln (im Internet suchen, Bilder bearbeiten, Rechnungen machen).

Das Papier „AGENTVISTA" stellt uns einen neuen, extrem schwierigen Test vor, um zu prüfen, wie gut dieser Assistent im echten Leben funktioniert.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der Assistent ist noch ein „Babysitter"

Bisherige Tests für KI waren wie Schulaufgaben im Klassenzimmer.

• Die KI bekam ein Bild und eine Frage.
• Sie musste antworten.
• Aber: Die Aufgaben waren oft zu einfach oder zu künstlich. Es war, als würde man jemanden testen, der nur im Schwimmbad schwimmen kann, und dann erwarten, dass er den Atlantik überquert.

Echte Aufgaben sind chaotisch. Ein Mensch muss vielleicht ein Foto von einem kaputten Kabelschrank machen, im Internet nach dem Schaltplan suchen, ein Bild des Kabels mit dem Plan vergleichen, eine Reparatur planen und dann die Kosten berechnen. Das erfordert viele Schritte, verschiedene Werkzeuge und ein gutes Auge für Details.

2. Die Lösung: AGENTVISTA – Der „Survival-Parcours"

Die Forscher haben AGENTVISTA entwickelt. Das ist kein einfacher Test, sondern ein ultra-harter Überlebensparcours für KI-Agenten.

• Der Parcours: Er besteht aus 209 verschiedenen Aufgaben aus 7 Welten (z. B. Einkaufen, Reisen, Technik, Kultur).
• Die Werkzeuge: Der KI-Assistent darf nicht nur raten. Er muss echte Werkzeuge benutzen:
  • Google-Suche: Um Fakten zu finden.
  • Bildersuche: Um zu vergleichen, wie etwas aussieht.
  • Webseiten-Besuch: Um Details zu lesen.
  • Code-Interpreter: Um Bilder zu zoomen, zu schneiden oder Mathe zu rechnen.
• Die Herausforderung: Die Aufgaben sind so gestellt, dass die KI lange Ketten von Aktionen durchführen muss. Sie muss oft 10, 15 oder sogar 25 Schritte hintereinander machen, ohne den Faden zu verlieren.

Ein Beispiel aus dem Papier:
Stell dir vor, du willst den Boden in deinem Wohnzimmer neu verlegen.

1. Du machst ein Foto vom alten Boden (Bild 1).
2. Du suchst online nach einem ähnlichen Vinyl-Boden.
3. Du musst prüfen, ob das Zimmer, in dem du den Boden willst (Bild 2), wirklich das ist, das du meinst (vielleicht ist es ein Schlafzimmer, nicht ein Wohnzimmer).
4. Du musst die Maße des Raums aus einem anderen Bild (Bild 3) berechnen.
5. Du musst den Preis pro Quadratmeter finden und die Gesamtkosten berechnen.

Ein KI-Agent muss all das allein schaffen, indem er zwischen Bildern, Suchmaschinen und Taschenrechnern hin- und herspringt.

3. Das Ergebnis: Die KI stolpert noch

Die Forscher haben die besten KI-Modelle der Welt (wie Gemini, GPT-5, Claude) durch diesen Parcours geschickt. Das Ergebnis war ernüchternd:

• Die Punktzahl: Selbst der „König" der KIs (Gemini-3-Pro) hat nur 27,3 % der Aufgaben richtig gelöst.
• Die Metapher: Stell dir vor, du gibst einem Menschen einen Kompass, eine Karte und einen Fernglas. Wenn er bei 100 Wanderungen nur 27 Mal das Ziel erreicht, ist er noch kein erfahrener Abenteurer. Die KI ist noch sehr verloren.
• Wo sie scheitern:
  • Das Auge: Oft sieht die KI das falsche Detail. Sie verwechselt ein Kabel mit einem anderen oder liest eine Zahl falsch ab. Das ist wie ein Detektiv, der den falschen Fingerabdruck findet.
  • Die Geduld: Bei langen Aufgaben (über 25 Schritte) vergisst die KI oft, was sie am Anfang gesagt hat, oder macht einen Fehler in Schritt 3, der alles in Schritt 20 ruiniert.
  • Halluzinationen: Manchmal erfindet die KI Fakten, die gar nicht da sind, nur um die Aufgabe zu „lösen".

4. Warum ist das wichtig?

Dieser Test zeigt uns, dass wir noch einen langen Weg vor uns haben, bevor KIs wirklich als zuverlässige Helfer im Alltag eingesetzt werden können.

• Bisher: KIs sind wie brillante Studenten, die nur theoretische Prüfungen bestehen.
• Ziel: Wir brauchen KIs, die wie erfahrene Handwerker sind, die in einer chaotischen Werkstatt echte Probleme lösen können, ohne das Haus abzubrennen.

Fazit:
AGENTVISTA ist wie ein Spiegel, der zeigt, wo die KI noch Schwächen hat. Es ist kein böser Test, sondern ein notwendiger Schritt. Nur wenn wir wissen, wo die KI stolpert (z. B. bei kleinen Details auf Fotos oder bei langen Aufgaben), können wir sie besser trainieren, bis sie eines Tages wirklich unser zuverlässiger digitaler Begleiter wird.

Technische Zusammenfassung

1. Problemstellung

Die Entwicklung multimodaler Agenten, die komplexe reale Probleme lösen können, stößt derzeit auf eine wesentliche Hürde: Das Fehlen eines umfassenden Benchmarks, der Realismus, visuelle Feinheiten und den langfristigen Einsatz von Werkzeugen (Long-Horizon Tool Use) adäquat abbildet.

Bestehende Benchmarks leiden unter zwei Hauptproblemen:

• Spezifische Fähigkeiten-Evaluation: Viele Tests konzentrieren sich nur auf einzelne Fähigkeiten (z. B. reines Web-Surfen, Bildmanipulation oder Code-Generierung) und testen nicht die Fähigkeit eines generalistischen Agenten, diese Skills in langen, hybriden Workflows zu kombinieren.
• Kompromiss zwischen Realismus und Schwierigkeit: Um Aufgaben schwieriger zu machen, werden oft die visuellen Eingaben vereinfacht oder die Werkzeugnutzung unnatürlich gestaltet. Dies verlagert die Herausforderung weg vom eigentlichen „Grounding" (Verankerung in der visuellen Realität) hin zu künstlichen Constraints.

Das Ziel ist es, Agenten zu bewerten, die reale Szenarien (z. B. Fehlerbehebung an Geräten, Reiseplanung, Produktauswahl) bewältigen müssen, indem sie visuelle Beweise mit externen Informationen und Berechnungen verknüpfen.

2. Methodik: Der AGENTVISTA Benchmark

AGENTVISTA ist ein neuer Benchmark, der entwickelt wurde, um generalistische multimodale Agenten in ultra-herausfordernden, realistischen Szenarien zu evaluieren.

• Datensatz-Aufbau:
  • Der Datensatz umfasst 209 Aufgaben, die sich über 25 Subdomänen in 7 Hauptkategorien erstrecken (Technologie, Handel, Geografie, Unterhaltung, Gesellschaft, Wissenschaft, Kultur).
  • Die Aufgaben basieren auf 300.000+ realen Bildern und echten Nutzeranfragen.
  • Aufbau-Phasen: Der Prozess umfasst vier Stufen: (1) Agent-zentriertes Filtern (KI-gestützt), (2) Experten-Finalisierung (menschliche Nachbearbeitung für Realismus), (3) Ausführungs-Filterung (Validierung der Werkzeug-Nutzung) und (4) Zwei-Runden-Verifikation (Sicherstellung von Eindeutigkeit und visueller Abhängigkeit).
• Design-Prinzipien:
  • Visionszentriert: Die Lösung erfordert zwingend das Verstehen visueller Details (z. B. kleine Hinweise, Text auf Etiketten), die nicht durch reine Textsuche gelöst werden können.
  • Hybride Werkzeugnutzung: Aufgaben erfordern das interleaved (verschachtelte) Nutzen verschiedener Werkzeugtypen: Web-Suche, Bildsuche, Seiten-Navigation und Code-Interpreter (für Bildverarbeitung und Berechnungen).
  • Verifizierbarkeit: Jede Aufgabe hat eine eindeutige, deterministische Antwort (z. B. eine Zahl, ein Name), die automatisch überprüfbar ist.
• Werkzeugumgebung:
  Der Benchmark nutzt eine kontrollierte Umgebung mit vier Kernwerkzeugen:
  1. Web Search: Für Textrecherche.
  2. Image Search: Für Bildrecherche (Text-zu-Bild und Reverse Image Search).
  3. Visit: Zum Abrufen und Extrahieren von Webinhalten.
  4. Code Interpreter: Für Bildmanipulation (Zuschneiden, Messen, Skalieren) und komplexe Berechnungen.

3. Schlüsselergebnisse

Die Evaluation umfasste 14 führende multimodale Modelle (u. a. GPT-5-Serie, Gemini-3-Pro, Claude-Opus/Sonnet, Qwen3-VL).

• Extreme Schwierigkeit: Der Benchmark ist für den aktuellen Stand der Technik kaum lösbar. Das beste Modell, GEMINI-3-PRO, erreicht lediglich eine Gesamtgenauigkeit von 27,3 %. Vier der 14 Modelle liegen unter 15 %.
• Komplexität der Interaktion: Die Aufgaben erfordern lange Interaktionsketten. Im Durchschnitt nutzen Modelle über 12,67 Werkzeug-Aufrufe pro Aufgabe (bei einem Limit von 30). Das Modell GPT-5.2 benötigte durchschnittlich 13,85 Runden.
• Einfluss mehrerer Bilder: Überraschenderweise performen Modelle bei Multi-Image-Eingaben oft besser als bei Single-Image-Eingaben (z. B. stieg Gemini-3-Pro von 23,7 % auf 36,8 %). Zusätzliche Ansichten reduzieren Mehrdeutigkeiten und liefern komplementäre Beweise.
• Domänenspezifische Stärken: Es gibt keine universelle Überlegenheit. Die GPT-5-Familie ist stark in Technologie und Handel, Gemini dominiert in Geografie und Kultur, während Claude-Modelle bei Aufgaben mit strengen Constraints besser abschneiden.
• Test-Time Scaling: Eine Erhöhung der Stichprobenanzahl (Sampling) verbessert die Ergebnisse (Pass@16 erreicht 51,67 %), zeigt aber auch, dass reine Skalierung nicht ausreicht, um die Lücke zu schließen.

4. Fehleranalyse

Die Analyse der Fehlerquellen offenbarte die größten Engpässe aktueller Agenten:

1. Visuelle Fehlinvestifikation (Visual Misidentification): Dies ist die häufigste Fehlerquelle. Modelle lesen Etiketten falsch, verwechseln ähnliche Komponenten oder übersehen subtile Details. Ein einziger visueller Fehler führt oft zu einer falschen Kettenreaktion bei der Werkzeugnutzung.
2. Wissenshalluzination: Modelle erfinden Fakten oder wenden generische Regeln an, die nicht auf die spezifischen visuellen Beweise zutreffen.
3. Werkzeugausführungsfehler: Probleme beim Parsen von Werkzeugausgaben oder beim Durchführen von Bildverarbeitungsschritten (z. B. fehlerhafte Segmentierung von Puzzleteilen).

5. Bedeutung und Beiträge

• Neuer Standard: AGENTVISTA füllt die Lücke zwischen statischen visuellen Frage-Antwort-Benchmarks und realen, langfristigen Agenten-Aufgaben.
• Realistische Evaluation: Durch die Betonung von „cluttered" (unübersichtlichen) visuellen Szenarien und der Notwendigkeit, Werkzeuge verschachtelt einzusetzen, zwingt der Benchmark Modelle dazu, echte multimodale Intelligenz zu demonstrieren, anstatt nur Mustererkennung zu betreiben.
• Offene Lücken: Die Ergebnisse zeigen deutlich, dass selbst die fortschrittlichsten Modelle (Stand 2026) noch erheblichen Verbesserungsbedarf haben, insbesondere bei der visuellen Verankerung (Visual Grounding) und der Zuverlässigkeit über lange Werkzeugketten hinweg.
• Ressourcen: Die Autoren veröffentlichen den Benchmark sowie ein leichtgewichtiges Agent-Framework, um reproduzierbare Forschung und Fortschritte im Bereich der multimodalen Agenten zu fördern.

Fazit: AGENTVISTA demonstriert, dass der Weg zu robusten, generalistischen multimodalen Agenten, die komplexe reale Probleme lösen können, noch lang ist. Der Benchmark dient als kritischer Teststein, um die Entwicklung von Systemen voranzutreiben, die visuelle Beweise zuverlässig mit externem Wissen und Berechnungen verknüpfen können.