VTC-Bench: Evaluating Agentic Multimodal Models via Compositional Visual Tool Chaining

Die Arbeit stellt VTC-Bench vor, ein umfassendes Benchmark mit 32 OpenCV-Operationen und 680 Aufgaben, das zeigt, dass aktuelle multimodale Sprachmodelle trotz Fortschritten bei der visuellen Werkzeugnutzung erhebliche Schwierigkeiten bei der Komposition komplexer Werkzeugketten und der Generalisierung auf unbekannte Operationen haben.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter-Assistenten, der Bilder sehen und verstehen kann. Früher konnte dieser Roboter nur beschreiben, was er sah – wie ein Tourist, der sagt: „Da ist ein rotes Auto."

Neuere Modelle sind jedoch viel ehrgeiziger. Sie wollen nicht nur schauen, sondern handeln. Sie sollen wie ein Profi-Handwerker oder ein Fotograf agieren: Sie sollen das Bild zuschneiden, den Kontrast anpassen, Objekte zählen oder sogar mathematische Probleme auf dem Bild lösen. Dafür brauchen sie Werkzeuge.

Das Papier „VTC-Bench" ist im Grunde ein großer, strenger Test, um herauszufinden, wie gut diese Roboter-Assistenten tatsächlich mit ihren Werkzeugkisten umgehen können.

Hier ist die Erklärung in einfachen Worten, mit ein paar kreativen Vergleichen:

1. Das Problem: Der „Werkzeugkasten" ist oft zu leer

Bisherige Tests waren wie ein Spiel, bei dem dem Roboter nur ein paar einfache Werkzeuge gegeben wurden – vielleicht nur ein Hammer und eine Zange. Der Roboter hat dann Aufgaben gelöst, die nur diese zwei Dinge erforderten. Das war zu einfach.

In der echten Welt (und in echten Computerprogrammen) gibt es aber 32 verschiedene Werkzeuge (basierend auf einer Bibliothek namens OpenCV). Das ist wie ein riesiger Werkzeugkasten eines Elektrikers, der von Schraubendrehern über Lötstationen bis hin zu komplexen Messgeräten reicht.

• Das Ziel: Der Test prüft, ob der Roboter weiß, welches Werkzeug er wann braucht und wie er sie kombiniert.

2. Der Test: Eine dreistufige Treppe

Der Test (VTC-Bench) ist wie eine Treppe mit drei Absätzen, die immer schwieriger wird:

• Stufe 1: Das Bild reparieren (Visuelle Wahrnehmung)

  • Die Situation: Das Bild ist unscharf, verkehrt herum oder hat einen Nebel vor der Linse.
  • Die Aufgabe: Der Roboter muss erst mal das Bild „putzen". Er muss es drehen, den Kontrast erhöhen oder den Nebel entfernen, damit er überhaupt etwas erkennen kann.
  • Vergleich: Wie wenn Sie eine schmutze Brille putzen, bevor Sie lesen können.

• Stufe 2: Zählen und Messen (Quantitative Schätzung)

  • Die Situation: Jetzt, wo das Bild klar ist, müssen Dinge gezählt oder gemessen werden.
  • Die Aufgabe: „Wie viele rote Kugeln sind da?" oder „Wie lang ist dieser Schraube?"
  • Vergleich: Wie ein Supermarkt-Kassierer, der nicht nur die Waren sieht, sondern sie auch genau zählt und wiegt.

• Stufe 3: Die große Kombination (Kompositionelles Denken)

  • Die Situation: Die Aufgabe ist komplex. Man muss erst das Bild reparieren, dann einen Teil ausschneiden, dann die Farben ändern und am Ende messen.
  • Die Aufgabe: Der Roboter muss eine Reihe von Schritten planen (eine „Werkzeugkette").
  • Vergleich: Wie ein Koch, der nicht nur Eier kocht, sondern erst den Ofen vorheizt, dann den Teig knetet, dann backt und zum Schluss die Sahne aufschlagen muss. Wenn er einen Schritt vergisst, ist das Gericht ruiniert.

3. Das Ergebnis: Die Roboter sind noch nicht so schlau, wie wir denken

Die Forscher haben 19 der besten KI-Modelle getestet (darunter bekannte Namen wie GPT, Gemini und Qwen). Das Ergebnis war ernüchternd:

• Die „Besten" sind nur durchschnittlich: Selbst das führende Modell (Gemini 3.0-Pro) hat nur 51 % der Aufgaben richtig gelöst. Das ist wie eine Schulnote von „Befriedigend" – für eine hochintelligente KI eigentlich eine Enttäuschung.
• Das „Werkzeug-Versteckspiel": Die Roboter nutzen oft nur die Werkzeuge, die sie kennen, und ignorieren die, die sie wirklich brauchen.
  • Vergleich: Es ist, als würde ein Handwerker versuchen, eine Schraube zu lösen, aber stattdessen immer wieder nur mit dem Hammer hauen, weil er den Schraubenzieher nicht finden will oder nicht weiß, wie er funktioniert.
• Der Planungs-Defekt: Wenn eine Aufgabe 5 Schritte braucht, machen die Roboter oft nur 1 oder 2 und hoffen, dass es reicht. Sie „schummeln" und springen über wichtige Zwischenschritte.
• Open Source vs. Geschlossene Modelle: Die großen, teuren, geschlossenen Modelle (von Firmen wie Google oder OpenAI) waren deutlich besser als die kostenlosen, offenen Modelle. Letztere scheiterten oft schon daran, die Werkzeuge überhaupt korrekt zu bedienen.

4. Warum ist das wichtig?

Dieser Test zeigt uns eine harte Wahrheit: KI kann zwar Bilder „sehen", aber sie kann noch nicht gut „arbeiten".

Sie können ein Bild beschreiben, aber wenn sie ein komplexes Problem lösen sollen, indem sie Werkzeuge kombinieren (z. B. ein Bild bearbeiten, um eine Zahl zu finden), hängen sie oft fest. Sie brauchen noch viel mehr Training, um zu verstehen, dass sie nicht nur ein Werkzeug nehmen, sondern eine ganze Kette von Aktionen planen müssen.

Fazit:
VTC-Bench ist wie ein strenger Lehrer, der den KI-Modellen sagt: „Hört auf, nur zu schauen. Lernt, wie man ein Werkzeugkasten benutzt, um echte Probleme zu lösen!" Bis die Roboter diesen Test bestehen, sind sie noch keine echten „Agenten", die uns in der echten Welt helfen können. Sie sind noch eher wie Schüler, die gerade erst anfangen, die Werkzeuge zu benennen, aber noch nicht wissen, wie man sie kombiniert.

Technische Zusammenfassung

Titel: VTC-Bench: Evaluierung agenter multimodaler Modelle durch kompositionelle visuelle Werkzeugketten

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben sich von reinen visuellen Frage-Antwort-Systemen zu aktiven Agenten entwickelt, die externe Werkzeuge zur Lösung komplexer visueller Aufgaben nutzen können. Trotz dieser Fortschritte bestehen jedoch erhebliche Engpässe:

• Komplexe Werkzeugkombination: Die präzise Ausführung und effektive Verknüpfung (Chaining) verschiedener visueller Werkzeuge für komplexe, mehrstufige Aufgaben bleibt eine Herausforderung.
• Mangelnde Benchmarks: Bestehende Evaluierungsrahmenwerke sind oft durch begrenzte Werkzeugsets und einfache Aufrufpfade eingeschränkt. Sie erfassen nicht die Vielfalt und Komplexität realer Werkzeuginteraktionen, die für praktische Anwendungen notwendig sind.
• Generalisierungsprobleme: Modelle scheitern oft daran, sich an diverse Werkzeugsets anzupassen oder auf unbekannte Operationen zu generalisieren, und verlassen sich stattdessen auf eine kleine, bekannte Teilmenge von Funktionen.

2. Methodik und Benchmark-Design (VTC-Bench)

Um diese Lücke zu schließen, stellen die Autoren VTC-Bench (VisualToolChain-Bench) vor, einen umfassenden Benchmark zur Evaluierung der Werkzeugnutzungsprofizienz von MLLMs.

• Werkzeugset: Das Framework integriert 32 diverse visuelle Operationen, die auf der OpenCV-Bibliothek basieren. Diese sind in vier funktionale Module unterteilt:
  1. Geometrie: Räumliche Transformationen (z. B. Rotation, Skalierung, Pyramiden).
  2. Enhancement: Signaloptimierung (z. B. Farbraumumwandlung, Binarisierung, Histogramm-Equalization).
  3. Feature Extraction: Gewinnung struktureller und semantischer Primitiven (z. B. Kantenerkennung, Watershed-Segmentierung).
  4. Drawing: Verifikation und Quantifizierung (z. B. Konturdarstellung, Flächenmessung).
• Aufgabenhierarchie: Der Benchmark besteht aus 680 kuratierten Problemen, die in einer neunkategorigen kognitiven Hierarchie organisiert sind und in drei Stufen unterteilt werden:
  • Tier 1 (Visuelle Wahrnehmungserweiterung): Robuste OCR, Wahrnehmungs-Wiederherstellung (z. B. bei Nebel), Fokus-Verfeinerung.
  • Tier 2 (Quantitative visuelle Schätzung): Messung, Farbanalyse, Zählen.
  • Tier 3 (Kompositionelle visuelle Reasoning): Diagramm-Analyse, Mathematik, räumliches Reasoning.
• Evaluierungsprotokoll: Jede Aufgabe verfügt über eine Ground-Truth-Ausführungs-Trajektorie (Referenz-Werkzeugkette). Die Modelle können entweder über Code-Interpreter (Python/OpenCV) oder über eine definierte Schnittstelle (Interface) agieren.
• Metriken: Neben der durchschnittlichen Bestehensquote (APR) werden Metriken wie die Tool Call Rate (TCR), der Mean Absolute Error (MAE) der Werkzeugkettenlänge und die Tool Usage Efficiency (Efftool) verwendet, um die Präzision und Effizienz der Planung zu messen.

3. Wichtige Beiträge

• Umfassender Benchmark: VTC-Bench ist der erste Benchmark, der explizit auf die Komplexität der kompositionellen Werkzeugnutzung in visuellen Agenten abzielt, mit einem deutlich größeren Werkzeugset (32 Tools) als vorherige Arbeiten.
• Realistische Szenarien: Durch die Nachbildung echter Computer-Vision-Pipelines (z. B. Vorverarbeitung vor der Analyse) zwingt der Benchmark Modelle zu mehrstufigen Planungsprozessen.
• Granulare Diagnose: Die Bereitstellung von Ground-Truth-Trajektorien ermöglicht eine detaillierte Analyse von Planungsfehlern, nicht nur von Endergebnissen.

4. Ergebnisse

Die Autoren evaluierten 19 führende MLLMs (sowohl proprietär als auch Open-Source) auf VTC-Bench. Die Ergebnisse zeigen kritische Defizite im aktuellen Stand der Technik:

• Geringe Gesamtleistung: Die Leistung ist insgesamt niedrig. Das führende Modell, Gemini-3.0-Pro, erreicht nur 51,2 % (im Code-Modus).
• Diskrepanz zwischen Proprietär und Open-Source: Proprietäre Modelle (z. B. GPT-4o, GPT-5.2, Gemini-3.0) zeigen signifikante Verbesserungen durch Werkzeugnutzung, während viele Open-Source-Modelle nur marginale Gewinne oder sogar Leistungsverschlechterungen verzeichnen.
• Herausforderung der Komposition: Modelle haben große Schwierigkeiten, effiziente Ausführungspläne für komplexe Aufgaben zu formulieren. Sie neigen dazu, sich auf eine schmale, suboptimale Teilmenge bekannter Funktionen zu verlassen, anstatt die optimalen Werkzeuge auszuwählen.
• Ineffizienz: Selbst bei hohen Erfolgsquoten weisen Modelle eine geringe Tool Usage Efficiency auf (z. B. GPT-5.2 mit nur 16,78 % Effizienz), was auf übermäßige Redundanzen und Trial-and-Error-Verhalten hindeutet.
• Fehlertypen: Qualitative Analysen zeigen zwei Hauptfehlermodi:
  1. Strategische Fehlauswahl von Werkzeugen basierend auf falscher intrinsischer Wahrnehmung.
  2. Übermäßiges Vertrauen auf Zwischenergebnisse ohne visuelle Validierung.

5. Bedeutung und Ausblick

VTC-Bench etabliert eine strenge Baseline, die zeigt, dass der Übergang von passiver visueller Wahrnehmung zu aktivem, mehrstufigem Werkzeug-Orchestrieren eine ungelöste Grenze für aktuelle MLLMs darstellt. Die Studie unterstreicht, dass reine Skalierung der Parameter nicht ausreicht, um diese Fähigkeiten zu verbessern. Stattdessen ist eine tiefere Integration von Reasoning-Fähigkeiten und der Fähigkeit, komplexe Werkzeugketten dynamisch zu planen, notwendig, um zuverlässige visuelle Agenten für reale Anwendungen zu entwickeln. Der Benchmark dient als Leitfaden für die zukünftige Entwicklung generalisierter visueller Agenten.