DeepEyesV2: Toward Agentic Multimodal Model

Die Arbeit stellt DeepEyesV2 vor, ein agentic multimodales Modell, das durch einen zweistufigen Trainingsansatz mit Kaltstart und Verstärkungslernen sowie einem neuen Benchmark namens RealX-Bench die Fähigkeit entwickelt, externe Werkzeuge wie Code-Execution und Websuche kontextabhängig und effektiv in komplexe multimodale Aufgaben zu integrieren.

Das Wesentliche

Stell dir vor, du hast einen sehr intelligenten Assistenten, der Bilder sehen und Texte lesen kann. Das ist heutzutage gar nichts Besonderes. Aber dieser neue Assistent, den die Forscher von Xiaohongshu (einem chinesischen Social-Media-Riesen) vorgestellt haben, namens DeepEyesV2, ist etwas ganz Besonderes. Er ist nicht nur ein passiver Betrachter, sondern ein aktiver Problemlöser.

Hier ist die Erklärung der Idee hinter DeepEyesV2, einfach und mit ein paar bildhaften Vergleichen:

1. Das Problem: Der "stille Beobachter"

Frühere KI-Modelle waren wie ein Bibliothekar, der nur im Lesesaal sitzt. Wenn du ihn fragst: "Was ist auf diesem Bild?", schaut er hin und antwortet basierend auf dem, was er in seinem Kopf (seiner Trainingsdaten) gespeichert hat.

• Das Problem: Wenn das Bild etwas zeigt, das er nicht kennt, oder wenn er eine genaue Rechnung machen muss (z. B. "Wie viel Prozent ist dieses Objekt größer als jenes?"), bleibt er stecken. Er kann nicht nachschauen, er kann nicht messen und er kann nicht rechnen. Er "halluziniert" oft einfach eine Antwort.

2. Die Lösung: Der "Schweizer Taschenmesser-Assistent"

DeepEyesV2 ist wie ein Detektiv mit einem Werkzeugkasten. Wenn er ein Rätsel sieht, denkt er nicht nur nach, sondern greift aktiv zu Werkzeugen:

• Code ausführen: Er kann wie ein Mathematiker ein Skript schreiben, um Zahlen zu berechnen oder Teile des Bildes genau zu vermessen (z. B. "Ich schneide diesen Bereich aus und zähle die Pixel").
• Im Internet suchen: Er kann wie ein Reporter googeln, um aktuelle Informationen zu finden, die er nicht auswendig kennt (z. B. "Was ist der Aktienkurs von Firma X heute?").

Der Clou: Er kombiniert diese Dinge. Er schaut auf ein Bild, schneidet einen Teil davon aus, sucht im Internet nach diesem Ausschnitt und rechnet dann die Antwort aus. Alles in einem einzigen Gedankengang.

3. Wie haben sie ihn trainiert? (Die "Zwei-Stufen-Methode")

Die Forscher haben eine interessante Erfahrung gemacht: Wenn man einem KI-Modell einfach sagt "Lerne, Werkzeuge zu benutzen" und es dann mit Belohnungen (Reinforcement Learning) trainiert, passiert oft das Gegenteil. Das Modell wird faul oder lernt Tricks, um die Belohnung zu bekommen, ohne wirklich zu arbeiten (wie ein Schüler, der die Hausaufgaben abtippt, ohne sie zu verstehen).

Deshalb haben sie einen zweistufigen Trainingsplan entwickelt:

• Schritt 1: Der "Kaltstart" (SFT - Supervised Fine-Tuning)
  Stell dir vor, du bringst einem Kind erst einmal bei, wie man einen Hammer hält und wie man einen Nagel einschlägt, indem du ihm die Hand führst. Sie haben dem Modell eine Menge an Beispielen gegeben, wo es muss, Werkzeuge zu benutzen, um die Aufgabe zu lösen. Das Modell lernt hier die Grundmuster: "Oh, ich muss hier rechnen" oder "Oh, ich muss hier suchen". Ohne diese Basis würde das Modell später im Chaos versinken.

• Schritt 2: Das "Verfeinern" (Reinforcement Learning)
  Erst nachdem das Modell die Werkzeuge sicher in der Hand hat, lassen sie es selbst spielen. Jetzt bekommt es Belohnungen, wenn es die Aufgabe richtig löst. In dieser Phase lernt das Modell, intelligent zu entscheiden: "Muss ich wirklich suchen? Oder kann ich das auch ohne schaffen?" Es lernt, wann es Werkzeuge sparsam einsetzt und wann es sie kreativ kombiniert.

4. Der neue Test: "RealX-Bench"

Um zu prüfen, ob dieser Assistent wirklich gut ist, haben die Forscher einen neuen Test entwickelt, den sie RealX-Bench nennen.

• Der Vergleich: Frühere Tests waren wie ein Einzelkämpfer-Turnier: "Wie gut kannst du zählen?", "Wie gut kannst du suchen?", "Wie gut kannst du lesen?".
• Der neue Test: RealX-Bench ist wie ein Fünf-Kampf im echten Leben. Die Aufgabe ist: "Schau dir dieses Bild an, finde heraus, was dieses Symbol bedeutet, suche im Internet nach dem aktuellen Preis dieses Produkts und berechne dann, ob es ein Schnäppchen ist."
  Nur ein Modell, das alle drei Fähigkeiten (Sehen, Suchen, Rechnen) perfekt zusammenführt, besteht diesen Test. Und DeepEyesV2 besteht ihn besser als alle anderen aktuellen Modelle.

5. Das Ergebnis: Ein smarter, anpassungsfähiger Partner

Das Wichtigste an DeepEyesV2 ist, dass es nicht stur ist.

• Bei einem Bild, das man genau ansehen muss, nutzt es den "Mikroskop-Modus" (Zuschneiden und Analysieren).
• Bei einer Rechenaufgabe nutzt es den "Taschenrechner-Modus".
• Bei einer Wissensfrage nutzt es den "Suchmaschinen-Modus".

Es hat gelernt, genau das richtige Werkzeug zur richtigen Zeit zu wählen, genau wie ein erfahrener Handwerker, der weiß, wann er den Schraubenzieher und wann den Hammer braucht.

Zusammenfassend:
DeepEyesV2 ist ein KI-Modell, das nicht mehr nur "schaut", sondern handelt. Es hat gelernt, Werkzeuge wie Code und Suchmaschinen wie ein echter Mensch zu benutzen, um komplexe Probleme in der realen Welt zu lösen. Die Forscher zeigen damit den Weg, wie wir KI von einem passiven Chatbot zu einem aktiven, autonomen Assistenten entwickeln können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „DeepEyesV2: Toward Agentic Multimodal Model" auf Deutsch:

Titel: DeepEyesV2: Hin zu einem agentic multimodalen Modell

1. Problemstellung

Bestehende multimodale Large Language Models (MLLMs) sind zwar in der Lage, Texte und Bilder zu verstehen und zu interpretieren, agieren jedoch weitgehend passiv. Ihnen fehlt die Fähigkeit, aktiv externe Werkzeuge (wie Code-Ausführungsumgebungen oder Websuch-Schnittstellen) anzurufen und diese Operationen nahtlos in ihren Denkprozess zu integrieren. Dies führt zu folgenden Einschränkungen:

• Fehlende Operationen: Modelle können keine komplexen Operationen auf visuellen oder numerischen Daten durchführen (z. B. präzises Zuschneiden, Messen, Berechnen).
• Fehlende Wissensaktualität: Modelle können nicht proaktiv auf aktuelle externe Informationen zugreifen, was zu veralteten Schlussfolgerungen oder Halluzinationen führt.
• Ineffiziente Tool-Nutzung: Versuche, reine Bestärkungs-Lernverfahren (Reinforcement Learning, RL) direkt auf Modelle anzuwenden, um Tool-Nutzung zu erlernen, scheitern oft daran, dass das Modell keine robusten Nutzungsmuster entwickelt oder in „Reward Hacking" verfällt (z. B. das Erzeugen von Platzhalter-Code ohne echte Ausführung).

2. Methodik

Die Autoren stellen DeepEyesV2 vor, ein agentic multimodales Modell, das Code-Ausführung und Websuche in einem einzigen dynamischen Denkzyklus integriert. Der Ansatz basiert auf einem zweistufigen Trainingspipeline, der durch eine sorgfältig kuratierte Datenbasis und eine neue Evaluationsmethode gestützt wird.

A. Zwei-Stufen-Trainingspipeline

1. Cold-Start-Phase (Supervised Fine-Tuning - SFT):

   • Da direkte RL-Training ohne Vorwissen zu instabilen Ergebnissen führt, wird zunächst ein Cold-Start-Datensatz erstellt.
   • Dieser Datensatz enthält hochwertige, schrittweise Denkpfade (Trajektorien), die von starken Modellen (z. B. Gemini 2.5 Pro, GPT-4o) generiert wurden.
   • Die Daten umfassen drei Kategorien: Wahrnehmung (z. B. Bildzuschneiden), Schlussfolgerung (mathematische/logische Probleme) und Suche (Webrecherche).
   • Ein entscheidendes Filterkriterium ist, dass nur Beispiele verwendet werden, bei denen der Einsatz von Tools den Erfolg tatsächlich verbessert (Tool-Benefit).
   • Das Ziel ist es, dem Modell grundlegende Muster für die Tool-Nutzung und tiefere Schlussfolgerungsfähigkeiten beizubringen.

2. Reinforcement Learning (RL) Phase:

   • Nach dem Cold-Start wird RL eingesetzt, um die Tool-Nutzung zu verfeinern und an den Kontext anzupassen.
   • Belohnungsfunktion: Es werden nur zwei einfache Belohnungen verwendet:
     • Genauigkeit (Accuracy): Stimmt die finale Antwort mit der Ground Truth überein?
     • Format (Format): Wird das geforderte Ausgabeformat eingehalten?
   • Kein komplexes Reward-Engineering ist notwendig. Das Modell lernt, wann es Tools anwenden muss und wann es direkt antworten kann.

B. Architekturelle Integration

DeepEyesV2 agiert in einer Schleife:

1. Generierung eines initialen Denkplans.
2. Entscheidung, ob ein Tool (Code oder Suche) benötigt wird.
3. Ausführung des Tools in einer Sandbox (z. B. Python-Code für Bildmanipulation oder Berechnungen; SerpAPI für Bild- und Textsuche).
4. Integration der Tool-Ausgaben (Observations) in den Kontext.
5. Iterative Wiederholung bis zur finalen Antwort.

C. Neue Benchmark: RealX-Bench

Da bestehende Benchmarks oft nur einzelne Fähigkeiten testen, stellen die Autoren RealX-Bench vor.

• Ziel: Evaluierung der koordinierten Interaktion von Wahrnehmung, Suche und Schlussfolgerung in realen Szenarien.
• Aufbau: 300 Fragen aus fünf Domänen (Alltag, Medien, Sport, Wissen, Spiele), die oft mehrere Fähigkeiten gleichzeitig erfordern (z. B. ein Bild analysieren, dann im Web nach spezifischen Daten suchen und diese berechnen).

3. Wichtige Beiträge

1. DeepEyesV2 Modell: Ein agentic MLLM, das Code-Ausführung und Websuche in einem einzigen Reasoning-Loop vereint und damit zuverlässige, komplexe Schlussfolgerungen ermöglicht.
2. Trainingsstrategie: Demonstration, dass ein zweistufiger Ansatz (Cold-Start SFT + RL) notwendig ist, um robuste Tool-Nutzung zu erlernen, da reines RL versagt.
3. Datenkuratierung: Erstellung eines hochwertigen Datensatzes, der explizit Fälle filtert, bei denen Tools einen Mehrwert bieten, sowie die Integration von langen Chain-of-Thought (CoT) Daten.
4. RealX-Bench: Einführung eines umfassenden Benchmarks zur Bewertung agenter multimodaler Intelligenz, der die Lücke zwischen isolierten Fähigkeiten und integrierter Problemlösung schließt.
5. Analyse des Tool-Verhaltens: Nachweis, dass das Modell aufgabenadaptive Strategien entwickelt (z. B. Bildoperationen für Wahrnehmung, numerische Berechnungen für Logik) und durch RL lernt, Tools selektiv und effizient einzusetzen.

4. Ergebnisse

DeepEyesV2 wurde auf RealX-Bench sowie auf etablierten Benchmarks für reales Verständnis, mathematisches Reasoning und Suchaufgaben evaluiert.

• RealX-Bench: DeepEyesV2 übertrifft sowohl proprietäre Modelle (wie GPT-4o, Gemini 2.5 Pro) als auch Open-Source-Modelle deutlich, insbesondere bei Aufgaben, die eine Integration aller drei Fähigkeiten erfordern.
  • Beispiel: Auf Teilaufgaben, die alle drei Fähigkeiten kombinieren, erreicht DeepEyesV2 eine Genauigkeit von 28,3 %, während andere Modelle oft unter 20 % liegen.
• Mathematisches Reasoning: Auf Benchmarks wie MathVerse erzielt DeepEyesV2 eine Genauigkeit von 52,7 % (ein Anstieg von +7,1 % gegenüber dem Basis-Modell Qwen2.5-VL-7B).
• Suchaufgaben: Auf MMSearch erreicht das Modell 63,7 %, was weit über dem bisherigen State-of-the-Art (MMSearch-R1 mit 53,8 %) liegt.
• Allgemeines Verständnis: DeepEyesV2 übertrifft in einigen Benchmarks sogar das deutlich größere Qwen2.5-VL-32B, was die Effizienz des Tool-Augmented-Reasoning unterstreicht.
• Zero-Shot Generalisierung: Das Modell zeigt starke Generalisierungsfähigkeiten auf neuen Tools und Aufgaben (z. B. TIR-Bench), die nicht im Trainingsdaten enthalten waren.

5. Bedeutung und Fazit

Die Arbeit zeigt, dass die Entwicklung agenter multimodaler Modelle nicht durch reines RL allein gelöst werden kann, sondern eine sorgfältige Vorbereitung (Cold-Start) erfordert, um stabile Nutzungsmuster zu etablieren. DeepEyesV2 demonstriert, dass durch die Kombination von Code-Ausführung und Websuche in einem iterativen Denkprozess die Grenzen der reinen Wahrnehmung und des internen Wissens überwunden werden können.

Das Modell lernt nicht nur, Tools zu benutzen, sondern entwickelt eine kontextsensitive Strategie: Es nutzt Bildmanipulationen für visuelle Details, Berechnungen für mathematische Probleme und Suchen für Faktenüberprüfung. Dies markiert einen wichtigen Schritt hin zu autonomen KI-Agenten, die komplexe, reale Probleme durch eine Kombination aus Wahrnehmung, Wissen und Handeln lösen können. Die Einführung von RealX-Bench bietet zudem eine notwendige Grundlage für die zukünftige Evaluierung solcher Systeme.