VSearcher: Long-Horizon Multimodal Search Agent via Reinforcement Learning

Die Arbeit stellt VSearcher vor, einen multimodalen Suchagenten, der durch eine Reinforcement-Learning-Pipeline und eine iterative Datensynthese statische Multimodal-Modelle in autonome Systeme verwandelt, die komplexe, langfristige Suchaufgaben im Web mit Text-, Bild- und Browser-Tools bewältigen und dabei aktuelle proprietäre Modelle übertreffen.

Das Wesentliche

Stell dir vor, du hast einen sehr intelligenten Bibliothekar, der alle Bücher der Welt auswendig kennt, aber er hat keine Augen und kann nicht ins Internet gehen. Er kann dir nur Dinge erzählen, die er in seinem Kopf hat. Wenn du ihn fragst: „Wie sieht das aktuelle Wetter in Tokio aus?" oder „Was ist auf diesem neuen Bild zu sehen?", stottert er, weil er keine aktuellen Daten hat und Bilder nicht versteht.

Das ist das Problem, das die Forscher mit VSearcher lösen wollen.

Hier ist die Geschichte von VSearcher, einfach erklärt:

1. Das Problem: Der starre Bibliothekar

Die meisten aktuellen KI-Modelle sind wie dieser Bibliothekar. Sie sind super schlau, aber ihr Wissen ist „eingefroren" (wie ein altes Lexikon). Sie können keine Bilder analysieren und sie können nicht selbstständig im Internet nachschauen, um neue Informationen zu finden. Wenn sie ein komplexes Rätsel lösen müssen, das Bilder und aktuelle Fakten kombiniert, scheitern sie oft.

2. Die Lösung: VSearcher, der Detektiv

VSearcher ist wie ein Detektiv, der nicht nur Bücher lesen kann, sondern auch:

• Augen hat: Er kann Bilder sehen und verstehen.
• Ein Handy besitzt: Er kann selbstständig im Internet suchen (Textsuche, Bildersuche).
• Geduld hat: Er kann viele Schritte hintereinander machen, um eine Antwort zu finden (z. B. erst ein Bild suchen, dann den Namen des Objekts googeln, dann eine Webseite öffnen und lesen).

3. Wie lernt VSearcher? (Der dreistufige Trainingsplan)

Um aus dem langweiligen Bibliothekar einen cleveren Detektiv zu machen, haben die Forscher einen speziellen Trainingsplan entwickelt:

Schritt A: Der „Geheimnis-Generator" (Daten-Synthese)

Ein Detektiv braucht schwierige Fälle zum Üben. Die Forscher wollten keine einfachen Fragen wie „Wer ist der Präsident?". Sie wollten Rätsel, die so schwer sind, dass man sie nicht aus dem Kopf beantworten kann.

• Die Methode: Sie haben eine Maschine gebaut, die automatisch schwierige Fragen erfindet.
• Die Analogie: Stell dir vor, sie nehmen eine einfache Frage („Wer ist dieser Mann?"), verstecken den Namen und fügen stattdessen eine obscure Tatsache hinzu („Er ist der Mann, der 1985 in einem kleinen Dorf in Peru ein seltsames Ritual durchführte"). Dann fügen sie ein Bild hinzu, das nur schwer zu identifizieren ist.
• Das Ergebnis: Tausende von extrem kniffligen Rätseln, die den KI-Detektiv zwingen, wirklich zu suchen und zu denken.

Schritt B: Der „Spiegel-Training" (Rejection Sampling)

Jetzt haben sie einen Anfänger-Detektiv (das Basis-Modell) und einen Meister-Detektiv (eine sehr starke, teure KI von Google, genannt Gemini).

• Die Methode: Der Meister-Detektiv löst die schwierigen Rätsel. Die Forscher schauen genau hin: Hat er die richtige Antwort gefunden?
• Das Filtern: Wenn der Meister einen falschen Weg geht oder die falsche Antwort gibt, wird dieser Weg verworfen. Nur die perfekten Lösungswege werden gespeichert.
• Das Lernen: Der Anfänger-Detektiv schaut sich diese perfekten Wege an und lernt: „Aha, so muss ich suchen! So muss ich denken!" Er ahmt den Meister nach, aber nur die besten Beispiele.

Schritt C: Der „Echte Einsatz" (Reinforcement Learning)

Jetzt ist der Detektiv bereit für das echte Leben. Er wird in eine simulierte Welt geschickt, die wie das echte Internet aussieht.

• Die Methode: Er darf jetzt selbstständig suchen. Wenn er die richtige Antwort findet, bekommt er einen Stern (Belohnung). Wenn er sich verläuft oder falsch liegt, bekommt er keine Sterne.
• Der Effekt: Durch Tausende von Versuchen lernt er, welche Suchstrategien funktionieren und welche nicht. Er wird selbstbewusster und schneller. Er lernt, wann er ein Bild suchen muss und wann er eine Webseite öffnen muss.

4. Der große Test: MM-SearchExam

Um zu beweisen, dass VSearcher wirklich gut ist, haben die Forscher eine Olympiade für KI-Detektive organisiert.

• Sie haben extrem schwierige Fragen gesammelt, bei denen selbst die teuersten, geschlossenen KI-Modelle (wie die von OpenAI oder Google) oft scheitern.
• Das Ergebnis: VSearcher hat nicht nur die anderen Open-Source-Modelle geschlagen, sondern hat sogar besser abgeschnitten als einige der teuersten, proprietären Modelle. Er ist jetzt einer der besten KI-Detektive der Welt, wenn es darum geht, Bilder und Internetrecherche zu kombinieren.

Zusammenfassung in einem Satz

VSearcher ist ein KI-System, das durch das Üben an künstlich erzeugten, extrem schwierigen Rätseln und durch das Lernen von einem Meister-Detektiv gelernt hat, wie man Bilder sieht, im Internet sucht und komplexe Probleme Schritt für Schritt löst – und das alles besser als viele der bisherigen Spitzenmodelle.

Technische Zusammenfassung

1. Problemstellung

Aktuelle Fortschritte bei autonomen Agenten konzentrieren sich hauptsächlich auf rein textbasierte Large Language Models (LLMs). Diese sind jedoch durch ihre Beschränkung auf eine einzige Modalität limitiert und können visuelle Informationen nicht direkt verarbeiten. Umgekehrt verfügen Multimodale Large Models (MLLMs) zwar über starke Wahrnehmungsfähigkeiten, sind aber oft auf statisches, vorab trainiertes Wissen beschränkt und können keine aktuellen Informationen aus dem Web abrufen.

Das zentrale Problem ist die Lücke bei der Fähigkeit, langfristige (long-horizon), multimodale Suchaufgaben in realen Webumgebungen zu lösen. Solche Aufgaben erfordern oft mehrere Runden von Interaktionen, die Kombination von Text- und Bildsuche sowie das Navigieren durch Webseiten, um komplexe Fragen zu beantworten, die weder durch reines Wissen noch durch einfache Ein-Schritt-Suche lösbar sind.

2. Methodik

VSearcher ist ein Framework, das statische Multimodal-Modelle durch Reinforcement Learning (RL) in autonome Suchagenten verwandelt. Der Ansatz besteht aus drei Hauptkomponenten:

A. Iterative Injection-basierte Datensynthese (Data Synthesis)

Um Agenten zu trainieren, die komplexe Suchaufgaben bewältigen können, benötigen sie hochwertige Trainingsdaten, die schwer zu synthetisieren sind.

• Seed-Auswahl: Es werden seltene Entitäten aus Wikidata ausgewählt (basierend auf wenigen „Sitelinks" und vielen „Statements"), um sicherzustellen, dass das Modell nicht auf statisches Wissen zurückgreifen kann.
• Iterative Erweiterung: Aus einem einfachen Text-QA-Paar wird durch wiederholtes „Injizieren" von Informationen eine komplexe Aufgabe erstellt.
  • Text-Injektion: Ein Entity im Frage wird ausgeblendet und durch spezifische, seltene Fakten aus Wikipedia ersetzt. Dies geschieht über mehrere Runden (1, 3 oder 5 Runden für verschiedene Schwierigkeitsgrade).
  • Bild-Injektion: Ein für die Antwort kritischer Entity wird durch ein Bild ersetzt (z. B. „wie im Bild gezeigt"). Das Bild dient als visueller Input, der eine Bildsuche erzwingt.
• Filterung: Synthetisierte Fragen werden strengen Metriken unterzogen, um sicherzustellen, dass sie nicht ohne Tools lösbar sind, dass Bilder komplex genug sind und dass die Antwort nicht versehentlich im Fragetext enthalten ist.

B. Rejection Sampling Fine-Tuning (RFT)

Dies dient als „Cold-Start", um dem Basis-Modell grundlegende Fähigkeiten für mehrstufige Tool-Nutzung zu vermitteln.

• Ein leistungsstarkes proprietäres Lehrer-Modell (Gemini-3-Pro-Thinking) generiert Lösungspfade (Trajektorien) für die synthetisierten Aufgaben unter Verwendung des ReAct-Frameworks (Reasoning + Acting).
• Rejection Sampling: Nur Trajektorien, die mit einer korrekten Antwort enden, werden behalten. Falsche Pfade werden verworfen.
• Das Basis-Modell (Qwen3-VL-8B-Thinking) wird dann auf diesen hochwertigen, korrekten Trajektorien überwacht feinabgestimmt (Supervised Fine-Tuning).

C. Reinforcement Learning (RL)

Dieser Schritt generalisiert die Fähigkeiten des Agenten in realen Webumgebungen.

• Algorithmus: Es wird GRPO (Group Reward Proximal Optimization) verwendet.
• Umgebung: Das Training findet in einer simulierten, aber realen Webumgebung statt, die Zugriff auf drei Tools bietet:
  1. Text-Suche (Google Custom Search API).
  2. Bild-Suche (Google Vision Web Detection API).
  3. Besuch (Visit-Tool: Abruf und Zusammenfassung von Webseiteninhalten via JINA API).
• Belohnung (Reward): Die Belohnung basiert ausschließlich auf der Korrektheit der finalen Antwort (1 für korrekt, 0 für falsch), bewertet durch ein LLM-as-a-Judge.
• Format-Check: Während des Rollouts wird strikt auf korrekte Formatierung (XML-Tags für Denken, Tool-Aufrufe und Antworten) geachtet; Fehlerhafte Pfade werden sofort beendet.

3. Wichtige Beiträge

1. Iterative Injection-basierte Datensynthese: Ein vollautomatischer Pipeline zur Generierung von großen Mengen an komplexen, multimodalen Suchaufgaben mit kontrolliertem Schwierigkeitsgrad.
2. Umfassendes Post-Training-Framework: Eine Pipeline, die SFT (mit Rejection Sampling) und RL kombiniert, um statische Modelle in langfristige Suchagenten zu verwandeln.
3. MM-SearchExam Benchmark: Ein neu zusammengestellter, hochherausfordernder Benchmark mit 283 synthetisierten Aufgaben, der speziell darauf ausgelegt ist, die Suchfähigkeiten von Multimodal-Agenten zu testen. Aktuelle proprietäre Modelle schneiden hier oft schlecht ab.
4. Leistungsstarke Ergebnisse: VSearcher übertrifft sowohl andere Open-Source-Agenten als auch mehrere proprietäre Modelle (einschließlich GPT-5 und Gemini-3-Pro) in mehreren multimodalen Such-Benchmarks.

4. Ergebnisse

• Benchmark-Leistung: Auf fünf verschiedenen Benchmarks (MMSearch, BrowseComp-VL, MM-BrowseComp, SimpleVQA, MM-SearchExam) erzielt VSearcher (basierend auf einem 8B-Modell) die besten Ergebnisse.
  • Auf MM-SearchExam erreicht VSearcher 19,3 % Genauigkeit, während GPT-5 bei 20,8 % und Gemini-3-Pro bei 23,8 % liegt (wobei VSearcher hier als Open-Source-Modell mit 8B Parametern sehr konkurrenzfähig ist, während andere Baselines oft unter 10 % liegen).
  • Auf MMSearch erreicht VSearcher 47,2 %, was deutlich über anderen Open-Source-Modellen liegt und mit starken proprietären Modellen mithalten kann.
• Analyse der Tool-Nutzung: Das Modell lernt effektiv, Textsuche als primäre Informationsquelle zu nutzen, während Bildsuche gezielt für die im Frage gestellten Bilder eingesetzt wird. Die Nutzung des „Visit"-Tools nimmt während des RL-Trainings zu, was zeigt, dass das Modell lernt, detaillierte Beweise auf Webseiten zu sammeln.
• Training-Dynamik: Die Belohnungskurve steigt während des RL-Trainings stetig an, was die Effektivität des Trainings in der realen Webumgebung bestätigt. Die Entropie bleibt stabil, was auf ein stabiles Lernen ohne Kollaps hinweist.

5. Bedeutung und Ausblick

VSearcher demonstriert, dass Multimodal-Modelle durch gezieltes Reinforcement Learning in realen Umgebungen zu leistungsfähigen autonomen Agenten weiterentwickelt werden können, die über reines Wissen hinausgehen.

• Überwindung statischer Grenzen: Das Framework löst das Problem des „veralteten Wissens" bei MLLMs, indem es sie befähigt, aktuelle Webinformationen zu nutzen.
• Skalierbarkeit: Die Methode der Datensynthese ermöglicht die Erstellung von Trainingsdaten in großem Maßstab ohne manuellen Aufwand.
• Zukunft: Die Arbeit legt den Grundstein für zukünftige Forschung an Agenten, die komplexe, mehrstufige Probleme in der realen Welt lösen können, indem sie visuelles und textuelles Wissen dynamisch kombinieren. Sie zeigt zudem, dass Open-Source-Modelle durch sorgfältiges Training und RL-Strategien mit teuren proprietären Modellen konkurrieren können.