🤖 AI

SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation

SearchEyes führt eine vereinheitlichte simulierte Suchwelt ein, die auf einem typisierten Wissensgraphen basiert, welcher Daten, Umgebung und Belohnungssignale durch Perception-Knowledge-Chains und Hop-Anchored Policy Optimization integriert und so eine erstklassige Multi-Hop-Reasoning-Leistung in multimodalen Suchagenten ermöglicht, ohne dabei auf externe Engines oder separate Belohnungsmodelle angewiesen zu sein.

Ursprüngliche Autoren: Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang, Tianyi Jiang, Juanxi Tian, Jiapeng li, Qunzhong Wang, Tailai Chen, Qianshan Wei, Chuan Xiao, Shanyu Rong, Yangfu Li, Yanhan Zhou, Yunpu

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang, Tianyi Jiang, Juanxi Tian, Jiapeng li, Qunzhong Wang, Tailai Chen, Qianshan Wei, Chuan Xiao, Shanyu Rong, Yangfu Li, Yanhan Zhou, Yunpu Ma, Yifan Zhang, Xiangyu Yue

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr intelligenten Roboter beizubringen, wie man ein komplexes Rätsel löst. Der Roboter muss sich ein Bild ansehen, Dokumente lesen und die Punkte verbinden, um eine Antwort zu finden. Das ist das, was die Autoren dieses Papers als „multimodalen Suchagenten“ bezeichnen.

Die Autoren dieses Papers, SearchEyes, stellten jedoch fest, dass die Art und Weise, wie wir diese Roboter normalerweise lehren, fehlerhaft ist. Es ist, als würde man jemandem das Autofahren beibringen, indem man ihm eine Karte, ein Auto und eine Fahrprüfung gibt, aber sicherstellt, dass nichts davon zusammenpasst.

Die Karte (Trainingsdaten): Man gibt ihnen eine Liste von Fragen und Antworten, wirft aber die „Wie-man-es-macht“-Schritte weg.
Das Auto (Umgebung): Man lässt sie auf einer echten, unvorhersehbaren öffentlichen Straße (dem eigentlichen Internet) fahren, wo die Ampeln sich ändern oder die Straße plötzlich verschwinden kann.
Der Test (Belohnungen): Man sagt ihnen erst ganz am Ende „Gut gemacht“ oder „Schlecht gemacht“. Wenn sie in Schritt 1 einen Fehler gemacht haben, aber in Schritt 10 Glück hatten, erhalten sie trotzdem ein „Gut gemacht“. Sie lernen nie, wo sie falsch abgebogen sind.

SearchEyes behebt dies, indem es eine perfekte, in sich geschlossene Simulation baut, bei der die Karte, das Auto und der Test alle nach demselben Bauplan erstellt wurden.

Hier ist, wie sie es gemacht haben, unter Verwendung einfacher Analogien:

1. Der Bauplan: Ein „typisierter“ Wissensgraph

Anstatt das chaotische, echte Internet zu verwenden, baute das Team eine riesige, organisierte Bibliothek von Fakten, einen sogenannten Wissenstypisierten Graphen (Knowledge Graph). Denken Sie an dies als einen massiven Stammbaum der Informationen der Welt, aber mit strengen Regeln:

Jede Person (Entität) hat ein Foto, eine Biografie und eine Liste von Beziehungen.
Sie behalten nur die „berühmten“ Personen, die alle drei Merkmale besitzen (Foto, Biografie und Verbindungen), damit der Roboter üben kann, sowohl Bilder als auch Texte anzusehen.

2. Die Trainingsstrecke: „Perzeptions-Wissens-Ketten“ (PKC)

Um den Roboter zu trainieren, haben sie nicht einfach nur wahllos Fragen geschrieben. Sie verwendeten ein spezielles Rezept namens Perception-Knowledge Chains (PKC).

Die Analogie: Stellen Sie sich eine Schnitzeljagd vor, bei der Sie abwechselnd ein Foto betrachten und einen Hinweis lesen müssen.
- Schritt 1 (Perzeption): „Sieh dir dieses Foto eines Mannes an. Wer ist er?“ (Der Roboter muss die Person anhand des Bildes identifizieren).
- Schritt 2 (Wissen): „Suche nun nach dem Team, für das er gespielt hat.“ (Der Robbot muss Text durchsuchen).
- Schritt 3 (Perzeption): „Finde ein Foto des Stadions, in dem dieses Team spielt.“
Die Magie: Das System generat diese Fragen automatisch, behält aber einen „Spickzettel“ (den exakten Pfad der Fakten) im Hintergrund verborgen. Dies stellt sicher, dass der Roboter den langen, mehrstufigen Weg nehmen muss, um das Rätsel zu lösen, anstatt die Antwort sofort zu erraten.

3. Der Fahrsimulator: Eine „in sich geschlossene Suchwelt“

In der realen Welt kann sich ändern, wenn man eine Suchmaschine nach etwas fragt, die Ergebnisse von morgen. In der SearchEyes-Welt ist die „Suchmaschine“ eigentlich nur eine riesige, vorab geladene Datenbank der Bibliothek, die sie gebaut haben.

Der Vorteil: Es ist zu 100 % reproduzierbar. Wenn der Roboter nach „Cristiano Ronaldo“ sucht, erhält er immer exakt dieselben Top-5-Ergebnisse. Dies eliminiert das Chaos des echten Internets und ermöglicht es dem Roboter, die Logik der Suche zu lernen, ohne durch kaputte Links oder wechselnde Websites abgelenkt zu werden.

4. Der Coach: „Hop-Anchored“ Feedback (HaPO)

Dies ist die wichtigste Innovation. Bei normalem Training sagt der Coach nur am Ende: „Du hast die Antwort richtig gefunden!“

Das Problem: Wenn der Roboter 10 Schritte gebraucht hat, um dorthin zu gelangen, weiß der Coach nicht, welcher Schritt brillant war und welcher nur ein glücklicher Zufall.
Die SearchEyes-Lösung: Da sie den „Spickzettel“ (den exakten Pfad der Fakten) behalten haben, können sie wie ein Coach agieren, der jeden einzelnen Schritt beobachtet.
- „Gute Arbeit beim Finden des Stadionfotos in Schritt 3!“
- „Hoppla, du hast in Schritt 2 das falsche Team ausgewählt. Versuchen wir das noch einmal.“
Die Metapher: Anstatt die gesamte Prüfung mit nur einer Note zu bewerten, geben sie für jede einzelne Frage des Tests eine Note. Dies hilft dem Roboter, viel schneller zu lernen, weil er genau weiß, wo er sich verbessern muss.

Die Ergebnisse

Als sie diese neue Methode (SearchEyes) auf sechs verschiedenen schwierigen Tests getestet haben, die Bilder und Texte beinhalten:

Übertraf sie alle anderen Open-Source-Roboter, die versuchen, dasselbe zu tun.
Ihr kleinerer Roboter (27 Milliarden „Gehirnzellen“) schnitt besser ab als viel größere, teurere Roboter großer Tech-Unternehmen.
Es wurde bewiesen, dass man durch die Bereitstellung einer strukturierten, schrittweisen Trainingswelt und präziser Rückmeldungen keinen massiven Supercomputer benötigt, um großartige Ergebnisse zu erzielen.

Kurz gesagt: SearchEyes hat aufgehört, Roboter zu lehren, indem man sie in das chaotische echte Internet wirft. Stattdessen bauten sie ein perfektes, kontrolliertes Trainingsgym, in dem der Roboter spezifische Fähigkeiten übt, bei jedem Zug bewertet wird und lernt, komplexe visuelle Rätsel mit unglaublicher Effizienz zu lösen.

Technisches Resümee: SearchEyes

Problemstellung

Das Training multimodaler Suchagenten, die zu langwierigem, mehrstufigem (multi-hop) Denken fähig sind, steht vor einer grundlegenden strukturellen Diskrepanz in aktuellen Pipelines. Bestehende Ansätze konstruieren Trainingsdaten, Suchumgebungen und Belohnungssignale unabhängig voneinander, was zu drei kritischen Problemen führt:

Entkopplung von Daten und Umgebung: Die Synthese von Trainingsdaten verwirft oft die intermediäre strukturelle Metadaten (z. B. Pfadstruktur, Entitäts-IDs), während Suchumgebungen auf nicht reproduzierbaren externen Engines mit nicht-deterministischen APIs basieren.
Belohnungsspärlichkeit (Reward Sparsity): Reinforcement Learning (RL)-Signale werden typischerweise nur auf Trajektorienebene (basierend auf der finalen Antwort) berechnet. Für mehrstufiges Denken sinkt die Wahrscheinlichkeit einer korrekten finalen Antwort mit der Anzahl der Schritte drastisch, wodurch trajektorienbasierte Belohnungen für eine effektive Richtlinienoptimierung zu spärlich werden.
Versagen der Kreditzuweisung (Credit Assignment Failure): Ohne schrittweise Signale haben Agenten Schwierigkeiten zu lernen, welche spezifischen Aktionen in einer langen Kette zum Erfolg oder Misserfolg beigetragen haben, insbesondere bei komplexen multimodalen Aufgaben, die sowohl visuelle Wahrnehmung als auch textuelle Wissensabfrage erfordern.

Methodik: SearchEyes

SearchEyes adressiert diese Engpässe durch die Vereinigung von Datensynthese, Umgebungssimulation und RL-Training durch eine simulierte Suchwelt, die auf einem typisierten Wissensgraphen (Wikidata5M) aufgebaut ist. Das Framework besteht aus drei eng gekoppelten Komponenten:

1. Einheitliche Simulation der Suchwelt

Das System konstruiert eine in sich geschlossene Suchumgebung unter Verwendung eines typisierten Wissensgraphen $G = (V, R, T, \phi)$ , der aus Wikidata5M, Wiki6M (Text) und Wikipedia-Bildern abgeleitet ist.

Autarke Abfrage: Anstelle externer APIs nutzt die Umgebung eine hybride Retrieval-Engine (Dense Embeddings + BM25), die via Reciprocal Rank Fusion (RRF) über eine vorindizierte Dokumentensammlung fusioniert wird. Dies gewährleistet eine deterministische, reproduzierbare und auditierbare Abfrage.
Werkzeugsatz: Agenten interagieren über deterministische Werkzeuge: text_search, visual_search (Bild-Cropping + Embedding-Retrieval), lookup, summarize und python_interpreter.

2. Wahrnehmungs-Wissens-Kette (Perception-Knowledge Chain, PKC) Synthese

Um qualitativ hochwertige Trainingsdaten zu generieren, führt SearchEyes eine Pipeline ein, die beschränkte Multi-Hop-Pfade über dem Schnittpunkt von visuellen und Wissenseinheiten sampelt:

Beschränkte Pfad-Sampling: Pfade werden mittels beschränkter Random Walks mit strikten Bedingungen gesampelt:
- P-K Alternation: Erzwingung der Abwechslung zwischen Wahrnehmungsschritten (Identifizierung visueller Entitäten aus Bildern) und Wissensschritten (textbasierte Suche).
- Disambiguierungs-Beschränkungen: Einführung von „One-to-Few“-Prädikaten und Constraint-Kanten, um triviale Pfade mit nur einer Lösung zu verhindern und die Treewidth des Reasoning-Graphen zu erhöhen.
- Domänen-Diversität: Sicherstellung, dass Pfade über mehrere semantische Domänen (Person, Werk, Organisation, Geografie) verlaufen.
- Anti-Shortcut-Filterung: Ausschluss von Hub-Entitäten und Meta-Ebene-Prädikaten, um erratbare Pfade zu vermeiden.
Informationsverdeckung: Fragen werden so generiert, dass Entitätsnamen und vollständige Relationssequenzen verborgen bleiben. Die Anker-Entität wird nur über ein Bild präsentiert, und intermediäre Relationen werden zu domänenspezifischen Hinweisen abstrahiert, was den Agenten zwingt, echtes mehrstufiges Denken durchzuführen.
SFT-Daten-Destillation: Experten-Trajektorien werden unter Verwendung einer „privilegierten“ Umgebung mit Retrieval-Boosts und Beobachtungs-Denoising synthetisiert. Diese Trajektorien werden dann mit rohen, verrauschten Beobachtungen für das Supervised Fine-Tuning (SFT) exportiert, um das Modell darauf zu trainieren, über realistische Retrieval-Ergebnisse zu schlussfolgern.

3. Hop-Anchored Policy Optimization (HaPO)

Um das Problem der Belohnungsspärlichkeit zu lösen, schlägt SearchEyes HaPO vor, einen Post-Training-Algorithmus, der die goldene Entitätssequenz aus der PKC-Synthese zur schrittweisen Kreditzuweisung wiederverwendet, ohne einen separaten Process Reward Model zu benötigen.

Hop-Anchored Gruppen: Trajektorien werden nach den erfolgreich abgerufenen intermediären Gold-Entitäten gruppiert. Innerhalb dieser Gruppen werden Advantages relativ zum Ausgang der Gruppe berechnet, um den Effekt der Aktionen zu isolenieren, die nach Erreichen eines spezifischen Zwischenzustands unternommen wurden.
Kombinierter Advantage: Das finale Advantage-Signal interpoliert zwischen trajektorienbasierten und Hop-Anchored Schritt-basierten Advantages.
Fatal-Aware Masking: Der Algorithmus erkennt und maskiert degenerative Trajektorien-Suffixe, die durch aufeinanderfolgende Tool-Fehler entstehen, um zu verhindern, dass Gradientenrauschen die Policy-Updates korrumpiert.
Smooth Asymmetric Gating: Ersetzt hartes Clipping durch ein Sigmoid-basiertes Gate, um die Langzeit-Optimierung zu stabilisieren, wobei stärkere Dämpfung auf negative Advantages angewendet wird.

Kernbeiträge

Einheitliche Simulation der Suchwelt: Ein neuartiges Framework, das einen typisierten Wissensgraphen nutzt, um Datensynthese, Umgebungssimulation und RL-Training gemeinsam zu konzipieren und so die Diskrepanz zwischen Daten, Umgebung und Belohnung zu eliminieren.
Perception-Knowledge Chain (PKC) Synthese: Eine KG-gesteuerte Pipeline, die beschränkte Multi-Hop Visual-Language-Fragen mit strikten strukturellen Garantien (P-K Alternation, Disambiguierung) und Informationsverdeckung generiert.
Agentic Post-Training Pipeline (HaPO): Ein Trainingsalgorithmus, der die beibehaltenen strukturellen Metadaten (Gold Entity IDs) nutzt, um eine schrittweise Kreditzuweisung zu ermöglichen, indem er Hop-Anchored und Trajektorien-Signale mischt, ohne ein separates Process Reward Model zu benötigen.
VisSearch Bench: Ein neuer Benchmark, der zur Evaluierung von Multi-Hop Visual Search mit P-K alternierenden Strukturen eingeführt wurde.

Experimentelle Ergebnisse

SearchEyes wurde auf sechs multimodalen wissensintensiven Benchmarks (SimpleVQA, VDR, MMSearch, LiveVQA, BC-VL, FVQA) und dem neuen VisSearch Bench evaluiert.

Performance: SearchEyes-27B erreichte State-of-the-Art-Leistung unter den Open-Source-multimodalen Suchagenten und verbesserte die stärkste Open-Source-Baseline im Durchschnitt um 6,2 Punkte.
Parametereffizienz: SearchEyes-9B erreichte die Leistung von 30B-Skala-Baselines (z. B. OpenSearch-VL-30B) bei Verwendung von 3,3-mal weniger Parametern, was eine überlegene Dateneffizienz demonstriert.
Ablationsstudien:
- Das Entfernen der PKC-Beschränkungen (z. B. P-K Alternation, Anti-Shortcut-Filterung) führte zu signifikanten Leistungseinbußen (bis zu -7,7 durchschnittliche Punkte), was die Notwendigkeit struktureller Beschränkungen für das Erlernen echtes mehrstufigen Denkens bestätigt.
- Der Ersatz von HaPO durch Standard-GRPO führte zu einem durchschnittlichen Abfall von -4,0 Punkten, was validiert, dass die schrittweise Kreditzuweisung der primäre Engpass bei Multi-Hop-Suchen ist.

Bedeutung

Das Paper argumentiert, dass die primäre Limitation aktueller multimodaler Suchagenten nicht die Modellkapazität ist, sondern die strukturelle Diskrepanz zwischen Daten, Umgebung und Belohnung. Durch die Behandlung des Wissensgraphen als vereinheitlichtes Rückgrat zeigt SearchEyes, dass ein Data-Environment-Algorithm Co-Design essenziell ist, um effektive Langzeit-Agenten zu trainieren. Die Ergebnisse legen nahe, dass das Beibehalten struktureller Metadaten durch die gesamte Trainingspipeline hinweg eine präzise schrittweise Kreditzuweisung ermöglicht, was es kleineren Modellen erlaubt, eine Performance zu erreichen, die mit deutlich größeren proprietären Systemen konkurriert. Die Arbeit liefert ein reproduzierbares, Open-Source-Rezept für den Aufbau starker multimodaler Suchagenten ohne Abhängigkeit von externen, nicht-deterministischen APIs.