Technische Samenvatting: SearchEyes

Probleemstelling

Het trainen van multimodale zoekagenten die in staat zijn tot langdurig, meerstaps redeneren (long-horizon, multi-hop reasoning), kampt met een fundamenteel structurele disconnect in huidige pipelines. Bestaande benaderingen construeren trainingsdata, zoekomgevingen en beloningssignalen onafhankelijk van elkaar, wat leidt tot drie kritieke problemen:

1. Ontkoppeling van Data en Omgeving: De synthese van trainingsdata laat vaak intermediaire structurele metadata (bijv. padstructuur, entiteits-ID's) achter, terwijl zoekomgevingen vertrouwen op niet-reproduceerbare externe engines met niet-deterministische API's.
2. Schaarsheid van Beloningen: Reinforcement Learning (RL) signalen worden doorgaans alleen berekend op trajectniveau (gebaseerd op het uiteindelijke antwoord). Voor meerstaps redeneren neemt de waarschijnlijkheid van een correct eindantwoord scherp af naarmate het aantal stappen toeneemt, waardoor trajectniveau-beloningen te schaars zijn voor effectieve beleidsoptimalisatie.
3. Falen van Credit Assignment: Zonder stapniveau-signalen hebben agenten moeite om te leren welke specifieke acties in een lange keten hebben bijgedragen aan succes of falen, vooral bij complexe multimodale taken die zowel visuele perceptie als tekstuele kennisretrieval vereisen.

Methodologie: SearchEyes

SearchEyes pakt deze knelpunten aan door datasynthese, omgevingssimulatie en RL-training te verenigen via een gesimuleerdeerde zoekwereld gebouwd op een getypeerde kennisgrafiek (Wikidata5M). Het framework bestaat uit drie nauw gekoppelde componenten:

1. Unified Search World Simulation

Het systeem construeert een zelfvoorzienende zoekomgeving met behulp van een getypeerde kennisgrafiek $G = (V, R, T, \phi)$ afgeleid van Wikidata5M, Wiki6M (tekst) en Wikipedia-afbeeldingen.

• Zelfvoorzienende Retrieval: In plaats van externe API's gebruikt de omgeving een hybride retrieval-engine (dense embeddings + BM25) gefuseerd via Reciprocal Rank Fusion (RRF) over een vooraf geïndexeerde documentcollectie. Dit zorgt voor deterministische, reproduceerbare en controleerbare retrieval.
• Tool Set: Agenten interageren via deterministische tools: text_search, visual_search (image cropping + embedding retrieval), lookup, summarize, en python_interpreter.

2. Perception-Knowledge Chain (PKC) Synthese

Om hoogwaardige trainingsdata te genereren, introduceert SearchEyes een pipeline die beperkte meerstaps-paden samplet over de intersectie van visuele en kennis-entiteiten:

• Constrained Path Sampling: Paden worden gesampled via constrained random walks met strikte restricties:
  • P-K Alternatie: Afwisseling afdwingen tussen Perceptie-stappen (identificeren van visuele entiteiten uit afbeeldingen) en Kennis-stappen (tekstgebaseerde zoekopdrachten).
  • Disambiguerende Restricties: Introductie van "one-to-few" predicaten en constraint-edges om triviale enkelvoudige pad-oplossingen te voorkomen, wat de treewidth van de redeneergraaf vergroot.
  • Domein Diversiteit: Waarborgen dat paden door meerdere semantische domeinen (Persoon, Werk, Organisatie, Geografie) bewegen.
  • Anti-Shortcut Filtering: Uitsluiten van hub-entiteiten en meta-level predicaten om voorspelbare paden te vermijden.
• Informatie-verhulling: Vragen worden gegenereerd waarbij entiteitsnamen en volledige relatiesequenties verborgen blijven. De anker-entiteit wordt alleen gepresenteerd via een afbeelding, en intermediaire relaties worden geobfusceerd naar domein-niveau hints, wat de agent dwingt tot echte meerstaps-redenering.
• SFT Data Distillatie: Expert-trajecten worden gesynthetiseerd met behulp van een "geprivilegieerdeerde" omgeving met retrieval-boosts en observatie-denoising. Deze trajecten worden vervolgens geëxporteerd met ruwe, ruisige observaties voor Supervised Fine-Tuning (SFT), om het model te leren redeneren over realistische retrieval-resultaten.

3. Hop-Anchored Policy Optimization (HaPO)

Om het probleem van schaarse beloningen op te lossen, stelt SearchEyes HaPO voor, een post-training algoritme dat de gouden entiteitssequentie uit de PKC-synthese hergebruikt voor credit assignment op stapniveau zonder een apart proces-beloningsmodel.

• Hop-Anchored Groups: Trajecten worden gegroepeerd op basis van de intermediaire gouden entiteiten die ze succesvol ophalen. Binnen deze groepen worden advantages berekend relatief aan de uitkomst van de groep, waardoor het effect van acties genomen na het bereiken van een specifieke intermediaire staat wordt geïsoleerd.
• Gecombineerde Advantage: Het uiteindelijke advantage-signaal interpoleert tussen trajectniveau en hop-anchored stapniveau advantages.
• Fatal-Aware Masking: Het algoritme detecteert en maskeert degeneratieve traject-suffixes veroorzaakt door opeenvolgende tool-fouten, om te voorkomen dat gradiëntruis de beleidsupdates corrumpeert.
• Smooth Asymmetric Gating: Vervangt harde clipping door een sigmoid-gebaseerde gate om langdurige optimalisatie te stabiliseren, waarbij sterkere demping wordt toegepast op negatieve advantages.

Belangrijkste Bijdragen

1. Unified Search World Simulation: Een nieuw framework dat een getypeerde kennisgrafiek gebruikt om datasynthese, omgevingssimulatie en RL-training gezamenlijk te ontwerpen, waardoor de disconnect tussen data, omgeving en beloning wordt geëlimineerd.
2. Perception-Knowledge Chain (PKC) Synthese: Een KG-gestuurde pipeline die beperkte, meerstaps visuele-taal vragen genereert met strikte structurele garanties (P-K alternatie, disambiguatie) en informatieverhulling.
3. Agentic Post-Training Pipeline (HaPO): Een trainingsalgoritme dat gebruikmaakt van behouden structurele metadata (gouden entiteits-ID's) om stapniveau credit assignment mogelijk te maken, waarbij hop-anchored en trajectniveau signalen worden gecombineerd zonder een getraind proces-beloningsmodel te vereisen.
4. VisSearch Bench: Een nieuwe benchmark geïntroduceerd voor het evalueren van meerstaps visuele zoekopdrachten met P-K alternerende structuren.

Experimentele Resultaten

SearchEyes werd geëvalueerd op zes multimodale kennisintensieve benchmarks (SimpleVQA, VDR, MMSearch, LiveVQA, BC-VL, FVQA) en de nieuwe VisSearch Bench.

• Prestaties: SearchEyes-27B behaalde state-of-the-art prestaties onder open-source multimodale zoekagenten, waarbij het de sterkste open-source baseline met gemiddeld 6,2 punten verbeterde.
• Parameter Efficiëntie: SearchEyes-9B evenaarde de prestaties van 30B-schaal baselines (bijv. OpenSearch-VL-30B) terwijl het 3,3x minder parameters gebruikte, wat een superieure data-efficiëntie demonstreert.
• Ablatie Studies:
  • Het verwijderen van PKC-restricties (bijv. P-K alternatie, anti-shortcut filtering) veroorzaakte significante prestatiedalingen (tot -7,7 gemiddelde punten), wat de noodzaak van structurele restricties voor het leren van echt meerstaps-redeneren bevestigt.
  • Het vervangen van HaPO door standaard GRPO resulteerde in een daling van -4,0 gemiddelde punten, wat valideert dat stapniveau credit assignment de primaire bottleneck is in meerstaps-zoekopdrachten.

Betekenis

Het artikel betoogt dat de primaire beperking in huidige multimodale zoekagenten niet de modelcapaciteit is, maar de structurele disconnect tussen data, omgeving en beloning. Door de kennisgrafiek als een verenigde ruggengraat te behandelen, demonstreert SearchEyes dat co-design van data-omgeving-algoritme essentieel is voor het trainen van effectieve langdurige agenten. De resultaten suggereren dat het behouden van structurele metadata gedurende de gehele trainingspipeline nauwkeurige credit assignment op stapniveau mogelijk maakt, waardoor kleinere modellen prestaties kunnen leveren die competitief zijn met veel grotere propriëtaire systemen. Het werk biedt een reproduceerbaar, open-source recept voor het bouwen van sterke multimodale zoekagenten zonder afhankelijkheid van externe, niet-deterministische API's.