Technische Samenvatting: Visual-Seeker

Probleemstelling

Hoewel Multimodale Large Language Models (MLLM's) bekwaam zijn in diverse visuele taken, worstelen ze vaak met feitelijke gronding in complexe, open-wereld scenario's. Huidige multimodale diepe zoekagents proberen dit te verzachten door externe tools te gebruiken, maar het visueel-native zoekparadigma blijft onderbelicht. Bestaande methoden vertonen twee primaire beperkingen:

1. Passieve Visuele Perceptie: Ze vertrouwen vaak op eenvoudige afbeeldingen met expliciete semantiek of behandelen visie louter als een statische input-bijkomstigheid bij tekstuele queries. Dit belemmert het vermogen van de agent om complexe, real-world afbeeldingen te verwerken die meerdere onderling verbonden entiteiten en fijnmazige details bevatten.
2. Gebrek aan Actief Visueel Bewijs: Bestaande zoektrajecten zijn voornamelijk tekstgebaseerd of vertrouwen op eenvoudige beeldinsertie. Ze missen actieve visuele redenering, waarbij de agent dynamisch visueel bewijs uit het web oogst en integreert om multi-hop, cross-modale redenering te ondersteunen.

Methodologie: Visual-Seeker

Om deze hiaten te dichten, stellen de auteurs Visual-Seeker voor, een visueel-native multimodale diepe zoekagent ontworpen voor actieve visuele redenering. Het systeem werkt door visie niet als een statische input te behandelen, maar als een dynamisch element waarbij de agent actief aandacht besteedt aan fijnmazige details en gedurende het zoekproces visueel bewijs oogst.

1. Actieve Visuele Redeneer-datapipeline

Een kerncomponent van het werk is de synthese van 5.000 hoogwaardige multimodale zoektrajecten via een driefasige pipeline:

• Fijnmazige Selectie van Seed-entiteiten: Door gebruik te maken van de LiveVQA-dataset extraheert de pipeline gestructureerde entiteitsinformatie (naam, beschrijving, type) uit complexe, multi-entiteit real-world afbeeldingen. Er wordt een driestaps filterstrategie gehanteerd (Generic Mention Filtering, Complex Entity-Image Filtering en Entity Disambiguation) om te garanderen dat de seed-entiteiten specifiek, visueel gegrond en geschikt zijn voor complexe redenering.
• Multi-hop Traject Synthese: Met behulp van een offline Wikipedia kennisgraaf genereert het systeem diverse, niet-lineaire zoektrajecten. Het maakt gebruik van een dual-strategy random walk:
  • Backtracking: Simuleert het herbezoeken van eerdere aannames om boomvormige redeneervertakkingen te creëren.
  • Cycle Constraint: Genereert disjuncte vertakkingen die convergeren, wat strikte cyclus-topologieën waarborgt om complex browsegedrag te simuleren.
  • Deze trajecten worden omgezet in tekstgebaseerde vragen die voldoen aan de subgraph-restricties.
• Visual Evidence Injection (VEI): Om het model te dwingen zich bezig te houden met visuele zoekopdrachten, lokaliseert de pipeline antwoord-entiteiten en attributen, genereert zoekwoorden en haalt kandidaat-afbeeldingen op. Een MLLM extraheert fijnmazige visuele details (bijv. kleurpatronen, ruimtelijke lay-outs) uit deze afbeeldingen. Deze details worden samengevoegd met de oorspronkelijke VQA tot een "two-hop" QA-paar, wat de agent dwingt tot text-to-image retrieval en pixel-niveau redenering.

2. Agent Architectuur en Training

• Workflow: Visual-Seeker opereert in een ReAct-stijl loop, waarbij interactie plaatsvindt met vijf externe tools: text_search, reverse_image_search, search_image (voor actief visueel bewijs), visit (voor webpagina-samenvatting) en image_crop (voor fijnmazige redenering).
• Trainingsstrategie: Het model wordt getraind middels Supervised Fine-Tuning (SFT) op de gesynthetiseerde 5K trajecten, waarbij kostbare reinforcement learning wordt vermeden. Een teacher-model (Claude-4.6-Opus) genereert de multimodale zoektrajecten. De trainingsdata bevat:
  • 3.000 VQA-instanties zonder VEI.
  • 800 VQA-instanties met VEI.
  • 500 tekst-only QA-trajecten.
  • 700 trajecten gesampled uit de FVQA trainingsset.
• Base Model: Het systeem is gebouwd op Qwen3-VL-8B-Instruct.

Belangrijkste Bijdragen

1. Visual-Seeker Agent: Een nieuwe multimodale diepe zoekagent die visueel-native capaciteiten verenigt met zoeken. Het is in staat tot fijnmazige visuele perceptie in complexe multi-entiteit scènes en verzamelt proactief visueel bewijs voor cross-modaal zoeken.
2. Actieve Visuele Redeneer-pipeline: Een synthese-framework voor data dat modellen in staat stelt fijnmazige perceptie en actieve bewijsverzameling te ontwikkelen. Het genereert 5K hoogwaardige trajecten die specifiek zijn ontworpen om agents te trainen in multi-hop visuele redenering.
3. State-of-the-Art Prestaties: De agent behaalt superieure prestaties op vijf uitdagende multimodale zoekbenchmarks, waarmee het bestaande open-source en propriëtaire modellen overtreft.

Experimentele Resultaten

Het model werd geëvalueerd op vijf benchmarks: MMSearch, MMSearch-Plus, BrowseComp-VL, MM-BrowseComp en VisBrowse-Bench.

• Algehele Prestaties: Visual-Seeker behaalde een gemiddelde nauwkeurigheid van 39,6%, waarmee het alle huidige multimodale diepe zoekagents overtreft en concurreert met verschillende propriëtaire modellen (bijv. GPT-5, Gemini-2.5-Pro).
• Vergelijking met Baselines: Vergeleken met de base Qwen3-VL-8B-Instruct die opereert in een agentic workflow, demonstreerde Visual-Seeker bijna dubbele prestaties over alle benchmarks (een gemiddelde verbetering van +16,6%).
• Specifieke Benchmarks:
  • Op MMSearch-Plus (complexe multi-entiteit queries) toonde het model een significante verbetering in visueel begrip.
  • Op MM-BrowseComp en VisBrowse-Bench (die integratie van visueel bewijs vereisen), presteerde Visual-Seeker beter dan propriëtaire modellen zoals GPT-5 en Gemini-2.5-Pro.
• Ablatie-studies:
  • Data: De inclusie van trajecten met Visual Evidence Injection (VEI) was cruciaal en leverde aanzienlijke winst op benchmarks die visueel bewijs vereisen (bijv. +17,2% op MMSearch-Plus).
  • Tools: Het verwijderen van ofwel de image_crop of search_image tools resulteerde in substantiële prestatiedalingen, met name op de VisBrowse benchmark, wat de noodzaak van actieve visuele gronding en bewijsverzameling bevestigt.

Betekenis en Claims

Het artikel claimt dat Visual-Seeker succesvol de kloof overbrugt tussen passieve visuele perceptie en actief cross-modaal zoeken in open-wereld omgevingen. Door het paradigma te verschuiven van het behandelen van visie als een statische input naar een actief, redeneergestuurd proces, demonstreert de agent robuuste capaciteiten in:

• Het identificeren van doel-entiteiten binnen complexe, entiteit-rijke real-world afbeeldingen.
• Het dynamisch uitvoeren van multi-hop redenering.
• Het proactief verzamelen en integreren van visueel bewijs om queries te beantwoorden die tekstuele of passieve multimodale agents niet kunnen oplossen.

Dit werk valideert dat actieve visuele redenering essentieel is voor de volgende generatie multimodale zoekagents, waardoor zij in staat zijn om door real-world webomgevingen te navigeren met een niveau van precisie en gronding dat voorheen onbereikbaar was.