VistaHop: Benchmarking Multi-hop Visual Reasoning for Visual DeepSearch

Technische Samenvatting: VistaHop: Benchmarking van Multi-hop Visuele Redenering voor Visuele DeepSearch

Probleemstelling

Recente ontwikkelingen in Multimodale Grote Redeneermodellen (MLRMs) hebben agenten in staat gesteld om verder te gaan dan passief beeldbegrip naar fijnmazige visuele perceptie en door hulpmiddelen ondersteunde redenering. Dit heeft geleid tot de opkomst van Visual DeepSearch, een setting waarin agenten actief relevante beeldregio's moeten inspecteren, externe bewijslast moeten ophalen of verifiëren, en visuele aanwijzingen over meerdere redeneringsstappen heen moeten verbinden.

Huidige benchmarks zijn echter ontoereikend voor het evalueren van deze capaciteit. Bestaande datasets richten zich primair op single-step visueel begrip of geïsoleerde beeld-vraagparen. Zij lijden aan vier kritieke beperkingen:

1. Gebrek aan Visuele Zoekgerichtheid: Taken vertrouwen vaak op statische beeld-vraagparen waarbij de redenering verloopt via taal zonder visueel bewijs opnieuw te raadplegen.
2. Ondiepe Redeneerdiepte: Taken vereisen zelden meerstaps bewijsketens, waardoor modellen problemen kunnen oplossen via oppervlakkige herkenning of shortcut-redenering.
3. Geen Herhaalde Inspectie: Modellen worden niet geëvalueerd op hun vermogen om iteratief beeldregio's te herbezoeken of redeneringen te funderen in specifieke visuele ankers.
4. Antwoordlekken: Veel datasets maken het mogelijk om antwoorden af te leiden uit tekstuele aanwijzingen, voorkennis of gememoriseerde associaties zonder echte visuele zoektocht.

Gevolglik is er een gebrek aan systematische evaluatie om te bepalen of huidige MLRMs diepe, iteratieve en op bewijs gebaseerde visuele zoektochten kunnen ondersteunen.

Methodologie

1. VISTAHOP Benchmark Constructie

De auteurs introduceren VISTAHOP, een uitgebreide benchmark die ontworpen is om multi-hop visuele redenering en herhaalde beeldinspectie te evalueren. De constructie-pipeline bestaat uit zeven geautomatiseerde en door mensen geverifieerde stappen:

• Filtering van Beeldbronnen & Entiteitsextractie: Hoogwaardige afbeeldingen (4K+) van bronnen zoals Wikimedia Commons en Unsplash worden gefilterd op visuele rijkdom. Een LLM (GEMINI-3.1-PRO) extraheert entiteiten op regioniveau (bijv. logo's, landmerken, tekst) met bijbehorende bounding boxes en attributen.
• Verrijking van Entiteitskennis & Selectie van Seed-entiteiten: Geëxtraheerde entiteiten worden verrijkt met Wikipedia/Wikidata-kennis. Geldige seed-entiteiten worden geselecteerd op basis van de beschikbaarheid van gestructureerde eigenschappen om de retrieval van buren te ondersteunen.
• Constructie van Bewijsketens: Multi-hop ketens worden opgebouwd beginnend bij een visuele seed-entiteit ($v_0$) naar een doelantwoord ($v_k$) via relationele hops ($k \ge 5$). Relaties worden genormaliseerd in categorieën (bijv. deel-geheel, temporeel, ruimtelijk). Een LLM-gebaseerde relationele checker valideert elke hop met een betrouwbaarheidsdrempel ($\tau_{nli} = 0.9$) en filtert te bekende entiteiten uit om de moeilijkheidsgraad te waarborgen.
• Textuele QA Constructie: Natuurlijke taalvragen worden gegenereerd voor de terminale knopen van deze ketens. Vragen worden in indirecte vormen geschreven om directe string-matching te voorkomen.
• VQA Generatie & Anti-lek Verificatie: Een drie-agenten loop (Solver, Judge, Rewrite) zorgt ervoor dat vragen niet enkel via tekst kunnen worden opgelost; als dat wel lukt, markeert de Judge het lek, en de Rewrite agent past de vraag aan om tekstuele shortcuts te maskeren terwijl de visuele afhankelijkheid behouden blijft.
• Multi-keten Fusie: Om cross-keten redenering te evalueren, worden meerdere gerelateerde VQA-instanties gefuseerd. Tussenliggende waarden (bijv. jaren, aantallen) worden geëxtraheerd en gecombineerd via rekenkundige of conditionele operaties (optelling, aftrekking, max/min) om complexe gefuseerde vragen te vormen die meerdere visuele ankers vereisen.
• Menselijke Revisie: Annotatoren verifiëren de redeneringspaden, de uniciteit van antwoorden en de leesbaarheid.

Dataset Statistieken: VISTAHOP bevat 300 hoogwaardige afbeeldingen verspreid over 25 visuele zoekscenario's (Leven, Wetenschap, Samenleving, Technologie, Cultuur). Het bevat 350 multi-hop QA-taken: 190 single-chain en 160 multi-chain gefuseerde taken, met een gemiddelde ketenlengte van 7,43 hops.

2. VISTAARENA Evaluatieframework

Om modellen te testen op VISTAHOP, stellen de auteurs VISTAARENA voor, een verenigd evaluatie-omgeving die ondersteuning biedt voor:

• Search Agent: Een iteratieve agent die de vraag, de afbeelding en de historie observeert. Deze kan tools aanroepen: Text Search (web retrieval), Image Search (reverse image search) en Image Crop (lokale inspectie van regio's).
• Validation Agent: Een LLM-as-a-judge die het definitieve antwoord evalueert op semantische equivalentie met de grondwaarheid (Pass@1), controleert op bewijs-grounding en het gebruik van tools monitort.

Belangrijkste Bijdragen

1. VISTAHOP Benchmark: De eerste benchmark die specifiek is ontworpen voor Visual DeepSearch, waarbij multi-hop visuele redenering, herhaalde beeldinspectie en op bewijs gebaseerde antwoordgeneratie via multi-chain VQA-taken worden geëvalueerd.
2. Geautomatiseerde Constructie-pipeline: Een schaalbaar, geautomatiseerd proces voor het genereren van visueel gegronde, langdurige redeneringstaken die de datakwaliteit beheerst en tekstuele shortcuts minimaliseert door middel van strikte anti-lek verificatie.
3. VISTAARENA Framework: Een verenigde evaluatie-omgeving voor het analyseren van MLRM-prestaties in direct antwoordende, search-augmented redenerende en multi-anchor redenerende settings.

Experimentele Resultaten

De auteurs evalueerden zeven representatieve MLRMs, waaronder algemene modellen (Gemini 2.5 Pro, GPT-5, Claude-4-Sonnet, Qwen3-VL varianten) en getrainde agentic search modellen (SenseNova-MARS-32B, Tongyi-DeepResearch-30B-A3B).

• Algemene Prestaties: Zelfs state-of-the-art modellen worstelen aanzienlijk. Het best presterende model, SenseNova-MARS-32B, behaalde een Pass@1 van slechts 24,31% onder de Search+Crop setting.
• Impact van Tools: Toolgebruik is cruciaal. De prestaties verbeterden gemiddeld van 7,72% (No-Tool) naar 20,11% (Search+Crop). Het beste model maakte in 89,4% van de toegestane rondes gebruik van tools.
• Moeilijkheidsgraad Schaling: De prestaties dalen scherp bij toenemende moeilijkheid. Onder Search+Crop daalde de Pass@1 van 24,40% (Level 2, 5-10 hops) naar 15,03% (Level 3, >10 hops).
• Foutmodi: Analyse van incorrecte traces toonde aan dat de primaire fouttypen waren: foutieve/ontbrekende visuele ankers (27,4%), retrieval drift (24,1%) en het instorten van de long-chain planning (21,5%).

Betekenis en Claims

Het paper claimt dat huidige MLRMs nog ver verwijderd zijn van het oplossen van de uitdagingen van Visual DeepSearch. De lage scores benadrukken dat:

• Gespecialiseerde Benchmarks Noodzakelijk Zijn: Bestaande benchmarks slagen er niet in de complexiteit van iteratieve visuele bewijszoektocht en region-level grounding te vangen.
• Trainingskloven Bestaan: Huidige modellen missen robuuste capaciteiten voor long-hop visuele redenering, het herbezoeken van visueel bewijs en het fuseren van multi-anchor bewijs.
• Toekomstige Richting: Dit werk onderstreept de noodzaak voor gespecialiseerde trainingsmethoden en benchmarks om agenten te bevorderen die in staat zijn tot diepe, op bewijs gebaseerde visuele zoektochten.

De auteurs benadrukken dat hun bevindingen bescheiden zijn wat betreft de huidige modelcapaciteiten, waarbij zij opmerken dat zelfs de meest geavanceerde agentic modellen er niet in slagen om de multi-stap, visus-gecentreerde redenering die vereist is voor VISTAHOP betrouwbaar uit te voeren. De dataset en code worden publiekelijk beschikbaar gesteld om verdere research in dit domein te faciliteren.