VisBrowse-Bench: Benchmarking Visual-Native Search for Multimodal Browsing Agents

Dit paper introduceert VisBrowse-Bench, een nieuw benchmark voor het testen van visueel-natief zoeken in multimodale browse-agents, en toont aan dat zelfs de meest geavanceerde modellen moeite hebben met visueel redeneren tijdens het zoekproces.

De kern

VisBrowse-Bench: De "Visuele Speurtocht" voor Slimme Robots

Stel je voor dat je een zeer slimme, digitale detective hebt. Deze detective kan lezen, schrijven en zoeken op internet. Maar tot nu toe was deze detective een beetje een "eenogige" detective: hij kon alleen tekst lezen, maar had moeite met het begrijpen van foto's, tekeningen of complexe plaatjes die op websites staan.

De auteurs van dit paper hebben een nieuw spel bedacht om te testen hoe goed deze digitale detectives echt zijn in het combineren van lezen én kijken. Ze noemen dit VisBrowse-Bench.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Tekst-Blinde" Detective

Vroeger waren de tests voor deze robots simpel. Je gaf ze een foto en een vraag, en de robot mocht een zoekmachine gebruiken. Maar dat was te makkelijk.

• Het oude probleem: Als je een foto van een beroemd gebouw liet zien, kon de robot de foto gewoon in een zoekmachine gooien. De zoekmachine gaf direct de naam van het gebouw terug. De robot hoefde niet echt na te denken over de foto; hij hoefde alleen maar de naam te kopiëren en te zoeken. Het was alsof je een raadsel oplost door gewoon het antwoord op Google te typen in plaats van het zelf te raden.
• De nieuwe uitdaging: In het echte leven is het anders. Soms moet je eerst een foto bekijken om te begrijpen wie er op staat, dan een andere foto zoeken om te zien waar ze zijn, en dan pas een tekst lezen om de definitieve vraag te beantwoorden. De oude tests keken hier niet naar.

2. De Oplossing: VisBrowse-Bench (De Grote Visuele Speurtocht)

De onderzoekers hebben 169 nieuwe, moeilijke puzzels gemaakt. Deze puzzels zijn zo ontworpen dat je niet kunt winnen zonder echt naar de plaatjes te kijken.

Hoe ziet zo'n puzzel eruit?
Stel je een vraag voor als een schatkaart:

• De start: Je krijgt een foto van een groep mensen. De vraag is: "Wie is de persoon rechtsachter Einstein, en in welk jaar haalde diegene zijn doctoraat?"
• De valstrik: Je kunt niet gewoon "Einstein" googelen. Je moet eerst de foto analyseren om te zien wie die persoon is (bijvoorbeeld Paul Dirac).
• De reis: Pas nadat je die naam uit de foto hebt gehaald, mag je zoeken in teksten. Maar wacht! De volgende stap vereist weer een foto. Misschien moet je een poster van een film zoeken en kijken wie er onder een bepaalde acteur staat.
• De conclusie: Pas als je die visuele puzzelstukken hebt samengevoegd met de tekst, heb je het antwoord.

Het is alsof je een detective bent die eerst een foto moet bestuderen om een verdachte te identificeren, dan een krant moet lezen om zijn verleden te vinden, en dan weer een andere foto moet bekijken om te zien waar hij nu is. Als je alleen tekst leest, mis je cruciale stukjes van de puzzel.

3. De Robot en zijn Gereedschapskist

Om deze tests te doen, hebben de onderzoekers een speciale "werkstroom" voor de robots gebouwd. De robot heeft nu een gereedschapskist met vijf belangrijke tools:

1. Tekst zoeken: Zoeken in woorden.
2. Beeld zoeken: Zoeken op basis van een beschrijving van een plaatje.
3. Omgekeerd beeld zoeken: Een plaatje uploaden om te zien waar het vandaan komt.
4. Knippen: Een stukje van een foto vergroten om details te zien (zoals een logo of een gezicht).
5. Webpagina bezoeken: Een website openen om de tekst te lezen.

De robot moet zelf beslissen: "Moet ik nu een foto knippen? Of moet ik een tekst zoeken?"

4. De Resultaten: De Robots Struikelen nog

De onderzoekers hebben de slimste robots ter wereld (zoals Claude, Gemini en GPT) deze test laten doen. Het nieuws is niet zo goed als je misschien hoopt:

• De beste robot (Claude-4.6-Opus) haalde slechts 47,6% goed. Dat betekent dat hij in meer dan de helft van de gevallen faalde, zelfs met alle hulpmiddelen.
• De "Deep Research" robot (o3) haalde zelfs maar 41,1%.
• De open-source robots deden het nog slechter, vaak rond de 10-30%.

Waarom lukt het niet?
De robots zijn geweldig in het lezen van lange teksten en het vinden van feiten. Maar als ze moeten kijken naar een foto, een gezicht herkennen, of een detail in een hoekje van een plaatje moeten vinden, raken ze in de war. Ze proberen vaak de foto te "omzeilen" door te gokken of door alleen tekst te zoeken, wat in deze specifieke tests niet werkt.

5. Waarom is dit belangrijk?

Dit onderzoek is als een wake-up call voor de tech-wereld.

• Vroeger: We dachten dat robots alles al konden omdat ze goed konden lezen.
• Nu: We zien dat ze nog niet klaar zijn voor het echte internet, waar informatie een mix is van foto's, video's en tekst. Als een robot niet goed kan "kijken" terwijl hij zoekt, kan hij geen betrouwbare assistent worden voor complexe taken.

Kort samengevat:
VisBrowse-Bench is een nieuwe, moeilijke test die robots dwingt om écht te kijken en te denken, niet alleen te lezen. Het bewijst dat onze slimste digitale detectives nog veel moeten leren voordat ze echt meesters in het visuele internet kunnen worden. Het is alsof we ze net hebben laten zien dat er meer is dan alleen woorden op een pagina.

Technische samenvatting

Probleemstelling

De snelle vooruitgang in Multimodale Grootte Taalmodellen (MLLMs) heeft "browsing agents" (agenten die het web doorzoeken) in staat gesteld om multimodale informatie te verzamelen en te redeneren. Echter, bestaande benchmarks voor diep onderzoek (deep research) vertonen twee fundamentele tekortkomingen:

1. Onvoldoende evaluatie van visueel redeneren: Veel huidige benchmarks (zoals MMSearch en BrowseComp-VL) testen voornamelijk de vaardigheid om tools aan te roepen voor tekst-afbeelding queries. Vaak kan de semantische informatie van een afbeelding eenvoudig worden verkregen via een omgekeerde afbeeldingszoekfunctie, waardoor de taak degenereren tot een simpele tekstuele zoekopdracht zonder diepgaand visueel begrip.
2. Verwaarlozing van native visuele informatie: In bestaande benchmarks wordt de zoektocht vaak beperkt tot tekstuele documenten zodra een entiteit is geïdentificeerd. De zoektrajecten vereisen geen "grounding" (plaatsbepaling), parsing of redeneren over nieuwe visuele informatie die tijdens het zoeken wordt ontdekt. In realistische scenario's is het echter essentieel om actief visuele informatie op te halen en te integreren die niet vooraf wordt gegeven.

Methodologie

1. VisBrowse-Bench (De Benchmark)
De auteurs introduceren VisBrowse-Bench, een nieuwe benchmark specifiek ontworpen om visueel-natieve zoekopdrachten te evalueren.

• Datasetsamenstelling: De benchmark bevat 169 VQA (Visual Question Answering) instanties verdeeld over zeven domeinen: Media, Leven, Kunst, Geografie, Technologie, Sport en Financiën.
• Ontwerpprincipes:
  • Multimodale integratie: Zowel het formuleren van de query als het verzamelen van bewijs vereist actieve verwerking van zowel visuele als tekstuele modaliteiten.
  • Visuele competentie-afdwinging: Visuele informatie is structureel onmisbaar. Antwoorden kunnen niet worden verkregen via tekstuele beschrijvingen alleen; ze vereisen ruimtelijke grounding, attributenperceptie en relationeel parseren van afbeeldingen.
• Datacollectie: De data is handmatig samengesteld door experts via een meerfasenproces. Experts bouwen recursieve multi-hop redeneringsketens op die beginnen met een visueel ambiguë entiteit. De ketens vereisen het vinden van nieuwe visuele bewijsstukken die niet tekstueel kunnen worden parafraseerd, gecombineerd met tekstuele bronnen.
• Validatie: Elke vraag wordt door twee experts gecontroleerd op unieke oplossbaarheid en de noodzaak van minimaal drie "hops" (stappen) en twee visuele bewijsblokken.

2. Agente Workflow
Om de modellen te evalueren, stellen de auteurs een agente workflow voor die multimodale diepzoekopdrachten simuleert. Deze workflow gebruikt vijf kern-tools:

• text_search: Zoeken op natuurlijke taal.
• image_search: Zoeken op basis van tekstuele queries naar afbeeldingen.
• reverse_image_search: Zoeken op basis van een afbeelding.
• image_crop: Uitsnijden van specifieke regio's van een afbeelding voor gedetailleerde analyse.
• webpage_visit: Bezoeken van URL's om gestructureerde informatie te extraheren.
  De agent werkt in een gesloten lus: het analyseert de query, kiest een tool, verwerkt het resultaat, update zijn interne staat en herhaalt dit totdat voldoende bewijs is verzameld voor een antwoord.

Belangrijkste Bijdragen

1. Formalisatie van de taak: De auteurs identificeren en formaliseren de twee kritieke gaten in bestaande benchmarks: gebrek aan evaluatie van visueel redeneren en het negeren van native visuele informatie in redeneerketens.
2. VisBrowse-Bench: Een nieuw, door experts gevalideerd benchmark met 169 complexe instanties die specifiek zijn ontworpen om de integratie van multimodale informatie en visuele redeneercapaciteiten te testen.
3. Agente Workflow: Een geïntroduceerde multi-turn workflow voor visuele informatieretrieval en redenering die agenten dwingt actief visuele informatie te zoeken en te integreren, in plaats van alleen te vertrouwen op tekst.

Resultaten

De auteurs hebben zowel open-source als gesloten-bronmodellen (inclusief Deep Research-modellen) geëvalueerd binnen deze workflow.

• Algemene prestaties: Zelfs het best presterende model, Claude-4.6-Opus, bereikte slechts een nauwkeurigheid van 47,6%. Het gespecialiseerde Deep Research-model o3-deep-research scoorde zelfs lager, met 41,1%. De meeste andere modellen haalden rond de 30%.
• Invloed van tools:
  • Direct Answer (geen tools): Prestaties waren zeer laag, wat aantoont dat parametrische kennis ontoereikend is voor deze complexe taken.
  • + Text Search: Verbeterde de prestaties, maar bleef beperkt, wat aangeeft dat tekstuele informatie alleen niet voldoende is.
  • + Image Search (volledige toolkit): Leverde de grootste verbetering op, wat de noodzaak van visuele bewijsverzameling bevestigt. Echter, sommige modellen (zoals Claude-4.6-Sonnet) presteerden slechter met de beeldzoektools, waarschijnlijk door fouten in het correct gebruik van de tools.
• Tool-gebruik: Analyse toonde aan dat modellen met een gebalanceerd gebruik van alle vijf tools (zoals Claude-4.6-Opus) beter presteerden. Modellen die te veel leunden op tekstzoekopdrachten of reverse image search zonder gedetailleerde crop-analyse, faalden vaak bij complexe visuele redeneringen.

Betekenis en Conclusie

VisBrowse-Bench markeert een belangrijke stap in de evaluatie van multimodale agenten. Het bewijst dat huidige state-of-the-art modellen nog niet voldoende zijn in het actief zoeken naar, begrijpen en redeneren over visuele informatie in realistische webomgevingen.

• De benchmark dwingt modellen om verder te gaan dan simpele tool-aanroepen en daadwerkelijk visuele "grounding" toe te passen.
• De lage scores van zelfs de krachtigste modellen benadrukken dat er nog aanzienlijke vooruitgang nodig is in de integratie van visueel redeneren in zoekagenten.
• Het werk biedt een robuust kader voor de toekomstige ontwikkeling van agenten die echt "visueel-natief" kunnen opereren in een multimodale wereld.