💻 computer science

From Web to Pixels: Bringing Agentic Search into Visual Perception

Dit artikel introduceert "Perception Deep Research", een nieuwe open-wereld visuele perceptie-uitdaging waarbij objecten via externe kennis moeten worden geïdentificeerd voordat ze gelokaliseerd worden, en adresseert deze met de WebEye-benchmark en het Pixel-Searcher-agentframework, dat state-of-the-art open-source prestaties demonstreert in zoekgebaseerde grounding, segmentatie en VQA.

Oorspronkelijke auteurs: Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je het spel "Waar is Wally?" (of "Where's Waldo?") speelt, maar dan met een draai.

In het klassieke spel kijk je naar een drukke afbeelding en vind je Wally op basis van zijn uiterlijk: een rood-wit gestreept shirt, een hoed en een bril. Je hoeft niet te weten wie Wally is; je moet gewoon het visuele patroon herkennen.

Dit artikel stelt dat de meeste huidige AI-viziesystemen vastzitten in het spelen van het klassieke spel. Ze zijn uitstekend in het vinden van dingen die eruitzien als een "rode auto" of een "persoon in een blauw shirt". Maar ze hebben moeite wanneer de vraag niet gaat over hoe iets eruitziet, maar over wie het is, gebaseerd op feiten die je niet in de afbeelding kunt zien.

De Nieuwe Uitdaging: "De Mysteriegast"

De auteurs introduceren een nieuwe, moeilijkere versie van het spel genaamd Perception Deep Research.

Stel je een foto voor van een drukke feest. De vraag is niet "Vind de persoon in het rode shirt". In plaats daarvan is de vraag:

"Vind de persoon die in januari 2026 wereldwijd ambassadeur werd voor een huidverzorgingsmerk, nadat dat merk was overgenomen door een bedrijf voor 2,7 miljard dollar."

Je kunt dit niet oplossen door alleen naar de foto te kijken. De foto toont niet het prijskaartje van de overname of de datum van de ambassadeur-aankondiging. Om de juiste persoon te vinden, moet de AI:

Op Webjacht gaan: Zoek op internet uit welk merk werd overgenomen, in welke maand, en wie de ambassadeur was.
Het Mysterie Oplossen: Besef: "Ah, de persoon op de foto met de naam 'Winter' is degene die we zoeken."
Naar de Pixel wijzen: Ga uiteindelijk terug naar de foto en teken een kader om Winter.

Het artikel noemt dit "Van Web naar Pixels". Het gaat om het verbinden van internetfeiten met specifieke plekken in een afbeelding.

De Tools die Ze Bouwden

Om te testen of AI dit kan, bouwde het team twee hoofdcomponenten:

1. WebEyes (Het Testcircuit)
Denk hierbij aan een gespecialiseerd obstakelcircuit voor AI. Het bevat 120 complexe afbeeldingen en honderden lastige vragen.

De Draai: Elke vraag vereist dat de AI verborgen feiten opzoekt (zoals de recente rol van een beroemdheid, de lanceringdatum van een product of de achtergrondverhaal van een personage) voordat het zelfs maar kan raden waar het in de afbeelding moet kijken.
Het Doel: De AI moet niet alleen de vraag beantwoorden; het moet de exacte persoon of het exacte object in de afbeelding aanwijzen dat overeenkomt met het antwoord.

2. Pixel-Searcher (De Slimme Detective)
Dit is de nieuwe AI-agent die de auteurs hebben gemaakt om de test te doorlopen. In plaats van alleen naar de afbeelding te staren en te raden, handelt Pixel-Searcher als een detective met een vergrootglas en een laptop.

Stap 1: Het Zoeken. Het breekt de vraag af. "Wie was de ambassadeur?" "Wanneer vond de deal plaats?" Het zoekt op het web en leest de resultaten.
Stap 2: De Redenering. Het verbindt de punten. "Oké, de deal vond plaats in januari, en de ambassadeur is Winter."
Stap 3: De Jacht. Het gaat terug naar de afbeelding. Het zoekt naar een persoon die eruitziet als Winter (misschien controlerend op specifieke kleding of kenmerken die in het zoekresultaat werden genoemd) en tekent een kader om hen heen.

Wat Ze Vonden

De onderzoekers testten Pixel-Searcher tegen andere slimme AI-modellen. Hier is het oordeel:

Oude AI-modellen: Wanneer ze geconfronteerd werden met deze "Mysteriegast"-vragen, raakten standaard AI-modellen in de war. Ze probeerden te raden op basis van alleen wat ze in de afbeelding zagen of wat ze al "wisten" uit hun training. Ze kozen vaak de verkeerde persoon omdat ze de verborgen feiten niet konden vinden.
Pixel-Searcher: Deze nieuwe agent presteerde het beste onder open-source modellen. Door daadwerkelijk het web te doorzoeken en de aanwijzingen te redeneren, vond het succesvol veel vaker de juiste doelen.

Waar het nog steeds moeite heeft:
Het artikel merkt op dat de AI niet faalt omdat het geen perfect kader om een persoon kan tekenen. Het faalt eerder in het proces:

Slecht Zoeken: Het zoekt soms naar het verkeerde ding of mist een cruciaal feit.
Verkeerde Identiteit: Het komt de juiste feiten achter maar kiest de verkeerde persoon op de foto (bijvoorbeeld: het weet dat de ambassadeur "Winter" is, maar wijst naar de verkeerde persoon met de naam Winter).
Binding: Het heeft moeite om het "feit" (Winter) te verbinden met het "visuele" (de persoon op de foto).

Het Grote Plaatje

Het artikel concludeert dat AI om de wereld echt te begrijpen, niet alleen een "camera" kan zijn die vormen ziet. Het moet een "onderzoeker" zijn die informatie kan opzoeken, puzzels kan oplossen en die kennis vervolgens kan gebruiken om naar het juiste ding in een afbeelding te wijzen. Ze noemen dit nieuwe veld Perception Deep Research, en ze hebben de tools (WebEyes en Pixel-Searcher) verschaft om andere wetenschappers te helpen betere "detective"-AI's te bouwen.

Technische Samenvatting: Van Web naar Pixels: Agente Zoekfunctie Integreëren in Visuele Perceptie

1. Probleemdefinitie: Perceptie Deep Research

Het artikel identificeert een kritieke kloof in huidige systemen voor visuele perceptie. Hoewel bestaande multimodale grote taalmodellen (MLLM's) zijn doorgegaan van het herkennen van zichtbare categorieën naar het verankeren van impliciete doelen op basis van interne kennis, hebben ze moeite in open-wereldomgevingen. In deze scenario's is het doelobject zichtbaar in een afbeelding, maar ligt het beslissende bewijs nodig om het te identificeren buiten de afbeelding en buiten de bevroren parametrische kennis van het model.

De auteurs formaliseren deze uitdaging als Perceptie Deep Research. In tegenstelling tot standaard referentiexpressiebegrip of redenerende segmentatie, waarbij aanwijzingen visueel of intern zijn, vereist deze setting dat een model:

Een doelidentiteit oplost op basis van externe feiten (bijv. recente gebeurtenissen, long-tail entiteiten, multi-hop relaties, makers-afhankelijkheid).
Deze opgeloste identiteit koppelt aan een concreet visueel voorbeeld (doos, masker of antwoord op regionaal niveau) binnen de afbeelding.

De kernmoeilijkheid ligt in de koppeling van twee stappen: het omzetten van indirecte feitelijke aanwijzingen in een expliciete doelhypothese, en vervolgens verifiëren dat deze hypothese compatibel is met het waargenomen visuele gebied, waardoor het wordt onderscheiden van afleidende factoren of visueel vergelijkbare objecten.

2. Methodologie

2.1 De WebEyes-benchmark

Om vooruitgang in dit domein te meten, introduceren de auteurs WebEyes, een object-geankerde benchmark ontworpen met verifieerbaar bewijs en precieze annotaties.

Constructie: De dataset volgt een "object-eerst"-workflow. Annotatoren selecteren afbeeldingen met meerdere instanties, markeren voorgrondobjecten en gebruiken vervolgens een agent om gekoppelde webzoekopdrachten uit te voeren om bewijs te verzamelen (rollen, releasedata, merk-afhankelijkheid) voordat kennisintensieve zoekopdrachten worden gegenereerd.
Schaal: Het omvat 120 afbeeldingen, 473 geannoteerde objectinstanties en 645 unieke QA-paren, wat resulteert in 1.927 taakvoorbeelden.
Taakweergaven: WebEyes evalueert drie complementaire taken:
1. Zoekgebaseerde Verankering: Het voorspellen van een omlijstingsdoos vanuit een zoekopdracht die externe kennis vereist.
2. Zoekgebaseerde Segmentatie: Het voorspellen van een masker op pixel-niveau.
3. Zoekgebaseerde VQA: Het selecteren van de juiste kennisrijke beschrijving voor een gemarkeerd gebied.
Kwaliteitscontrole: De pijplijn bevat automatische filtering om "shortcuts" te verwijderen (vragen die oplosbaar zijn met gesloten-boek kennis of alleen visie) en handmatige verificatie om de juistheid van het bewijs en de uniciteit van het doel te waarborgen.

2.2 Pixel-Searcher: Een Agente Zoek-naar-Pixel Workflow

De auteurs stellen Pixel-Searcher voor, een referentiewerkflow die de taak decomposeert in een agentische lus in plaats van een directe end-to-end voorspelling. Het werkt in twee fasen:

Agente Zoekopdracht & Doeloplossing:
- De agent analyseert de zoekopdracht en decomposeert deze in zoekbare subdoelen.
- Het betreedt een Zoek-Redeneer-lus, waarbij het afwisselend externe bewijs ophaalt (via zoektools), redeneert over de verzamelde feiten en een gestructureerde hypothese oplost $h = \{e, c, K\}$ , waarbij $e$ de entiteitsnaam is, $c$ de visuele categorie, en $K$ controleerbare aanwijzingen voor de afbeelding vertegenwoordigt.
- De agent verifieert dat de opgeloste entiteit geen tussentijds bewijs is, maar het definitieve zichtbare doel.
Agente Verankering & Gebruik van Hulpmiddelen:
- Met behulp van de opgeloste hypothese $h$ leidt de agent visuele verankeringstools.
- Voor Verankering/Segmentatie: Het identificeert kandidaat-regio's, verifieert deze tegen het opgeloste bewijs en roept een aanpasbaar segmentatietool (SAM3) aan voor maskerverfijning.
- Voor VQA: Het keert het proces om, lost elke antwoordoptie op in bewijsbewuste aanwijzingen en selecteert degene die het beste overeenkomt met het verankerde visuele gebied.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Perceptie Deep Research: Een nieuwe formulering voor open-wereld visuele perceptie waarbij modellen actief externe bewijzen moeten zoeken om verborgen identiteiten op te lossen voordat ze deze verankeren.
WebEyes-benchmark: Een dataset met verifieerbaar extern bewijs, kennisintensieve zoekopdrachten en precieze annotaties over verankering, segmentatie en VQA-weergaven, specifiek ontworpen om het vermogen te testen om webkennis om te zetten in output op pixel-niveau.
Pixel-Searcher: Een agentische workflow die de effectiviteit van zoek-naar-pixel redeneren aantoont. De auteurs leveren diagnostische experimenten die onthullen dat prestatieflessenhals voornamelijk liggen in bewijsverkrijging, identiteitsoplossing en visuele instantiebinding, en niet in de laatste stap van maskerverfijning.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op WebEyes met verschillende open-source en gesloten-source modellen zonder taakspecifieke fijnafstemming.

Prestaties: Pixel-Searcher bereikt de sterkste prestaties onder alle open-source methoden over alle drie de taakweergaven.
- Bij Zoekgebaseerde Verankering verbetert het de IoU van de baseline Qwen3-VL-8B van 26,81% naar 34,17% en Recall@0.5 van 32,61% naar 41,30%.
- Bij Zoekgebaseerde Segmentatie verbetert het gIoU van 35,78% naar 39,17% en cIoU van 25,94% naar 32,41%.
- Bij Zoekgebaseerde VQA bereikt het 42,24% nauwkeurigheid, wat beter is dan andere open-source modellen.
Vergelijking: Hoewel Pixel-Searcher open-source methoden voorblijft, blijft er een prestatiekloof bestaan ten opzichte van top-tier gesloten-source modellen (bijv. Doubao-Seed, Gemini), wat suggereert dat bewijsselectie en entiteitsoplossing zelfs voor geavanceerde agenten uitdagend blijven.
Ablatie- en Falingsanalyse:
- Het verwijderen van directe lokalisatieaanwijzingen veroorzaakt de meest significante prestatiedalingen.
- Falenpatronen: Ongeveer 78% van de fouten (304 van de 389) treedt op in de zoek-/entiteitsoplossingsfase (onjuiste entiteitsidentificatie of zoekplanning). Slechts een klein aantal (10 gevallen) is te wijten aan fouten bij de overdracht van doos naar masker. Dit bevestigt dat de primaire bottleneck het identificeren van de juiste entiteit is en niet het verfijnen van de visuele grens.

5. Betekenis en Claims

Het artikel beweert dat WebEyes de nodige infrastructuur biedt om "Perceptie Deep Research" te benchmarken en vooruit te laten gaan, waardoor visuele perceptie verder gaat dan statische afbeeldingsanalyse naar dynamische, kennisgedreven interactie.

De betekenis van Pixel-Searcher ligt in het aantonen dat agente zoekopdracht een haalbaar en noodzakelijk mechanisme is voor open-wereld visuele perceptie. De auteurs betogen dat voor taken waarbij de doelidentiteit verborgen is achter externe feiten, het simpelweg vertrouwen op visuele attributen of bevroren modelkennis onvoldoende is. De workflow bewijst dat het oplossen van het "wie" (identiteit) voordat het "waar" (locatie) wordt bepaald, cruciaal is, en dat fouten in dit domein voornamelijk semantisch zijn (zoek-/redeneerfouten) en niet geometrisch (fouten bij maskerverfijning).

Het artikel concludeert dat deze richting vereist dat modellen actief externe bewijzen zoeken en identiteiten verifiëren tegen visuele instanties, wat een eenvoudige maar effectieve startpunt biedt voor het bestuderen hoe agente zoekopdrachten de kloof kunnen overbruggen tussen webkennis en perceptie op pixel-niveau.