💻 computer science

From Web to Pixels: Bringing Agentic Search into Visual Perception

Ce papier présente « Perception Deep Research », un nouveau défi de perception visuelle en monde ouvert où les objets doivent être identifiés via des connaissances externes avant d'être localisés, et y répond avec l'évaluation WebEye et le cadre agentique Pixel-Searcher, qui démontrent des performances à l'état de l'open-source en matière d'ancrage, de segmentation et de VQA basés sur la recherche.

Auteurs originaux : Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue

Publié 2026-05-13

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bokang Yang, Xinyi Sun, Kaituo Feng, Xingping Dong, Dongming Wu, Xiangyu Yue

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouiez à un jeu de « Où est Charlie ? » (ou « Où est Wally ? »), mais avec une variante.

Dans le jeu classique, vous examinez une image bondée et trouvez Charlie en vous basant sur son apparence : un pull rayé rouge et blanc, un bonnet et des lunettes. Vous n'avez pas besoin de savoir qui est Charlie ; vous devez simplement repérer le motif visuel.

Ce papier soutient que la plupart des systèmes de vision par ordinateur actuels sont coincés à jouer au jeu classique. Ils sont excellents pour trouver des objets qui ressemblent à une « voiture rouge » ou à une « personne en chemise bleue ». Mais ils peinent lorsque la question ne porte pas sur l'apparence de quelque chose, mais sur qui il est, en fonction de faits invisibles sur l'image.

Le nouveau défi : « L'Invité Mystère »

Les auteurs introduisent une nouvelle version, plus difficile, du jeu appelée Recherche Approfondie de Perception.

Imaginez une photo d'une fête bondée. La question n'est pas « Trouvez la personne en chemise rouge ». Au contraire, la question est :

« Trouvez la personne qui est devenue ambassadrice mondiale d'une marque de soins de la peau en janvier 2026, après que cette marque a été rachetée par une entreprise pour 2,7 milliards de dollars. »

Vous ne pouvez pas résoudre cela simplement en regardant la photo. L'image ne montre ni le prix de l'acquisition ni la date de l'annonce de l'ambassadeur. Pour trouver la bonne personne, l'IA doit :

Partir à la chasse sur le Web : Explorer Internet pour déterminer quelle marque a été rachetée, en quel mois, et qui était l'ambassadeur.
Résoudre l'énigme : Se rendre compte : « Ah, la personne sur la photo nommée 'Winter' est celle que nous cherchons. »
Pointer le pixel : Enfin, revenir à la photo et dessiner un cadre autour de Winter.

Le papier appelle cela « Du Web aux Pixels ». Il s'agit de relier des faits internet à des emplacements spécifiques dans une image.

Les outils qu'ils ont construits

Pour tester si l'IA peut faire cela, l'équipe a construit deux éléments principaux :

1. WebEyes (Le parcours d'obstacles)
Pensez-y comme à un parcours d'obstacles spécialisé pour l'IA. Il contient 120 images complexes et des centaines de questions pièges.

La variante : Chaque question oblige l'IA à rechercher des faits cachés (comme le rôle récent d'une célébrité, la date de lancement d'un produit ou l'histoire d'un personnage) avant même de pouvoir deviner où regarder dans l'image.
L'objectif : L'IA ne doit pas seulement répondre à la question ; elle doit pointer la personne ou l'objet exact dans l'image qui correspond à la réponse.

2. Pixel-Searcher (Le détective intelligent)
C'est le nouvel agent IA que les auteurs ont créé pour passer le test. Au lieu de simplement fixer l'image et de deviner, Pixel-Searcher agit comme un détective avec une loupe et un ordinateur portable.

Étape 1 : La recherche. Il décompose la question. « Qui était l'ambassadeur ? » « Quand a eu lieu l'accord ? » Il recherche sur le web et lit les résultats.
Étape 2 : Le déduction. Il fait le lien. « D'accord, l'accord a eu lieu en janvier, et l'ambassadeur est Winter. »
Étape 3 : La chasse. Il revient à l'image. Il cherche une personne qui ressemble à Winter (peut-être en vérifiant des vêtements ou des caractéristiques spécifiques mentionnés dans la recherche) et dessine un cadre autour d'elle.

Ce qu'ils ont découvert

Les chercheurs ont testé Pixel-Searcher contre d'autres modèles d'IA intelligents. Voici le verdict :

Anciens modèles d'IA : Face à ces questions d'« Invité Mystère », les modèles d'IA standards étaient perdus. Ils tentaient de deviner uniquement sur la base de ce qu'ils voyaient dans l'image ou de ce qu'ils « savaient » déjà de leur entraînement. Ils choisissaient souvent la mauvaise personne car ils ne pouvaient pas trouver les faits cachés.
Pixel-Searcher : Cet nouvel agent a obtenu les meilleurs résultats parmi les modèles open-source. En recherchant réellement sur le web et en raisonnant à travers les indices, il a réussi à trouver les bonnes cibles beaucoup plus souvent.

Où il continue de peiner :
Le papier note que l'IA n'échoue pas parce qu'elle ne peut pas dessiner un cadre parfait autour d'une personne. Elle échoue plus tôt dans le processus :

Mauvaise recherche : Elle cherche parfois la mauvaise chose ou manque un fait clé.
Mauvaise identité : Elle déduit les bons faits mais pointe la mauvaise personne sur la photo (par exemple, elle sait que l'ambassadeur est « Winter », mais elle pointe la mauvaise personne nommée Winter).
Liaison : Elle a du mal à relier le « fait » (Winter) au « visuel » (la personne sur la photo).

La grande image

Le papier conclut que pour que l'IA comprenne véritablement le monde, elle ne peut pas être simplement une « caméra » qui voit des formes. Elle doit être un « chercheur » capable de consulter des informations, de résoudre des énigmes, puis d'utiliser cette connaissance pour pointer la bonne chose sur une image. Ils appellent ce nouveau domaine Recherche Approfondie de Perception, et ils ont fourni les outils (WebEyes et Pixel-Searcher) pour aider d'autres scientifiques à construire de meilleures IA « détectives ».

Résumé Technique : Du Web aux Pixels : Intégrer la Recherche Agente dans la Perception Visuelle

1. Définition du Problème : Recherche Approfondie en Perception

L'article identifie un écart critique dans les systèmes actuels de perception visuelle. Bien que les modèles de langage multimodaux de grande taille (MLLM) existants aient progressé du simple repérage de catégories visibles à l'ancrage de cibles implicites basé sur des connaissances internes, ils peinent dans des environnements ouverts. Dans ces scénarios, l'objet cible est visible dans une image, mais la preuve décisive nécessaire pour l'identifier se situe en dehors de l'image et au-delà des connaissances paramétriques figées du modèle.

Les auteurs formalisent ce défi sous le nom de Recherche Approfondie en Perception. Contrairement à la compréhension d'expressions de référence ou à la segmentation par raisonnement standards où les indices sont visuels ou internes, ce cadre exige qu'un modèle :

Résolve une identité cible à partir de faits externes (par exemple, événements récents, entités à longue traîne, relations multi-sauts, affiliations de créateurs).
Lie cette identité résolue à une instance visuelle concrète (boîte, masque ou réponse au niveau de la région) au sein de l'image.

La difficulté centrale réside dans le couplage de deux étapes : transformer des indices factuels indirects en une hypothèse de cible explicite, puis vérifier que cette hypothèse est compatible avec la région visuelle observée, la distinguant ainsi des distracteurs ou des objets visuellement similaires.

2. Méthodologie

2.1 Le Benchmark WebEyes

Pour mesurer les progrès dans ce domaine, les auteurs introduisent WebEyes, un benchmark ancré sur les objets, conçu avec des preuves vérifiables et des annotations précises.

Construction : Le jeu de données suit un flux de travail « objet en premier ». Les annotateurs sélectionnent des images multi-instances, marquent les objets au premier plan, puis utilisent un agent pour effectuer des recherches web en chaîne afin de rassembler des preuves (rôles, dates de sortie, affiliations de marques) avant de générer des requêtes riches en connaissances.
Échelle : Il comprend 120 images, 473 instances d'objets annotées et 645 paires de questions-réponses uniques, aboutissant à 1 927 échantillons de tâches.
Vues de Tâche : WebEyes évalue trois tâches complémentaires :
1. Ancrage basé sur la recherche : Prédire une boîte englobante à partir d'une requête nécessitant des connaissances externes.
2. Segmentation basée sur la recherche : Prédire un masque au niveau du pixel.
3. VQA basée sur la recherche : Sélectionner la description riche en connaissances correcte pour une région mise en évidence.
Contrôle de Qualité : Le pipeline inclut un filtrage automatisé pour éliminer les « raccourcis » (questions résolubles par des connaissances en livre fermé ou par la vision seule) et une vérification manuelle pour garantir l'exactitude des preuves et l'unicité de la cible.

2.2 Pixel-Searcher : Un Flux de Travail de Recherche Agente vers les Pixels

Les auteurs proposent Pixel-Searcher, un flux de travail de référence qui décompose la tâche en une boucle agente plutôt qu'en une prédiction directe de bout en bout. Il opère en deux phases :

Recherche Agente et Résolution de Cible :
- L'agent analyse la requête et la décompose en sous-objectifs recherchables.
- Il entre dans une boucle Recherche-Raisonnement, alternant entre la récupération de preuves externes (via des outils de recherche), le raisonnement sur les faits accumulés et la résolution d'une hypothèse structurée $h = \{e, c, K\}$ , où $e$ est le nom de l'entité, $c$ la catégorie visuelle et $K$ représente des indices vérifiables sur l'image.
- L'agent vérifie que l'entité résolue n'est pas un indice intermédiaire mais la cible finale visible.
Ancrage Agente et Utilisation d'Outils :
- En utilisant l'hypothèse résolue $h$ , l'agent guide les outils d'ancrage visuel.
- Pour l'Ancrage/Segmentation : Il identifie des régions candidates, les vérifie par rapport aux preuves résolues et invoque un outil de segmentation paramétrable (SAM3) pour le raffinement du masque.
- Pour la VQA : Il inverse le processus, résout chaque option de réponse en indices conscients des preuves et sélectionne celle qui correspond le mieux à la région visuelle ancrée.

3. Contributions Clés

L'article apporte trois contributions principales :

Recherche Approfondie en Perception : Une nouvelle formulation pour la perception visuelle en monde ouvert où les modèles doivent activement chercher des preuves externes pour résoudre des identités cachées avant de les ancrer.
Benchmark WebEyes : Un jeu de données présentant des preuves externes vérifiables, des requêtes riches en connaissances et des annotations précises couvrant les vues d'ancrage, de segmentation et de VQA, spécifiquement conçu pour tester la capacité à convertir les connaissances web en sorties au niveau des pixels.
Pixel-Searcher : Un flux de travail agente démontrant l'efficacité du raisonnement de la recherche vers les pixels. Les auteurs fournissent des expériences diagnostiques révélant que les goulots d'étranglement de performance résident principalement dans l'acquisition de preuves, la résolution d'identité et la liaison d'instances visuelles, plutôt que dans l'étape finale de raffinement du masque.

4. Résultats Expérimentaux

Des expériences ont été menées sur WebEyes en utilisant divers modèles open-source et closed-source sans fine-tuning spécifique à la tâche.

Performance : Pixel-Searcher atteint les meilleures performances parmi toutes les méthodes open-source sur les trois vues de tâche.
- Dans l'Ancrage basé sur la recherche, il améliore l'IoU de la référence Qwen3-VL-8B de 26,81 % à 34,17 % et le Recall@0,5 de 32,61 % à 41,30 %.
- Dans la Segmentation basée sur la recherche, il améliore le gIoU de 35,78 % à 39,17 % et le cIoU de 25,94 % à 32,41 %.
- Dans la VQA basée sur la recherche, il atteint une précision de 42,24 %, surpassant les autres modèles open-source.
Comparaison : Bien que Pixel-Searcher devance les méthodes open-source, un écart de performance subsiste par rapport aux modèles closed-source de premier plan (par exemple, Doubao-Seed, Gemini), suggérant que la sélection de preuves et la résolution d'entités restent difficiles même pour des agents avancés.
Ablation et Analyse des Échecs :
- La suppression des indices de localisation directe provoque les baisses de performance les plus significatives.
- Modes d'Échec : Environ 78 % des échecs (304 sur 389) se produisent dans la phase de recherche/résolution d'entité (identification incorrecte de l'entité ou planification de la recherche). Seule une petite fraction (10 cas) est due à des erreurs de transfert boîte-vers-masque. Cela confirme que le goulot d'étranglement principal est l'identification de la bonne entité plutôt que le raffinement de la frontière visuelle.

5. Signification et Affirmations

L'article affirme que WebEyes fournit l'infrastructure nécessaire pour évaluer et faire progresser la « Recherche Approfondie en Perception », faisant passer la perception visuelle au-delà de l'analyse d'images statique vers une interaction dynamique et pilotée par les connaissances.

La signification de Pixel-Searcher réside dans la démonstration que la recherche agente est un mécanisme viable et nécessaire pour la perception visuelle en monde ouvert. Les auteurs soutiennent que pour des tâches où l'identité de la cible est cachée derrière des faits externes, se fier simplement aux attributs visuels ou aux connaissances figées du modèle est insuffisant. Le flux de travail prouve que résoudre le « qui » (identité) avant de déterminer le « où » (localisation) est crucial, et que les échecs dans ce domaine sont principalement sémantiques (erreurs de recherche/raisonnement) plutôt que géométriques (erreurs de raffinement de masque).

L'article conclut que cette direction exige que les modèles recherchent activement des preuves externes et vérifient les identités par rapport aux instances visuelles, offrant un point de départ simple mais efficace pour étudier comment la recherche agente peut combler le fossé entre les connaissances web et la perception au niveau des pixels.