🤖 AI

SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation

SearchEyes introduit un monde de recherche simulé unifié, fondé sur un graphe de connaissances typé qui intègre les données, l'environnement et les signaux de récompense à travers des chaînes Perception-Connaissance et une optimisation de politique ancrée par sauts (Hop-Anchored Policy Optimization), permettant des performances de raisonnement multi-sauts de pointe pour les agents de recherche multimodaux sans dépendre de moteurs externes ou de modèles de récompense distincts.

Auteurs originaux : Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang, Tianyi Jiang, Juanxi Tian, Jiapeng li, Qunzhong Wang, Tailai Chen, Qianshan Wei, Chuan Xiao, Shanyu Rong, Yangfu Li, Yanhan Zhou, Yunpu

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang, Tianyi Jiang, Juanxi Tian, Jiapeng li, Qunzhong Wang, Tailai Chen, Qianshan Wei, Chuan Xiao, Shanyu Rong, Yangfu Li, Yanhan Zhou, Yunpu Ma, Yifan Zhang, Xiangyu Yue

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot très intelligent comment résoudre un mystère complexe. Le robot doit regarder une image, lire des documents et relier les points pour trouver une réponse. C'est ce que l'article appelle un « agent de recherche multimodal ».

Cependant, les auteurs de cet article, SearchEyes, ont découvert que la façon dont nous enseignons habituellement aux robots est défaillante. C'est comme essayer d'apprendre à quelqu'un à conduire en lui donnant une carte, une voiture et un examen de conduite, mais en s'assurant qu'aucun des trois ne correspond.

La Carte (Données d'entraînement) : Vous lui donnez une liste de questions et de réponses, mais vous jetez les étapes du « mode d'emploi ».
La Voiture (Environnement) : Vous le laissez conduire sur une route publique réelle et imprévisible (l'internet réel) où les feux de signalisation peuvent changer ou la route peut disparaître.
Le Test (Récompenses) : Vous lui dites seulement « Bon travail » ou « Mauvais travail » à la toute fin. S'il a fait une erreur à l'étape 1, mais qu'il a eu de la chance à l'étape 10, il recevra quand même un « Bon travail ». Il n'apprend jamais où il s'est trompé.

SearchEyes corrige cela en construisant une simulation parfaite et autonome où la carte, la voiture et le test sont tous construits à partir du même plan.

Voici comment ils ont procédé, en utilisant des analogies simples :

1. Le Plan : Un graphe de connaissances « typé »

Au lieu d'utiliser l'internet réel et désordonné, l'équipe a construit une immense bibliothèque de faits organisée appelée Graphe de Connaissances. Considérez cela comme un immense arbre généalogique de l'information mondiale, mais avec des règles strictes :

Chaque personne (entité) possède une photo, une biographie et une liste de relations.
Ils ne conservent que les personnes « célèbres » qui possèdent les trois (photo, bio et connexions) afin que le robot puisse s'exercer à regarder des images et à lire du texte.

2. Le Parcours d'Entraînement : « Chaînes Perception-Connaissance » (PKC)

Pour entraîner le robot, ils n'ont pas simplement écrit des questions au hasard. Ils ont utilisé une recette spéciale appelée Chaînes Perception-Connaissance (PKC).

L'Analogie : Imaginez une chasse au trésor où vous devez alterner entre l'observation d'une photo et la lecture d'un indice.
- Étape 1 (Perception) : « Regardez cette photo d'un homme. Qui est-il ? » (Le robot doit identifier la personne à partir de l'image).
- Étape 2 (Connaissance) : « Maintenant, cherchez pour quelle équipe il a joué. » (Le robot doit effectuer une recherche textuelle).
- Étape 3 (Perception) : « Trouvez une photo du stade où joue cette équipe. »
La Magie : Le système génère ces questions automatiquement tout en gardant une « feuille de triche » (le chemin exact des faits) cachée en arrière-plan. Cela garantit que le robot doit emprunter le long chemin multi-étapes pour résoudre l'énigme, plutôt que de deviner la réponse immédiatement.

3. Le Simulateur de Conduite : Un « Monde de Recherche Autonome »

Dans le monde réel, si vous demandez quelque chose à un moteur de recherche, les résultats peuvent changer demain. Dans le monde de SearchEyes, le « moteur de recherche » est en réalité une immense base de données préchargée de la bibliothèque qu'ils ont construite.

Le Bénéfice : C'est 100 % reproductible. Si le robot cherche « Cristiano Ronaldo », il obtiendra toujours exactement les mêmes 5 premiers résultats. Cela élimine le chaos de l'internet réel, permettant au robot d'apprendre la logique de la recherche sans être distrait par des liens brisés ou des sites web changeants.

4. Le Coach : Feedback « Ancré sur les Étapes » (HaPO)

C'est l'innovation la plus importante. Dans un entraînement normal, le coach dit seulement « Tu as trouvé la bonne réponse ! » à la toute fin.

Le Problème : Si le robot a pris 10 étapes pour y arriver, le coach ne sait pas quelle étape était brillante et laquelle était un coup de chance.
La Solution SearchEyes : Comme ils ont conservé la « feuille de triche » (le chemin exact des faits), ils peuvent agir comme un coach qui observe chaque étape.
- « Bon travail pour avoir trouvé la photo du stade à l'étape 3 ! »
- « Oups, tu as choisi la mauvaise équipe à l'étape 2. Réessayons. »
La Métaphore : Au lieu de noter l'examen entier avec un seul score, ils donnent une note pour chaque question de l'examen. Cela aide le robot à apprendre beaucoup plus vite car il sait exactement où s'améliorer.

Les Résultats

Lorsqu'ils ont testé cette nouvelle méthode (appelée SearchEyes) sur six tests différents impliquant des images et du texte :

Elle a battu tous les autres robots open-source qui tentent de faire la même chose.
Leur plus petit robot (27 milliards de « cellules cérébrales ») a été plus performant que des robots beaucoup plus grands et coûteux issus de grandes entreprises technologiques.
Cela a prouvé qu'en donnant au robot un monde d'entraînement structuré, étape par étape, et un feedback précis, vous n'avez pas besoin d'un supercalculateur massif pour obtenir d'excellents résultats.

En bref : SearchEyes a cessé d'essayer d'enseigner aux robots en les jetant dans le chaos de l'internet réel. À la place, ils ont construit une salle de sport d'entraînement parfaite et contrôlée où le robot pratique des compétences spécifiques, est noté à chaque mouvement et apprend à résoudre des mystères visuels complexes avec une efficacité incroyable.

Résumé Technique : SearchEyes

Problématique

L'entraînement d'agents de recherche multimodaux capables de raisonnement à long horizon et multi-étapes (multi-hop) se heurte à un décalage structurel fondamental dans les pipelines actuels. Les approches existantes construisent les données d'entraînement, les environnements de recherche et les signaux de récompense de manière indépendante, ce qui entraîne trois problèmes critiques :

Découplage Données-Environnement : La synthèse des données d'entraînement rejette souvent les métadonnées structurelles intermédiaires (ex: structure du chemin, identifiants d'entités), tandis que les environnements de recherche reposent sur des moteurs externes irreproductibles avec des API non déterministes.
Rareté de la Récompense : Les signaux d'apprentissage par renforcement (RL) sont typiquement calculés uniquement au niveau de la trajectoire (basés sur la réponse finale). Pour le raisonnement multi-étapes, la probabilité d'une réponse finale correcte diminue drastiquement avec le nombre d'étapes, rendant les récompenses au niveau de la trajectoire trop rares pour une optimisation efficace de la politique.
Échec de l'Attribution de Crédit : Sans signaux au niveau de chaque étape, les agents peinent à apprendre quelles actions spécifiques dans une longue chaîne ont contribué au succès ou à l'échec, particulièrement dans des tâches multimodales complexes nécessitant à la fois la perception visuelle et la récupération de connaissances textuelles.

Méthodologie : SearchEyes

SearchEyes répond à ces goulots d'étranglement en unifiant la synthèse de données, la simulation d'environnement et l'entraînement par RL via un monde de recherche simulé construit sur un graphe de connaissances typé (Wikidata5M). Le framework se compose de trois composants étroitement couplés :

1. Simulation d'un Monde de Recherche Unifié

Le système construit un environnement de recherche autonome utilisant un graphe de connaissances typé $G = (V, R, T, \phi)$ dérivé de Wikidata5M, Wiki6M (texte) et des images de Wikipédia.

Récupération Autonome : Au lieu d'API externes, l'environnement utilise un moteur de récupération hybride (embeddings denses + BM25) fusionné via la Reciprocal Rank Fusion (RRF) sur une collection de documents pré-indexée. Cela garantit une récupération déterministe, reproductible et auditable.
Ensemble d'Outils : Les agents interagissent via des outils déterministes : text_search, visual_search (recadrage d'image + récupération d'embedding), lookup, summarize, et python_interpreter.

2. Synthèse de la Chaîne Perception-Connaissance (PKC)

Pour générer des données d'entraînement de haute qualité, SearchEyes introduit un pipeline qui échantillonne des chemins multi-étapes contraints sur l'intersection des entités visuelles et de connaissances :

Échantillonnage de Chemins Contraints : Les chemins sont échantillonnés via des marches aléatoires contraintes avec des règles strictes :
- Alternance P-K : Imposer l'alternance entre les étapes de Perception (identifier des entités visuelles à partir d'images) et les étapes de Connaissance (recherche textuelle).
- Contraintes de Désambiguïsation : Introduire des prédicats "un-vers-quelques" et des arêtes de contrainte pour empêcher les solutions triviales à chemin unique, augmentant ainsi la largeur de treillis (treewidth) du graphe de raisonnement.
- Diversité de Domaine : Garantir que les chemins traversent plusieurs domaines sémantiques (Personne, Œuvre, Organisation, Géographie).
- Filtrage Anti-Raccourci : Exclure les entités pivots (hubs) et les prédicats de méta-niveau pour éviter les chemins devinables.
Dissimulation d'Information : Les questions sont générées de telle sorte que les noms d'entités et les séquences complètes de relations soient cachés. L'entité ancrée est présentée uniquement via une image, et les relations intermédiaires sont obscurcies par des indices de niveau de domaine, forçant l'agent à effectuer un véritable raisonnement multi-étapes.
Distillation de Données SFT : Les trajectoires expertes sont synthétisées à l'aide d'un environnement "privilégié" avec des boosts de récupération et un débruitage des observations. Ces trajectoires sont ensuite exportées avec des observations brutes et bruitées pour le Fine-Tuning Supervisé (SFT), apprenant au modèle à raisonner sur des résultats de récupération réalistes.

3. Optimisation de Politique Ancrée sur les Étapes (HaPO)

Pour résoudre le problème de la rareté de la récompense, SearchEyes propose HaPO, un algorithme de post-entraînement qui réutilise la séquence d'entités d'or issue de la synthèse PKC pour l'attribution de crédit au niveau de l'étape, sans nécessole de processus de modèle de récompense distinct.

Groupes Ancrés sur les Étapes : Les trajectoires sont groupées par les entités d'or intermédiaires qu'elles ont réussi à récupérer. Au sein de ces groupes, les avantages sont calculés par rapport au résultat du groupe, isolant l'effet des actions entreprises après avoir atteint un état intermédiaire spécifique.
Avantage Combiné : Le signal d'avantage final interpole entre les avantages au niveau de la trajectoire et les avantages au niveau de l'étape ancrée.
Masquage Sensible aux Erreurs Fatales : L'algorithme détecte et masque les suffixes de trajectoire dégénérés causés par des erreurs d'outils consécutives, empêchant le bruit de gradient de corrompre les mises à jour de la politique.
Porte Asymétrique Lisse : Remplace le découpage dur (hard clipping) par une porte sigmoïde pour stabiliser l'optimisation à long horizon, appliquant un amortissement plus fort aux avantages négatifs.

Contributions Clés

Simulation d'un Monde de Recherche Unifié : Un nouveau framework utilisant un graphe de connaissances pour co-concevoir la synthèse de données, la simulation d'environnement et l'entraînement RL, éliminant le décalage données-environnement-récompense.
Synthèse de la Chaîne Perception-Connaissance (PKC) : Un pipeline piloté par le KG qui génère des questions visuelles-langagières multi-étapes contraintes avec des garanties structurelles strictes (alternance P-K, désambiguïsation) et une dissimulation d'information.
Pipeline de Post-Entraînement Agentique (HaPO) : Un algorithme d'entraînement qui exploite les métadonnées structurelles conservées (IDs d'entités d'or) pour permettre l'attribution de crédit au niveau de l'étape, mélangeant les signaux ancrés sur les étapes et de trajectoire sans nécessiter de modèle de récompense de processus entraîné.
VisSearch Bench : Un nouveau benchmark introduit pour évaluer la recherche visuelle multi-étapes avec des structures alternant P-K.

Résultats Expérimentaux

SearchEyes a été évalué sur six benchmarks multimodaux riches en connaissances (SimpleVQA, VDR, MMSearch, LiveVQA, BC-VL, FVQA) et sur le nouveau VisSearch Bench.

Performance : SearchEyes-27B a atteint des performances de pointe parmi les agents de recherche multimodaux open-source, améliorant la base de référence open-source la plus forte de 6,2 points en moyenne.
Efficacité des Paramètres : SearchEyes-9B égale les performances de modèles de l'échelle 30B (ex: OpenSearch-VL-30B) tout en utilisant 3,3x moins de paramètres, démontrant une efficacité de données supérieure.
Études d'Ablation :
- Le retrait des contraintes PKC (ex: alternance P-K, filtrage anti-raccourci) a provoqué des chutes de performance significatives (jusqu'à -7,7 points en moyenne), confirmant la nécessité des contraintes structurelles pour l'apprentissage d'un véritable raisonnement multi-étapes.
- Le remplacement de HaPO par un GRPO standard a entraîné une chute de -4,0 points en moyenne, validant que l'attribution de crédit au niveau de l'étape est le principal goulot d'étranglement du multi-hop.

Signification

L'article soutient que la limitation principale des agents de recherche multimodaux actuels n'est pas la capacité du modèle, mais le décalage structurel entre les données, l'environnement et la récompense. En traitant le graphe de connaissances comme un squelette unifié, SearchEyes démontre que la co-conception données-environnement-algorithme est essentielle pour entraîner des agents efficaces à long horizon. Les résultats suggèrent que la conservation des métadonnées structurelles tout au long du pipeline d'entraînement permet une attribution de crédit précise au niveau de l'étape, permettant à des modèles plus petits d'atteindre des performances compétitives avec des systèmes propriétaires beaucoup plus larges. Ce travail fournit une recette open-source reproductible pour construire des agents de recherche multimodaux puissants sans dépendre d'API externes et non déterministes.