VSearcher: Long-Horizon Multimodal Search Agent via Reinforcement Learning

Le papier présente VSearcher, un agent de recherche multimodal entraîné par renforcement qui transforme des modèles statiques en agents capables d'effectuer des recherches web complexes et multi-tours en temps réel, surpassant ainsi les modèles propriétaires sur des benchmarks dédiés.

L'essentiel

🕵️‍♂️ VSearcher : Le Détective Multimodal qui Apprend à Chercher

Imaginez que vous avez un super-héros dans votre poche, un génie capable de voir des images et de comprendre des textes instantanément. C'est ce qu'on appelle un modèle multimodal. Mais il y a un gros problème : ce génie est comme un bibliothécaire enfermé dans une tour d'ivoire. Il connaît tout ce qui a été écrit jusqu'à hier, mais il ne peut pas sortir, il ne peut pas aller sur Internet, et il ne sait pas comment utiliser un moteur de recherche. S'il doit vous dire quel temps il fait ou voir une photo d'un animal rare, il est bloqué.

VSearcher, c'est l'histoire de comment on a transformé ce bibliothécaire statique en un détective d'Internet capable de voyager, de chercher et de résoudre des énigmes complexes.

1. Le Problème : Un Génie sans Boussole

Les modèles actuels sont très forts, mais ils sont "aveugles" au monde réel.

• Les modèles texte (comme les chatbots classiques) sont comme des lecteurs de livres : ils ne voient pas les photos.
• Les modèles multimodaux (qui voient les images) sont comme des encyclopédies vivantes, mais elles ne peuvent pas aller à la bibliothèque pour trouver une information mise à jour.

VSearcher, c'est l'outil qui donne à ce modèle des pieds (pour naviguer sur le web) et des yeux (pour chercher des images), le tout en lui apprenant à faire des recherches longues et compliquées.

2. La Méthode : Comment on a appris au modèle à chercher ?

L'équipe a utilisé une recette en trois étapes, un peu comme l'éducation d'un enfant prodige.

Étape A : Créer un terrain de jeu impossible (Synthèse de Données)
Pour apprendre à un détective à résoudre des crimes complexes, on ne peut pas lui donner des énigmes trop faciles. L'équipe a donc créé un générateur automatique d'énigmes.

• L'analogie : Imaginez un professeur qui prend un fait simple (ex: "Qui a peint la Joconde ?"), puis il le complique en cachant des indices, en ajoutant des photos mystérieuses, et en demandant de faire des liens entre des choses très éloignées.
• Ils ont créé des milliers de questions où la réponse n'est pas dans le modèle, mais cachée quelque part sur le web, nécessitant de faire des recherches d'images, de lire des articles et de croiser des informations. C'est comme un jeu de piste géant.

Étape B : L'Apprentissage par l'Exemple (Le "Miroir")
Avant de laisser le modèle essayer tout seul, ils lui ont montré comment un maître détective (un modèle très puissant et payant, Gemini-3-Pro) résout ces énigmes.

• L'analogie : C'est comme regarder un film de Sherlock Holmes. Le modèle observe : "Ah, le maître a d'abord cherché l'image, puis il a lu l'article, puis il a vérifié un autre site."
• Ils ne gardent que les exemples où le maître a trouvé la bonne réponse. Le modèle apprend à imiter ces bons comportements. C'est ce qu'on appelle le Rejection Sampling Fine-tuning.

Étape C : L'Entraînement par l'Échec et le Succès (Renforcement)
C'est l'étape la plus importante. On lâche le modèle dans le "vrai" Internet.

• L'analogie : C'est comme apprendre à faire du vélo. Au début, il tombe (il fait de mauvaises recherches). Mais à chaque fois qu'il trouve la bonne réponse, il reçoit une récompense (un bonbon virtuel). S'il se trompe, il ne reçoit rien.
• Avec le temps, grâce à des milliers d'essais, le modèle comprend : "Tiens, si je cherche d'abord l'image, puis que je lis ce site précis, j'ai plus de chances d'avoir mon bonbon." Il devient autonome et très efficace.

3. Le Résultat : Un Super-Détective

Une fois entraîné, VSearcher est capable de :

1. Voir une image (par exemple, une photo d'un oiseau rare).
2. Chercher sur Google Images pour identifier l'oiseau.
3. Lire des articles sur cet oiseau pour trouver des détails spécifiques.
4. Croiser les informations pour répondre à une question très précise (ex: "Quel est le nom de l'oiseau sur cette photo et où a-t-il été observé pour la dernière fois ?").

Les tests montrent que VSearcher bat même des modèles très coûteux et propriétaires (comme GPT-5 ou Gemini Pro) sur des tâches de recherche complexes. Il est devenu si bon qu'il peut naviguer sur des sites web, lire des images et trouver des réponses que même les humains auraient du mal à trouver rapidement.

En Résumé

VSearcher, c'est l'histoire d'un modèle d'intelligence artificielle qui, au lieu de rester assis avec ses livres, a appris à courir sur Internet. Grâce à un entraînement rigoureux avec des énigmes inventées et des récompenses, il est devenu un expert capable de résoudre des problèmes visuels et textuels complexes en utilisant les outils du web, exactement comme un humain le ferait, mais beaucoup plus vite.

C'est un pas de géant vers des assistants personnels qui ne se contentent pas de "savoir", mais qui savent chercher.

Résumé technique

1. Problématique et Contexte

Les modèles de langage actuels évoluent vers des agents autonomes capables d'interagir avec des environnements réels et d'utiliser des outils externes. Cependant, deux limitations majeures persistent :

• Modèles unimodaux (Texte uniquement) : Bien qu'ils excellent dans le raisonnement et l'utilisation d'outils, leur manque de capacités perceptuelles (vision) limite leur applicabilité aux tâches purement textuelles.
• Modèles Multimodaux (VLM) : Bien qu'ils possèdent de fortes capacités de perception visuelle, ils restent généralement limités à des connaissances statiques (entraînées sur des données figées) et manquent de la capacité à accéder et à exploiter des informations web à jour via des outils de recherche.

Le défi : Créer un agent multimodal capable de réaliser des recherches complexes, sur le long terme (long-horizon), impliquant plusieurs tours de dialogue et l'utilisation combinée de la recherche textuelle, de la recherche d'images et de la navigation web, pour résoudre des problèmes du monde réel.

2. Méthodologie : Le Framework VSearcher

VSearcher transforme un modèle multimodal statique en un agent de recherche autonome via un pipeline de post-entraînement complet composé de trois étapes clés :

A. Synthèse de Données par Injection Itérative (Iterative Injection-based Data Synthesis)

Pour entraîner un agent capable de gérer des tâches complexes, il faut des données d'entraînement de haute qualité et de difficulté variable. Les auteurs proposent un pipeline entièrement automatisé :

1. Sélection de graines : Utilisation de Wikidata pour sélectionner des entités rares (peu de liens interlangues, mais beaucoup de faits documentés) afin d'assurer que le modèle ne peut pas répondre par ses connaissances statiques.
2. Génération QA initiale : Création d'une paire Question-Réponse simple à partir du contenu Wikipédia de l'entité.
3. Injection d'information textuelle : Sur plusieurs rounds (1 à 5 selon la difficulté), le système sélectionne une entité dans la question, récupère des informations spécifiques et peu connues sur cette entité, et remplace l'entité originale par ces informations. Cela complexifie la question et force l'agent à naviguer.
4. Injection d'image : Une entité critique pour la réponse est sélectionnée, une image associée est récupérée, et la question est reformulée pour cacher l'entité derrière la mention "comme montré dans l'image". Cela force l'agent à utiliser l'outil de recherche d'images.
5. Filtrage rigoureux : Des métriques filtrent les échantillons trop faciles (répondables sans outils), ceux où l'image est superflue, ou ceux où la réponse est accidentellement révélée dans la question.

B. Affinement par Échantillonnage de Rejet (Rejection Sampling Fine-tuning - RFT)

Cette étape vise à "initier" le modèle de base avec des capacités de navigation multi-tours.

• Enseignant : Utilisation d'un modèle propriétaire puissant (Gemini-3-Pro-Thinking) pour générer des trajectoires de résolution (ReAct) sur les tâches synthétisées.
• Rejet : Seules les trajectoires aboutissant à la réponse correcte sont conservées.
• Apprentissage Supervisé (SFT) : Le modèle de base est affiné sur ces trajectoires de haute qualité pour apprendre le format de réponse, l'appel d'outils et la logique de navigation initiale.

C. Apprentissage par Renforcement (Reinforcement Learning - RL)

Pour généraliser les capacités de recherche sur le long terme dans des environnements réels :

• Algorithme : Utilisation de GRPO (Group Reward Proximal Optimization).
• Environnement : L'entraînement se déroule dans un environnement web réel (API Google Search, Vision Web Detection, JINA pour la visite de pages).
• Récompense : Une récompense binaire (1 ou 0) basée uniquement sur la justesse de la réponse finale, vérifiée par un juge LLM.
• Objectif : L'agent apprend à optimiser ses stratégies de recherche (quand chercher, quoi chercher, comment combiner les résultats) pour maximiser la probabilité de succès.

3. Contributions Clés

1. Pipeline de Synthèse de Données Automatisé : Une méthode novatrice pour générer à grande échelle des tâches de navigation multimodales complexes et difficiles, sans intervention humaine manuelle.
2. Pipeline de Post-Entraînement Complet : Une architecture combinant SFT (via rejet) et RL pour transformer un modèle statique en agent de recherche capable de gérer des horizons longs et des boucles multi-tours.
3. Benchmark MM-SearchExam : Un nouveau benchmark rigoureux contenant 283 tâches synthétisées, spécifiquement conçu pour évaluer les capacités de recherche multimodale. Il s'avère très difficile pour les modèles propriétaires actuels.
4. Performance Supérieure : Démonstration qu'un modèle open-source entraîné avec cette méthode peut surpasser des modèles propriétaires de pointe sur des tâches de recherche web multimodale.

4. Résultats Expérimentaux

Les évaluations ont été menées sur cinq benchmarks multimodaux (MMSearch, BrowseComp-VL, MM-BrowseComp, SimpleVQA, MM-SearchExam).

• Comparaison avec l'état de l'art : VSearcher (basé sur Qwen3-VL-8B-Thinking) surpasse significativement les agents multimodaux open-source récents (comme MMSearch-R1, DeepEyesV2).
• Dépassement des modèles propriétaires : Sur plusieurs benchmarks, VSearcher dépasse des modèles fermés puissants comme GPT-5, Gemini-3-Pro et GPT-4o.
  • Exemple : Sur MM-SearchExam, VSearcher atteint 19,3 % de précision, surpassant GPT-5 (20,8 %) et Gemini-3-Pro (23,8 %) sur certains sous-ensembles, et montrant une robustesse globale supérieure sur l'ensemble des benchmarks combinés.
• Analyse des performances :
  • Le passage du modèle de base au modèle RFT apporte des gains immédiats.
  • L'étape RL apporte une amélioration supplémentaire, prouvant que l'interaction avec le web réel affine les compétences de navigation.
  • L'agent apprend à utiliser préférentiellement la recherche textuelle pour affiner les résultats après une recherche d'image, et à utiliser l'outil "visite" (visit) pour extraire des détails précis.

5. Signification et Impact

VSearcher démontre que les modèles multimodaux statiques peuvent être transformés en agents de recherche autonomes et performants grâce à une combinaison stratégique de synthèse de données complexes, d'apprentissage supervisé par imitation de modèles experts, et de renforcement dans des environnements réels.

• Avancée technique : Cela valide l'efficacité du RL pour généraliser les compétences d'agent au-delà des capacités d'imitation pure, en particulier pour des tâches nécessitant une planification à long terme.
• Accessibilité : La méthode propose une voie pour que les modèles open-source rattrapent, voire dépassent, les performances des modèles propriétaires fermés dans le domaine de la recherche d'information multimodale.
• Futur : Ce travail ouvre la voie à des agents capables de résoudre des problèmes complexes du monde réel (recherche scientifique, analyse de marché, diagnostic technique) en combinant vision, raisonnement et accès à l'information en temps réel.