Résumé Technique : Visual-Seeker

Énoncé du Problème

Bien que les modèles de langage de grande taille multimodaux (MLLM) aient fait preuve de compétences dans diverses tâches visuelles, ils éprouvent fréquemment des difficultés avec l'ancrage factuel dans des scénarios complexes du monde ouvert. Les agents de recherche profonde multimodaux actuels tentent d'atténuer cela en utilisant des outils externes, pourtant le paradigme de recherche visuelle native reste sous-exploré. Les méthodes existantes présentent deux limitations principales :

1. Perception Visuelle Passive : Elles reposent souvent sur des images simples à sémantique explicite ou traitent la vision comme un simple ajout d'entrée statique au texte de la requête. Cela entrave la capacité de l'agent à gérer des images réelles complexes contenant de multiples entités interconnectées et des détails fins.
2. Absence de Preuve Visuelle Active : Les trajectoires de recherche existantes sont principalement textuelles ou reposent sur une simple insertion d'images. Elles manquent de raisonnement visuel actif, où l'agent récolte et intègre dynamiquement des preuves visuelles à partir du web pour soutenir un raisonnement multimodal multi-étapes.

Méthodologie : Visual-Seeker

Pour combler ces lacunes, les auteurs proposent Visual-Seeker, un agent de recherche profonde multimodal à visée visuelle native conçu pour effectuer un raisonnement visuel actif. Le système fonctionne en traitant la vision non pas comme une entrée statique, mais comme un élément dynamique où l'agent prête attention activement aux détails fins et récolte des preuves visuelles tout au long du processus de recherche.

1. Pipeline de Données de Raisonnement Visuel Actif

Un composant central du travail est la synthèse de 5 000 trajectoires de recherche multimodales de haute qualité via un pipeline à trois étapes :

• Sélection d'Entités Grain Fin : En exploitant le jeu de données LiveVQA, le pipeline extrait des informations d'entités structurées (nom, description, type) à partir d'images réelles complexes et multi-entités. Il utilise une stratégie de filtrage en trois étapes (Filtrage des mentions génériques, Filtrage des entités complexes/images, et Désambiguïsation d'entités) pour garantir que les entités sources sont spécifiques, ancrées visuellement et adaptées à un raisonnement complexe.
• Synthèse de Trajectoire Multi-étapes : En utilisant un graphe de connaissances Wikipedia hors ligne, le système génère des trajectoires de recherche diverses et non linéaires. Il emploie une marche aléatoire à double stratégie :
  • Backtracking (Retour en arrière) : Simule la réévaluation d'hypothèses précédentes pour créer des branches de raisonnement en forme d'arbre.
  • Contrainte de Cycle : Génère des branches disjointes qui convergent, assurant des topologies de cycles stricts pour simuler des comportements de navigation complexes.
  • Ces trajectoires sont converties en questions textuelles conformes aux contraintes du sous-graphe.
• Injection de Preuves Visuelles (VEI) : Pour forcer le modèle à s'engager dans la recherche visuelle, le pipeline localise les entités et attributs de réponse, génère des mots-clés de recherche et récupère des images candidates. Un MLLM extrait des détails visuels fins (ex: motifs de couleurs, dispositions spatiales) de ces images. Ces détails sont fusionnés dans le VQA original sous la forme d'une paire de questions-réponses "à deux étapes", obligeant l'agent à effectuer une recherche texte-vers-image et un raisonnement au niveau du pixel.

2. Architecture de l'Agent et Entraînement

• Flux de Travail : Visual-Seeker opère dans une boucle de type ReAct, interagissant avec cinq outils externes : text_search (recherche textuelle), reverse_image_search (recherche d'image inversée), search_image (pour la preuve visuelle active), visit (pour la synthèse de page web) et image_crop (pour le raisonnement de précision).
• Stratégie d'Entraînement : Le modèle est entraîné par Ajustement Supervisé (SFT) sur les 5 000 trajectoires synthétisées, évitant ainsi l'apprentissage par renforcement coûteux. Un modèle enseignant (Claude-4.6-Opus) génère les trajectoires de recherche multimodales. Les données d'entraînement incluent :
  • 3 000 instances de VQA sans VEI.
  • 800 instances de VQA avec VEI.
  • 500 trajectoires de questions-réponses uniquement textuelles.
  • 700 trajectoires échantillonnées à partir de l'ensemble d'entraînement FVQA.
• Modèle de Base : Le système est construit sur Qwen3-VL-8B-Instruct.

Contributions Clés

1. Agent Visual-Seeker : Un nouvel agent de recherche profonde multimodal qui unifie les capacités visuelles natives avec la recherche. Il est capable d'une perception visuelle fine dans des scènes réelles complexes et collecte proactivement des preuves visuelles pour la recherche cross-modale.
2. Pipeline de Raisonnement Visuel Actif : Un cadre de synthèse de données qui permet aux modèles de développer une perception fine et une collecte de preuves active. Il génère 5 000 trajectoires de haute qualité spécifiquement conçues pour entraîner les agents au raisonnement visuel multi-étapes.
3. Performance de l'État de l'Art : L'agent atteint des performances supérieures sur cinq benchmarks de recherche multimodale exigeants, surpassant les agents de recherche profonde multimodaux open-source et propriétaires existants.

Résultats Expérimentaux

Le modèle a été évalué sur cinq benchmarks : MMSearch, MMSearch-Plus, BrowseComp-VL, MM-BrowseComp et VisBrowse-Bench.

• Performance Globale : Visual-Seeker a atteint une précision moyenne de 39,6 %, surpassant tous les agents de recherche profonde multimodaux actuels et rivalisant avec plusieurs modèles propriétaires (ex: GPT-5, Gemini-2.5-Pro).
• Comparaison aux Baselines : Comparé au modèle de base Qwen3-VL-8B-Instruct opérant dans un flux agentique, Visual-Seeker a démontré une performance presque doublée sur tous les benchmarks (une amélioration moyenne de +16,6 %).
• Benchmarks Spécifiques :
  • Sur MMSearch-Plus (requêtes multi-entités complexes), le modèle a montré une amélioration significative de la compréhension visuelle.
  • Sur MM-BrowseComp et VisBrowse-Bench (nécessitant l'intégration de preuves visuelles), Visual-Seeker a surpassé des modèles propriétaires comme GPT-5 et Gemini-2.5-Pro.
• Études d'Ablation :
  • Données : L'inclusion de trajectoires avec Injection de Preuves Visuelles (VEI) a été critique, générant des gains significatifs sur les benchmarks nécessitant des preuves visuelles (ex: +17,2 % sur MMSearch-Plus).
  • Outils : Le retrait des outils image_crop ou search_image a entraîné des chutes de performance substantielles, particulièrement sur le benchmark VisBrowse, confirmant la nécessité de l'ancrage visuel actif et de la collecte de preuves.

Signification et Revendications

L'article affirme que Visual-Seeker comble avec succès l'écart entre la perception visuelle passive et la recherche cross-modale active dans des environnements ouverts. En déplaçant le paradigme de la vision comme une entrée statique vers un processus actif piloté par le raisonnement, l'agent démontre des capacités robustes pour :

• Identifier les entités cibles au sein d'images réelles complexes riches en entités.
• Effectuer un raisonnement multi-étapes dynamique.
• Collecter et intégrer proactivement des preuves visuelles pour répondre à des requêtes que les agents textuels ou multimodaux passifs ne peuvent résoudre.

Ce travail valide que le raisonnement visuel actif est essentiel pour la prochaine génération d'agents de recherche multimodaux, leur permettant de naviguer dans les environnements web réels avec un niveau de précision et d'ancrage auparavant inatteignable.