Vision-DeepResearch: Incentivizing DeepResearch Capability in Multimodal Large Language Models

Le papier présente Vision-DeepResearch, un nouveau paradigme de recherche profonde multimodale qui intègre des capacités de recherche itérative multi-tours, multi-entités et multi-échelles dans les grands modèles de langage multimodaux via un entraînement par supervision et renforcement, surpassant ainsi les modèles existants et les flux de travail basés sur des modèles propriétaires avancés dans des scénarios réels bruyants.

L'essentiel

Imaginez que vous demandez à un ami très intelligent, mais qui n'a jamais quitté sa chambre, de vous raconter une histoire sur un match de basket récent. Il connaît les règles du jeu par cœur (c'est son "savoir interne"), mais il ne sait pas qui a gagné hier soir, ni quel joueur a fait la dernière panier.

Si vous lui dites : "Regarde cette photo du match et dis-moi qui a marqué", il va essayer de deviner en se basant sur ce qu'il voit. Mais souvent, il se trompe car l'image est floue, ou il y a trop de gens sur la photo, ou il ne voit pas le panneau d'affichage. C'est le problème des modèles d'intelligence artificielle actuels : ils sont brillants, mais ils ne savent pas bien chercher l'information quand ils en ont besoin.

Voici comment le papier "Vision-DeepResearch" résout ce problème, expliqué simplement :

1. Le Problème : "Le coup de chance" (Hit-Rate Problem)

Les anciens systèmes fonctionnaient comme quelqu'un qui lance une photo entière dans un moteur de recherche et espère que ça marche du premier coup.

• L'analogie : C'est comme essayer de trouver une aiguille dans une botte de foin en jetant toute la botte dans un tas de paille. Si l'aiguille est cachée sous un brin de foin, vous ne la trouverez pas.
• La réalité : Sur une photo, il y a souvent du "bruit" (des gens, des objets, des ombres). Si on cherche juste "l'image entière", le moteur de recherche se perd. De plus, même si on cherche un objet précis (comme un joueur), le moteur peut ne pas le trouver si on ne précise pas où il est sur la photo.

2. La Solution : L'Enquêteur Privé (Vision-DeepResearch)

Les auteurs ont créé un nouveau modèle, Vision-DeepResearch, qui ne se contente pas de regarder la photo. Il agit comme un détective privé très méthodique.

Au lieu de lancer une seule recherche, il fait ceci :

1. Il découpe la photo : Il ne regarde pas la photo entière d'un coup. Il prend une loupe et découpe la photo en petits morceaux (les "crops"). Il cherche le joueur dans un coin, puis dans un autre, puis zoome sur son maillot.
2. Il fait des allers-retours : Si la première recherche ne donne rien, il ne lâche pas. Il change sa question, il cherche sur le web, il compare les résultats, il revient en arrière.
3. Il combine les indices : Il utilise à la fois ce qu'il voit (la photo) et ce qu'il lit sur internet (des articles, des stats) pour reconstituer l'histoire.

C'est comme si, au lieu de demander "Qui a gagné ?", votre ami détective disait : "Attends, je regarde le maillot du joueur... il porte le numéro 23. Je vais chercher sur Google 'Joueur numéro 23 des Lakers'. Ah, c'est LeBron. Maintenant, je vérifie s'il a joué hier. Oui, et il a marqué 30 points."

3. Comment l'ont-ils entraîné ? (L'École de Détectives)

Pour apprendre à ce modèle à être un si bon détective, les chercheurs n'ont pas juste donné des manuels. Ils ont créé une école d'entraînement spéciale :

• La fabrication de cas complexes : Ils ont créé des milliers de "fausses affaires" (des questions sur des images) où la réponse n'est pas évidente. Ils ont caché les réponses et les noms des personnages pour forcer le modèle à faire des recherches en plusieurs étapes (comme un jeu de piste).
• L'entraînement par essai-erreur (RL) : Le modèle a essayé de résoudre ces milliers d'affaires. S'il trouvait la bonne réponse, il avait un "bon point". S'il se trompait ou s'il s'arrêtait trop vite, il reprenait sa recherche. Au fil du temps, il a appris à ne jamais abandonner et à creuser profondément.

4. Le Résultat : Un Super-Héros de la Recherche

Le résultat est impressionnant.

• Avant : Les modèles s'arrêtaient après 2 ou 3 recherches et donnaient souvent une réponse approximative.
• Aujourd'hui (Vision-DeepResearch) : Le modèle peut faire des dizaines d'étapes de réflexion et des centaines de recherches sur internet pour une seule question.

Même avec un modèle de taille moyenne (pas le plus gros et le plus cher du marché), ils battent des géants comme GPT-5 ou Gemini dans ces tâches complexes.

En résumé

Imaginez la différence entre un touriste qui regarde une carte touristique et dit "Je pense que la tour Eiffel est là" (ancien modèle), et un guide local qui, s'il ne voit pas la tour, va demander à un passant, vérifier sur son téléphone, regarder une photo de l'angle opposé, et enfin vous dire exactement où elle est et pourquoi elle est rouge ce soir-là.

Vision-DeepResearch, c'est ce guide local. Il ne devine pas, il enquête. Et grâce à cette méthode, il devient le meilleur détective visuel du monde.

Résumé technique

Titre : Vision-DeepResearch : Incitation des capacités de recherche approfondie dans les modèles de langage multimodaux (MLLM)

1. Problématique

Les modèles de langage multimodaux (MLLM) actuels, bien que performants sur diverses tâches visuelles, échouent souvent face aux questions complexes nécessitant des connaissances factuelles extérieures (VQA factuel). Les approches existantes de "recherche approfondie" (Deep Research) souffrent de deux limitations majeures :

1. Le problème du taux de réussite (Hit-Rate Problem) : Les méthodes actuelles traitent la recherche d'images de manière naïve, en utilisant souvent une requête d'image complète (full-image) ou une entité unique. Dans des environnements réels bruyants, cela échoue fréquemment car le bruit visuel domine ou parce que les moteurs de recherche ne renvoient pas de résultats pertinents pour une requête trop large. De plus, la variabilité des résultats selon l'échelle de la requête (zoom, recadrage) est ignorée.
2. Limites de profondeur de raisonnement et de largeur de recherche : Les trajectoires de recherche existantes sont trop courtes (souvent moins de 5 tours). Elles ne parviennent pas à modéliser le processus itératif d'essai-erreur nécessaire pour explorer plusieurs échelles visuelles et effectuer des recherches textuelles multi-sauts (multi-hop) afin d'agréger des preuves dispersées.

2. Méthodologie

Les auteurs proposent Vision-DeepResearch, un nouveau paradigme qui intègre une recherche visuelle et textuelle multi-tours, multi-entités et multi-échelles au sein d'un MLLM. La méthodologie repose sur trois piliers :

A. Pipeline de Génération de Données Automatisé
Pour surmonter le manque de données d'entraînement de haute qualité pour ce type de tâche, les auteurs ont conçu un pipeline complexe :

• Synthèse de VQA Factuels : Sélection d'images complexes réelles, vérification qu'elles ne peuvent pas être résolues sans recherche externe, et génération de questions.
• Obfuscation Multi-sauts (Fuzzy Multi-hop) : Pour simuler des requêtes utilisateur réalistes, les auteurs appliquent une stratégie d'obfuscation alternée :
  • Obfuscation de la réponse : Chaînage de relations autour de la réponse (ex: "Qui est le professeur de la fille du propriétaire du chat ?").
  • Obfuscation de l'entité : Utilisation de "marches aléatoires" (random walks) sur le web pour remplacer l'entité cible par des entités liées via plusieurs liens.
• Génération de Trajectoires :
  • Recherche Visuelle : Le modèle génère des propositions de régions (bounding boxes) à différentes échelles et effectue des recherches itératives jusqu'à ce qu'un modèle jugeur confirme que les preuves visuelles sont suffisantes.
  • Pont Textuel (Text Bridging) : Les trajectoires visuelles sont converties en contexte textuel (description de l'image) pour être poursuivies par un modèle de langage fondé (LLM) spécialisé dans la recherche textuelle (DeepResearch), qui effectue des recherches web et des exécutions de code Python.
  • Fusion : Les trajectoires visuelles et textuelles sont fusionnées en une seule trajectoire multimodale complète.

B. Stratégies d'Entraînement

• Supervised Fine-Tuning (SFT) : Entraînement initial sur 30 000 trajectoires de haute qualité générées par le pipeline ci-dessus pour apprendre les comportements de base (multi-tours, multi-échelles).
• Apprentissage par Renforcement (RL) : Utilisation de l'algorithme GRPO (Group Relative Policy Optimization) avec une architecture de déploiement asynchrone à haut débit.
  • Le modèle interagit avec un environnement de recherche réel (moteurs de recherche visuels et textuels).
  • Récompense : Basée sur la justesse de la réponse finale (Accuracy).
  • Tricks d'ingénierie : Gestion des boucles de répétition, arrêt des trajectoires en cas d'erreurs de format répétées, et masquage des trajectoires anormales pour éviter les gradients négatifs excessifs.

3. Contributions Clés

1. Nouveau Paradigme de Recherche : Passage d'une recherche "one-shot" à une recherche profonde itérative, capable de gérer des centaines d'interactions avec le moteur de recherche et des dizaines de étapes de raisonnement.
2. Pipeline de Données Innovant : Une méthode robuste pour synthétiser des données VQA factuelles complexes avec obfuscation, combinant recherche visuelle multi-échelle et raisonnement textuel multi-sauts.
3. Architecture Asynchrone : Conception d'un système de déploiement RL asynchrone capable de gérer la latence élevée des appels d'outils multiples, permettant un entraînement RL efficace à grande échelle.
4. Performance avec Modèles Ouverts : Démonstration qu'un modèle ouvert (basé sur Qwen3-VL) peut surpasser des workflows d'agents construits sur des modèles propriétaires fermés (GPT-5, Gemini-2.5-Pro, Claude-4-Sonnet) grâce à un entraînement spécialisé.

4. Résultats

Les expériences ont été menées sur six benchmarks de référence (VDR, FVQA, MMSearch+, MMSearch, LiveVQA, BC-VL).

• Performance Globale : Vision-DeepResearch atteint des performances State-of-the-Art (SoTA) parmi les modèles ouverts.
  • Le modèle Vision-DeepResearch-8B atteint une moyenne de 50.5%, surpassant le modèle de base Qwen3-VL-8B (Agentic) de +10.4 points.
  • Le modèle Vision-DeepResearch-30B-A3B atteint 56.9% en moyenne, surpassant le modèle de base Qwen3-VL-30B de +16.0 points.
• Comparaison avec les Propriétaires : Les modèles Vision-DeepResearch surpassent ou sont compétitifs avec des workflows d'agents utilisant GPT-5, Gemini-2.5-Pro et Claude-4-Sonnet.
• Ablation Studies :
  • La recherche visuelle multi-échelle (CIS) combinée à la recherche textuelle (TS) est cruciale : l'ajout de la recherche textuelle améliore considérablement les résultats sur les benchmarks riches en connaissances (ex: +18.5% sur MMSearch+).
  • L'entraînement RL apporte une amélioration supplémentaire de ~3.1% par rapport au seul SFT, prouvant l'importance de l'interaction en ligne pour affiner la prise de décision à long terme.

5. Signification et Impact

Ce travail démontre que les limitations des MLLM actuels dans les tâches de recherche factuelle ne sont pas intrinsèques à l'architecture, mais découlent d'un manque de données d'entraînement adaptées et d'une stratégie de recherche inadéquate.

• Preuve de concept : Il est possible d'internaliser des capacités de "Deep Research" complexes dans des modèles multimodaux de taille modérée (8B à 30B) via un entraînement rigoureux.
• Direction Future : Le papier ouvre la voie à des agents multimodaux autonomes capables de naviguer dans des environnements web réels, bruyants et complexes, en adoptant un comportement humain d'exploration et d'itération plutôt que d'une simple requête unique.

Le code et les données seront publiés sur GitHub, favorisant la reproductibilité et l'avancement de la communauté de recherche en IA multimodale.