MM-DeepResearch: A Simple and Effective Multimodal Agentic Search Baseline

Ce papier présente MM-DeepResearch, un agent de recherche multimodal performant qui surmonte les défis de données, de trajectoires et de coûts via trois innovations clés : la génération de questions Hyper-Search, l'optimisation d'experts d'outils avec DR-TTS et l'utilisation d'un moteur de recherche hors ligne pour l'apprentissage par renforcement.

L'essentiel

🕵️‍♂️ Le Super-Détective Multimodal : MM-DeepResearch

Imaginez que vous avez un détective privé très intelligent, capable de voir des images et de lire des textes. C'est ce qu'on appelle un modèle de langage multimodal. Mais ce détective a un gros problème : il est comme un élève qui a lu tous les livres du monde jusqu'à hier, mais qui ne sait pas chercher les nouvelles informations d'aujourd'hui. Si vous lui demandez "Qui a gagné le match de foot d'hier ?", il est perdu.

Les chercheurs veulent créer un détective encore plus fort : MM-DeepResearch. Ce n'est pas juste un lecteur, c'est un enquêteur actif qui sait :

1. Penser (raisonner).
2. Planifier (savoir quelles questions poser).
3. Utiliser des outils (faire des recherches sur Google, chercher des images, etc.).
4. Croiser les indices (mélanger ce qu'il voit et ce qu'il lit).

Mais pour entraîner ce détective, les chercheurs se sont heurtés à trois gros murs. Voici comment ils les ont franchis avec trois astuces géniales.

---

🧱 Le Mur n°1 : Le manque de "cas d'école" difficiles

Le problème : Pour apprendre à un détective à enquêter, il faut lui donner des cas complexes. Or, il n'existe pas assez de questions qui obligent à faire plusieurs recherches (images + textes) pour trouver la réponse. C'est comme vouloir apprendre à un pilote à atterrir dans la tempête, mais n'avoir que des manuels pour un temps ensoleillé.

La solution : Hyper-Search (Le Constructeur de Cas)
Les chercheurs ont créé un système appelé Hyper-Search.

• L'analogie : Imaginez un immense filet de pêche magique (un hypergraphe). Au lieu de simplement lier une image à un texte, ce filet crée des liens complexes entre des images, des articles de journaux, des vidéos et des sites web, comme un réseau de relations invisibles.
• Comment ça marche ? Le système prend une image, puis "tisse" des liens vers d'autres images et textes qui y sont connectés. Ensuite, il génère automatiquement des questions qui obligent le détective à sauter de l'un à l'autre pour trouver la réponse.
• Résultat : Ils ont créé 3 000 nouveaux "cas d'école" ultra-difficiles et variés pour entraîner le modèle.

---

🧩 Le Mur n°2 : Pas de "scénarios" de recherche efficaces

Le problème : Même avec de bonnes questions, le détective ne sait pas toujours comment chercher. Il doit savoir quand utiliser un outil pour chercher une image, et quand utiliser un outil pour chercher un texte. Les méthodes actuelles sont souvent rigides et ne savent pas explorer plusieurs chemins en même temps.

La solution : DR-TTS (Le Chef d'Orchestre)
Les chercheurs ont inventé une méthode appelée DR-TTS (Décomposer-Récomposer l'Arbre d'Outils).

• L'analogie : Imaginez que vous devez résoudre un casse-tête géant. Au lieu de donner le casse-tête à une seule personne qui essaie tout au hasard, vous engagez plusieurs experts.
  • L'Expert A ne sait faire que des recherches d'images.
  • L'Expert B ne sait faire que des recherches de texte.
  • L'Expert C ne sait faire que des recherches de connaissances.
• Comment ça marche ? D'abord, on entraîne chaque expert séparément pour qu'il soit le meilleur du monde dans son domaine. Ensuite, on les réunit autour d'une table (l'arbre de recherche) pour qu'ils collaborent et explorent ensemble le meilleur chemin vers la réponse.
• Résultat : Cela permet de créer des "scénarios de recherche" parfaits, où le détective sait exactement quel outil utiliser à quel moment.

---

💸 Le Mur n°3 : Le coût exorbitant de l'entraînement

Le problème : Pour entraîner ce détective, il faut qu'il fasse des milliers de recherches sur Internet en temps réel. Mais chaque recherche coûte de l'argent (via des API payantes). Entraîner un tel modèle coûterait des milliers, voire des millions de dollars. C'est comme vouloir apprendre à un enfant à cuisiner en lui faisant acheter des ingrédients frais à chaque fois qu'il rate une recette.

La solution : Le Moteur de Recherche Hors-Ligne (Le Super-Simulateur)

• L'analogie : Au lieu d'aller acheter des ingrédients frais à chaque fois, les chercheurs ont créé une gigantesque bibliothèque de cuisine pré-remplie. Ils ont pré-téléchargé des millions d'images et de textes sur un disque dur.
• Comment ça marche ? Pendant l'entraînement, le détective n'interroge pas Internet. Il interroge cette bibliothèque locale. C'est instantané, gratuit, et cela évite de payer des factures astronomiques.
• Résultat : Ils peuvent entraîner le modèle des milliers de fois sans dépenser un centime en frais de recherche, tout en apprenant à gérer des situations réalistes.

---

🏆 Le Résultat Final : Un Super-Détective

En combinant ces trois innovations (le générateur de cas, le chef d'orchestre d'experts, et le simulateur gratuit), les chercheurs ont créé MM-DeepResearch.

• Ce qu'il fait : Il peut regarder une photo d'un bâtiment, se demander "Qui l'a construit ?", chercher des images similaires pour l'identifier, puis chercher des textes historiques pour trouver le nom de l'architecte, et enfin synthétiser tout cela pour vous donner la réponse.
• La performance : Selon les tests, ce modèle bat les meilleurs détectives actuels (comme GPT-4o ou d'autres modèles spécialisés) sur des tâches complexes de recherche, et ce, même s'il est plus petit et moins cher à entraîner.

En résumé :
Les chercheurs ont réussi à créer un détective capable de faire des recherches profondes en multimodal (image + texte) en résolvant le problème du manque de données, en apprenant à collaborer avec des experts virtuels, et en remplaçant les recherches payantes par une simulation intelligente. C'est une étape majeure vers des IA capables de faire de vraies enquêtes complexes pour nous aider au quotidien.

Résumé technique

Titre : MM-DeepResearch : Une base simple et efficace pour la recherche agentic multimodale

1. Problématique

Les modèles de langage multimodaux (MLLM) actuels, même ceux dotés de capacités de raisonnement avancées, sont limités par des connaissances figées et une incapacité à gérer des tâches nécessitant une recherche d'information intensive et dynamique. Bien que des approches comme la Génération Augmentée par Récupération (RAG) existent, elles découplent souvent la recherche du raisonnement, utilisant des pipelines statiques qui ne s'adaptent pas itérativement aux besoins de l'agent.

Le développement d'agents de recherche multimodaux profonds (capables de raisonner explicitement, de planifier, d'utiliser plusieurs outils et de synthétiser des informations croisées) se heurte à trois défis majeurs :

1. Pénurie de données : Absence de données de questions-réponses (QA) multimodales intensives en recherche, impliquant des tours multiples et l'utilisation de divers outils.
2. Manque de trajectoires efficaces : Les méthodes existantes pour générer des trajectoires de recherche sont souvent conçues pour des recherches en un seul tour et échouent dans des scénarios itératifs complexes.
3. Coût prohibitif : L'entraînement avec des API de recherche en ligne (comme SerpAPI) est extrêmement coûteux (milliers de dollars par entraînement), limitant la recherche systématique et les expériences à grande échelle.

2. Méthodologie

Pour surmonter ces obstacles, les auteurs proposent MM-DeepResearch, un agent entraîné grâce à trois composantes techniques clés :

A. Hyper-Search : Génération de données QA intensives en recherche
Cette méthode utilise une structure de graphe d'hyperarêtes (hypergraph) pour modéliser les dépendances entre les informations visuelles et textuelles.

• Construction : Le système commence par une image (nœud) et l'étend dynamiquement via des opérations de recherche (recherche inversée d'image, recherche visuelle, extraction de liens textuels) pour créer des nœuds de texte et d'image connectés par des hyperarêtes.
• Génération : Des paires Question-Réponse sont générées en exploitant les informations à l'intérieur d'une même hyperarête (niveau 1) ou en croisant plusieurs hyperarêtes (niveau 2), forçant ainsi le modèle à effectuer des recherches multiples et croisées pour trouver la réponse.
• Filtrage : Un filtrage rigoureux élimine les questions sans besoin de recherche ou les réponses non vérifiables, produisant un jeu de données de 3 000 paires de haute qualité (Hyper-Search-3K).

B. DR-TTS (Decompose–Recompose Tool Tree Search) : Synthèse de trajectoires
Cette technique vise à générer des trajectoires de recherche optimales pour l'apprentissage supervisé (SFT).

• Décomposition : Les tâches de recherche sont décomposées par type d'outil. Des "experts" spécialisés sont entraînés séparément pour maîtriser un seul outil (ex: recherche texte-à-texte, image-à-image).
• Recomposition : Ces experts sont ensuite recomposés pour explorer conjointement l'espace des solutions via une recherche arborescente (Tree Search). L'algorithme explore différentes séquences d'appels d'outils, élimine les branches menant à des réponses incorrectes et conserve les trajectoires réussies.
• Résultat : Cela permet de générer 10 000 trajectoires de haute qualité (DR-TTS-10K) pour l'entraînement initial, évitant les biais d'utilisation d'outils et améliorant la diversité des explorations.

C. Moteur de recherche hors ligne (Offline Search Engine)
Pour contourner le coût des API en ligne, les auteurs construisent un moteur de recherche simulé.

• Corpus : Un corpus multimodal pré-collecté (images et textes web, Wikipédia) est indexé.
• Fonctionnement : Il supporte à la fois la recherche basée sur l'information (récupération de contexte web) et la recherche basée sur la connaissance (requêtes complexes traitées par des modèles experts).
• Avantage : Il permet l'apprentissage par renforcement (RL) sans coût financier direct et avec une latence très faible, tout en simulant un environnement de recherche réaliste.

Entraînement de l'Agent :
L'agent MM-DeepResearch est entraîné en deux étapes :

1. SFT (Supervised Fine-Tuning) : Sur les trajectoires générées par DR-TTS pour apprendre les patterns d'appel d'outils.
2. RL (Reinforcement Learning) : Utilisation de l'algorithme GRPO (Group Relative Policy Optimization) avec le moteur de recherche hors ligne, optimisant la précision de la réponse et le respect du format d'interaction.

3. Résultats Principaux

Les expériences ont été menées sur six benchmarks intensifs en recherche (SimpleVQA, MMSearch, LiveVQA, FVQA, InfoSeek, Browsecomp-VL).

• Performance globale : MM-DeepResearch surpasse systématiquement les modèles de base (Qwen3-VL) et les agents agentic existants (MMSearch-R1, WebWatcher, SenseNova-MARS).
  • La version 8B atteint une moyenne de 63.0, surpassant le modèle de base Qwen3-VL-8B (46.2) de +16.8 points et le SOTA précédent SenseNova-MARS-8B (59.6).
  • La version 32B atteint 65.3, surpassant Qwen3-VL-32B de +14.9 points.
• Ablation :
  • L'utilisation de Hyper-Search pour le RL augmente significativement la profondeur de recherche (nombre moyen d'appels d'outils) et la précision.
  • La combinaison de DR-TTS (pour le SFT) et de Hyper-Search (pour le RL) donne les meilleurs résultats, prouvant la complémentarité des deux approches.
  • L'utilisation d'un moteur de recherche hors ligne permet d'atteindre des performances compétitives par rapport à l'usage d'API en ligne, avec un coût nul.

4. Contributions Clés

1. Hyper-Search : Première introduction du concept d'hypergraphe pour la synthèse de données QA multimodales intensives en recherche, permettant de modéliser des dépendances complexes multi-sources.
2. DR-TTS : Une méthode innovante de décomposition et de recomposition d'experts d'outils via une recherche arborescente pour générer des trajectoires de raisonnement robustes et diversifiées.
3. Infrastructure d'entraînement économique : Un moteur de recherche hors ligne complet permettant un entraînement RL massif sans dépendre d'API payantes, rendant la recherche sur les agents de recherche accessible.
4. Base de référence (Baseline) : MM-DeepResearch établit un nouveau standard simple et efficace pour les agents de recherche multimodaux, démontrant que des gains significatifs peuvent être obtenus sans modèles massifs propriétaires ou coûts d'API exorbitants.

5. Signification et Impact

Ce travail démontre que la capacité de recherche profonde (Deep Research) dans les modèles multimodaux ne dépend pas uniquement de la taille du modèle, mais de la qualité des données d'entraînement et de la stratégie d'exploration des outils. En résolvant les problèmes de coût et de disponibilité des données, MM-DeepResearch ouvre la voie à une recherche plus démocratique et systématique sur les agents autonomes capables de naviguer, de raisonner et de synthétiser des informations dans un monde multimodal complexe. Le code et les données sont rendus publics, favorisant la reproductibilité et l'innovation future dans ce domaine.