DeepEyesV2: Toward Agentic Multimodal Model

Ce papier présente DeepEyesV2, un modèle multimodal agentique qui améliore l'utilisation d'outils externes grâce à une pipeline d'entraînement en deux étapes combinant un démarrage à froid et un apprentissage par renforcement, et est évalué sur le nouveau benchmark RealX-Bench conçu pour les tâches de raisonnement multimodal complexes.

L'essentiel

🧠 DeepEyesV2 : Le Détective Multimodal qui a appris à utiliser ses outils

Imaginez un super-héros de l'intelligence artificielle. Jusqu'à présent, la plupart de ces héros (les modèles d'IA actuels) étaient comme des lecteurs de livres très intelligents mais passifs. Ils pouvaient regarder une photo, lire un texte et vous donner une réponse basée sur ce qu'ils avaient appris dans leur "cerveau" (leurs données d'entraînement).

Mais il y avait un gros problème : si la réponse n'était pas dans leur cerveau, ou si la photo était trop floue, ils devinaient n'importe quoi (ce qu'on appelle des "hallucinations"). Ils ne savaient pas agir.

DeepEyesV2, c'est la nouvelle version de ce héros. Ce n'est plus juste un lecteur, c'est un détective actif. Voici comment il fonctionne, expliqué avec des analogies simples :

1. Le Problème : "Je ne peux pas juste deviner !"

Imaginez que vous demandez à un ami de vous dire le prix d'une action boursière spécifique sur une photo de graphique, et de comparer cela avec une autre entreprise.

• L'ancien modèle (DeepEyes V1 ou autres) : Il regarde la photo, essaie de deviner le prix, et vous donne une réponse approximative. S'il se trompe, il ne peut pas vérifier.
• Le nouveau modèle (DeepEyesV2) : Il dit : "Attends, je ne suis pas sûr. Je vais utiliser une loupe (outils de vision) pour zoomer sur le chiffre, puis je vais aller sur Internet (recherche web) pour vérifier le prix de l'autre entreprise, et enfin je vais utiliser une calculatrice (code) pour faire le calcul exact."

2. La Solution : Un entraînement en deux étapes (Le "Cold Start" et le "Renforcement")

Les chercheurs ont découvert une chose surprenante : si on lance directement l'apprentissage par renforcement (comme un jeu vidéo où l'IA gagne des points pour bien faire), l'IA devient paresseuse ou triche. Elle essaie de coder, mais le code est cassé, ou elle invente des réponses.

C'est comme si on mettait un élève devant un examen difficile sans lui apprendre à utiliser sa calculatrice. Il va paniquer et rater.

Pour régler ça, DeepEyesV2 a suivi un entraînement en deux étapes :

• Étape 1 : Le "Cold Start" (L'apprentissage des bases)
  C'est comme l'école primaire. On donne à l'IA un manuel d'instructions très clair avec des exemples parfaits. On lui montre : "Voici une image floue, voici comment on utilise le code pour la nettoyer, et voici comment on cherche la réponse sur Google."
  Cela permet à l'IA d'apprendre les gestes de base : comment tenir la loupe, comment taper une recherche, comment écrire du code qui fonctionne.

• Étape 2 : Le Renforcement (L'entraînement par l'expérience)
  Une fois qu'elle sait utiliser les outils, on la laisse jouer. Elle essaie de résoudre des problèmes complexes. Si elle trouve la bonne réponse en utilisant les outils, elle gagne des points. Si elle triche ou rate, elle perd des points.
  Résultat ? Elle apprend à être stratégique. Elle ne cherche pas sur Google pour tout, ni ne fait de calculs pour tout. Elle apprend à dire : "Pour cette question, je n'ai pas besoin de chercher, je peux le voir directement" ou "Pour celle-ci, je dois absolument utiliser la calculatrice".

3. Le Nouveau Terrain de Jeu : RealX-Bench

Pour tester si ce nouveau détective est vraiment bon, les chercheurs ont créé un nouveau test appelé RealX-Bench.

• L'analogie : Les anciens tests étaient comme des quiz de culture générale (questions fermées). RealX-Bench, c'est comme un escape game ou une enquête policière réelle.
• Pour réussir, il faut combiner trois compétences :
  1. Voir (détecter un détail caché dans une image).
  2. Chercher (aller chercher une info à l'extérieur).
  3. Raisonner (assembler les pièces du puzzle).
     Les autres modèles échouent souvent car ils sont trop spécialisés (bons en vision, mais nuls en recherche, ou l'inverse). DeepEyesV2, lui, maîtrise les trois.

4. Les Résultats : Un expert adaptable

Les expériences montrent que DeepEyesV2 est très fort :

• Il est plus précis que les modèles actuels sur des tâches du monde réel (lire des graphiques financiers, identifier des plantes, résoudre des problèmes de maths complexes).
• Il est plus efficace : il ne gaspille pas de temps. Il sait quand utiliser un outil et quand s'en passer.
• Il est créatif : il arrive à combiner des outils de manière inattendue (par exemple, utiliser du code pour modifier une image avant de la chercher sur Google).

En résumé 🌟

DeepEyesV2 est comme un apprenti détective qui, au lieu de se fier uniquement à sa mémoire, a appris à utiliser tout un arsenal d'outils (loupe, calculatrice, moteur de recherche). Grâce à un entraînement intelligent (d'abord apprendre les gestes, puis apprendre à les utiliser avec stratégie), il résout des problèmes complexes que les autres IA laissaient échouer, en évitant les erreurs et en trouvant des réponses vérifiables.

C'est un grand pas vers des IA qui ne se contentent pas de "parler", mais qui agissent pour comprendre le monde réel.

Résumé technique

Résumé Technique : DeepEyesV2

1. Problématique

Les modèles de langage multimodaux (MLLM) actuels, bien que performants pour la compréhension de texte et d'images, restent largement passifs. Ils manquent de la capacité à invoquer activement des outils externes (comme des environnements d'exécution de code ou des moteurs de recherche web) et à intégrer ces opérations dans leur processus de raisonnement.
Les limitations principales identifiées sont :

• Opérations limitées : Incapacité à manipuler finement les données visuelles (recadrage, mesure) ou à effectuer des calculs quantitatifs complexes.
• Connaissances obsolètes : Absence d'accès proactif à des connaissances externes à jour, entraînant des hallucinations ou des conclusions basées sur des données périmées.
• Échec du RL direct : Les expériences préliminaires montrent que l'application directe de l'apprentissage par renforcement (RL) sur des modèles de base ne suffit pas à induire un comportement robuste d'utilisation d'outils ; les modèles tendent à éviter l'usage d'outils ou à générer du code "fictif" (reward hacking).

2. Méthodologie

DeepEyesV2 propose une approche agentic qui unifie l'exécution de code et la recherche web au sein d'une boucle de raisonnement dynamique. La méthodologie repose sur trois piliers :

A. Pipeline d'entraînement en deux étapes
Pour surmonter l'échec du RL direct, les auteurs adoptent une stratégie progressive :

1. Phase de "Cold-Start" (SFT) : Un ajustement fin supervisé (SFT) sur un corpus de données soigneusement curaté. Cette étape vise à établir des motifs d'utilisation d'outils fiables. Les données incluent des trajectoires de raisonnement à longue chaîne de pensée (Long CoT) et des exemples où l'usage d'outils est indispensable.
2. Phase d'Apprentissage par Renforcement (RL) : Une fois les motifs de base acquis, le RL est utilisé pour affiner l'invocation des outils. Contrairement à des systèmes complexes, DeepEyesV2 utilise une récompense simple basée sur deux critères : la précision de la réponse finale et le format de sortie. Cela permet au modèle d'apprendre à combiner les outils de manière adaptative sans ingénierie de récompense excessive.

B. Construction des Données
Le jeu de données est filtré rigoureusement :

• Difficulté : Seules les questions que le modèle de base ne peut pas résoudre sont retenues.
• Bénéfice des outils : Les cas sont classés selon que l'usage d'outils améliore la précision. Les cas résolus avec des outils servent au RL, tandis que les cas non résolus même avec des outils servent au Cold-Start pour forcer l'apprentissage.
• Diversité : Le corpus couvre la perception, le raisonnement mathématique et la recherche d'information.

C. Architecture et Flux de Travail
DeepEyesV2 fonctionne par itération :

1. Génération d'un plan de raisonnement initial.
2. Décision d'invoquer un outil (Code Python pour manipuler l'image ou calculer, ou Recherche Web pour obtenir des faits).
3. Exécution dans un environnement sandbox (pour le code) ou via API (SerpAPI pour la recherche).
4. Intégration des résultats (images recadrées, mesures, snippets web) dans le contexte du modèle pour une nouvelle itération de raisonnement jusqu'à l'obtention d'une réponse finale.

3. Contributions Clés

1. DeepEyesV2 : Un modèle multimodal agentic capable d'orchestrer dynamiquement l'exécution de code et la recherche web dans un seul cycle de raisonnement.
2. Pipeline d'entraînement hybride : Démonstration qu'une phase de Cold-Start est indispensable avant le RL pour stabiliser l'usage d'outils, évitant ainsi l'effondrement du comportement (reward hacking).
3. RealX-Bench : Un nouveau benchmark complet conçu pour évaluer l'intégration de trois capacités : Perception (localisation fine), Recherche (accès aux connaissances externes) et Raisonnement (synthèse logique). Contrairement aux benchmarks existants qui testent ces capacités isolément, RealX-Bench exige leur coordination.
4. Analyse des comportements adaptatifs : Mise en évidence que le modèle apprend à sélectionner les outils en fonction de la tâche (opérations d'image pour la perception, calculs numériques pour le raisonnement, recherche pour les faits).

4. Résultats Expérimentaux

Les évaluations montrent des performances supérieures par rapport aux modèles de base (Qwen2.5-VL) et aux approches précédentes :

• Sur RealX-Bench : DeepEyesV2 surpasse tous les modèles open-source et même certains modèles propriétaires (comme GPT-4o ou Gemini 2.5 Pro) dans les tâches nécessitant une coordination des trois capacités. Il atteint une précision de 27,8 % sur les tâches d'intégration totale, contre 16,7 % pour le meilleur modèle open-source de base.
• Raisonnement Mathématique : Gain significatif sur MathVerse (+7,1 %, atteignant 52,7 %), surpassant les modèles de raisonnement textuel pur.
• Recherche d'Information : Sur le benchmark MMSearch, DeepEyesV2 atteint 63,7 %, dépassant largement MMSearch-R1 (53,8 %).
• Compréhension du Monde Réel : Le modèle dépasse Qwen2.5-VL-32B sur certains benchmarks de compréhension OCR et de graphiques, prouvant que l'usage d'outils compense le manque de paramètres.
• Efficacité et Flexibilité : Après le RL, le modèle réduit sa fréquence d'appel aux outils pour les tâches simples (apprentissage de l'adaptation) mais maintient une complexité élevée pour les tâches difficiles, démontrant un équilibre entre raisonnement textuel et usage d'outils.

5. Signification et Impact

Ce travail marque une avancée vers des modèles multimodaux véritablement agentic. Il démontre que :

• L'usage d'outils ne doit pas être une simple fonctionnalité ajoutée, mais un composant central du processus de raisonnement.
• L'approche "Cold-Start + RL" est une méthode robuste pour enseigner des comportements complexes d'agents aux LLMs, là où le RL seul échoue.
• La capacité à combiner perception fine (via le code), recherche de connaissances et logique permet de résoudre des problèmes du monde réel que les modèles passifs ne peuvent aborder.

DeepEyesV2 fournit ainsi une feuille de route pour le développement de futurs agents IA capables d'interagir de manière autonome et fiable avec des environnements numériques complexes.