DeepEyes: Incentivizing "Thinking with Images" via Reinforcement Learning

DeepEyes est un modèle vision-langage entraîné par apprentissage par renforcement qui apprend nativement à « réfléchir avec des images » en intégrant activement l'information visuelle dans son raisonnement, améliorant ainsi ses performances en perception, en raisonnement mathématique et en réduction des hallucinations sans nécessiter de données de raisonnement préalables.

L'essentiel

🧐 DeepEyes : Le détective qui ne se contente pas de regarder, mais qui examine

Imaginez que vous avez un ami très intelligent, mais qui a un défaut : il est un peu "paresseux" avec ses yeux. Quand on lui montre une photo complexe (comme une carte au trésor ou un diagramme scientifique), il essaie de deviner la réponse en se basant uniquement sur ce qu'il voit d'un coup d'œil global. Souvent, il se trompe parce qu'il ne regarde pas les petits détails, ou pire, il invente des choses qui ne sont pas là (ce qu'on appelle des "hallucinations").

C'est le problème des modèles d'intelligence artificielle actuels : ils sont forts en texte, mais ils ont du mal à penser avec les images.

DeepEyes est la solution proposée par les chercheurs. C'est un modèle qui a appris à agir comme un humain curieux. Au lieu de se fier à une première impression, il décide de se pencher, de zoomer, et d'inspecter la photo pièce par pièce pour trouver la vérité.

🎮 Comment ça marche ? (L'analogie du jeu vidéo)

Pour comprendre DeepEyes, imaginez un jeu vidéo où vous devez résoudre une énigme dans une grande maison.

1. L'approche classique (les anciens modèles) : Le joueur regarde la maison de loin depuis la fenêtre et dit : "Je pense qu'il y a un chat dans le salon." Il a raison ou tort, mais il n'a jamais vérifié.
2. L'approche DeepEyes : Le joueur dit : "Attends, je ne suis pas sûr. Je vais ouvrir la porte (zoomer), entrer dans le salon (cadrer une zone), et regarder sous le canapé (zoomer encore plus)."

Dans le monde de l'IA, cette action de "zoomer" et de "regarder de plus près" s'appelle la perception active. DeepEyes ne se contente pas de recevoir une image ; il interagit avec elle. Il peut dire : "Hé, cette partie de l'image est floue, je vais demander au système de me montrer un gros plan de cette zone précise."

🏆 La méthode magique : L'entraînement par récompense (sans manuel)

Comment a-t-on appris à DeepEyes à faire cela ? C'est là que la magie opère.

Habituellement, pour entraîner une IA à faire des choses complexes, les humains doivent lui donner des milliers d'exemples de "bonnes réponses" (comme un professeur qui corrige des devoirs). C'est long et coûteux.

Avec DeepEyes, les chercheurs ont utilisé une méthode plus intelligente, comme l'éducation d'un chien ou d'un enfant :

• Ils n'ont pas donné de manuel.
• Ils ont juste dit : "Si tu trouves la bonne réponse en ayant bien regardé les détails, tu gagnes un bonbon (une récompense). Si tu inventes une réponse sans regarder, pas de bonbon."
• Au début, DeepEyes était maladroit : il zoomait au hasard ou ne zoomait pas du tout.
• Mais grâce à des milliers d'essais et d'erreurs (ce qu'on appelle l'Apprentissage par Renforcement), il a compris la stratégie : "Ah, quand je zoome sur la zone précise, j'ai plus de chances d'avoir le bonbon !"

C'est comme si l'IA avait développé son propre "instinct" pour savoir quand et où regarder.

🚀 Ce que DeepEyes a accompli

Grâce à cette méthode, DeepEyes a montré des résultats impressionnants :

1. Il voit mieux les petits détails : Sur des images très haute définition (comme une photo de 8K où l'on doit trouver un petit objet), il surpasse largement les autres modèles. C'est comme passer d'une vision de loin à une vision de microscope.
2. Il arrête d'inventer : Souvent, les IA disent des bêtises parce qu'elles se fient trop à ce qu'elles "pensent" savoir. DeepEyes, lui, vérifie les faits visuels. S'il voit un objet, il le regarde de près avant de le nommer.
3. Il résout des problèmes de maths et de logique : En comparant visuellement des graphiques ou des formes, il devient meilleur en raisonnement logique.

🔍 Les différentes façons de "penser" de DeepEyes

Le papier montre que DeepEyes développe des stratégies très humaines, comme :

• La recherche visuelle : "Je ne vois pas l'objet, je vais scanner la pièce comme un détective."
• La comparaison : "Est-ce que ce graphique ressemble à celui-ci ? Je vais les mettre côte à côte et zoomer dessus."
• La confirmation : "Je suis presque sûr, mais je vais vérifier un dernier détail pour être certain."

💡 En résumé

DeepEyes, c'est l'IA qui a appris à ne pas se fier à ses apparences. Au lieu de simplement "lire" une image, elle apprend à l'explorer.

C'est un peu comme la différence entre quelqu'un qui lit un résumé d'un livre et quelqu'un qui lit le livre entier, page par page, en s'arrêtant pour réfléchir aux passages importants. Grâce à cette capacité à "penser avec les images", DeepEyes devient un outil beaucoup plus fiable, plus intelligent et plus proche de la façon dont les humains raisonnent réellement face au monde visuel.

Résumé technique

1. Problématique

Les modèles de langage-vision (VLM) actuels excellent dans la compréhension multimodale mais peinent à intégrer profondément les informations visuelles dans leurs processus de raisonnement, qui restent majoritairement basés sur le texte. Contrairement à la cognition humaine qui combine vision et raisonnement par fixations visuelles séquentielles ("penser avec des images"), les modèles existants se limitent souvent à des chaînes de pensée (CoT) textuelles ou à des workflows prédéfinis et modulaires. Ces approches souffrent de performances sous-optimales, d'une coordination imparfaite entre le texte et l'image, et nécessitent souvent un fine-tuning supervisé (SFT) coûteux avec des données de raisonnement pré-collectées pour amorcer l'apprentissage.

2. Méthodologie : DeepEyes

L'article présente DeepEyes, un modèle capable de "penser avec des images" grâce à un apprentissage par renforcement (RL) de bout en bout, sans nécessiter de SFT initial (cold-start).

• Perception Active et iMCoT : Le modèle est doté d'une capacité de "perception active". Au lieu de se fier uniquement à l'image d'entrée, il apprend à générer dynamiquement des coordonnées de localisation (bounding boxes) pour rogner (zoomer) des régions pertinentes de l'image. Ces zones rognées sont ensuite intégrées dans la trajectoire de raisonnement, créant une Chaîne de Pensée Multimodale Entrelacée (iMCoT). Le modèle alterne ainsi entre le raisonnement textuel et l'observation visuelle ciblée.
• Apprentissage par Renforcement (RL) : L'entraînement repose sur l'algorithme GRPO (Group Relative Policy Optimization). Contrairement aux méthodes précédentes, DeepEyes n'a pas besoin de données de raisonnement intermédiaires annotées. Il apprend directement à partir des récompenses finales.
• Stratégie de Récompense : La fonction de récompense est conçue pour encourager l'utilisation stratégique de la perception active :
  • $R_{acc}$ : Récompense de précision (justesse de la réponse finale).
  • $R_{format}$ : Récompense pour la structure de la réponse.
  • $R_{tool}$ (Bonus conditionnel) : Un bonus est accordé uniquement si la réponse est correcte ET que le modèle a activé au moins une étape de perception active (zoom). Cela incite le modèle à utiliser ses outils visuels uniquement lorsqu'ils sont nécessaires à la résolution du problème, évitant les actions inutiles.
• Sélection de Données : Pour pallier l'absence de SFT, les auteurs ont mis en place un pipeline de curation de données. Ils filtrent les échantillons pour ne garder que ceux qui sont trop difficiles pour être résolus sans zoom (pour stimuler la perception active) mais pas impossibles, tout en éliminant les cas triviaux.

3. Contributions Clés

1. Émergence native de la pensée visuelle : DeepEyes développe la capacité de "penser avec des images" de manière native via le RL, sans dépendre de modèles spécialisés externes ou d'outils API, et sans SFT de démarrage.
2. Mécanisme d'incitation (Data Selection & Reward) : Introduction d'un mécanisme de sélection de données et d'une stratégie de récompense conditionnelle qui favorisent l'intercalage efficace du raisonnement visuel et textuel.
3. Dynamique d'apprentissage observée : Les auteurs révèlent une évolution en trois phases de la perception active durant l'entraînement RL :
   • Exploration initiale : Tentatives inefficaces et fréquentes.
   • Engagement fréquent : Utilisation intensive mais parfois inefficace.
   • Exploitation efficace : Sélection précise et stratégique des zones à zoomer, imitant les processus cognitifs humains (recherche visuelle, comparaison, confirmation).
4. Réduction des hallucinations : Le modèle apprend à vérifier ses hypothèses linguistiques contre la réalité visuelle en zoomant, réduisant ainsi les hallucinations d'objets.

4. Résultats Expérimentaux

DeepEyes a été évalué sur une large gamme de benchmarks, surpassant les modèles de base (Qwen2.5-VL) et les approches par workflows :

• Benchmarks Haute Résolution : Sur les tâches nécessitant une localisation fine (V*, HR-Bench 4K/8K), DeepEyes (7B) atteint 90,1 % de précision sur V* (une amélioration de +18,9 % par rapport au modèle de base 7B) et améliore significativement les performances sur les images 8K (+7,3 %).
• Perception Générale et Raisonnement : Sur le benchmark MME-RealWorld-Lite, le modèle surpasse même la version 32B du modèle de base, démontrant une meilleure perception du monde réel.
• Ancrage (Grounding) et Hallucinations : Le modèle montre une meilleure précision dans l'ancrage des objets (refCOCO) et une réduction substantielle des hallucinations grâce à la vérification visuelle.
• Raisonnement Mathématique : Des gains consistent sont observés sur des benchmarks complexes comme MathVista et WeMath, prouvant que la perception active aide à résoudre des problèmes nécessitant une analyse visuelle détaillée.
• Généralisation Zero-Shot : Le modèle peut intégrer de nouveaux outils (ex: rotation d'image) via le prompt système sans réentraînement, confirmant sa flexibilité.

5. Signification et Impact

DeepEyes représente une avancée majeure vers un véritable raisonnement multimodal. En démontrant qu'un modèle peut apprendre à "penser avec des images" de manière autonome via le RL, l'article remet en question la nécessité de workflows rigides ou de données de SFT massives pour le raisonnement visuel.

• Efficacité : L'approche élimine la complexité de la collecte de données de raisonnement intermédiaires.
• Interprétabilité : Les patterns de raisonnement émergents (recherche, comparaison, confirmation) sont transparents et imitent la cognition humaine, rendant le processus de décision du modèle plus explicable.
• Évolutivité : La méthode s'adapte bien à l'augmentation de la taille du modèle (de 7B à 32B), avec une amélioration de la précision de l'ancrage et de la longueur des chaînes de raisonnement.

En conclusion, DeepEyes établit un nouveau paradigme où la perception active n'est pas un module externe, mais une compétence intrinsèque apprise par le modèle pour optimiser son raisonnement, offrant une voie prometteuse pour le développement de systèmes d'IA plus robustes et humains.