💬 NLP

From Seeing to Thinking: Decoupling Perception and Reasoning Improves Post-Training of Vision-Language Models

Ce papier démontre que le découplage du post-entraînement des modèles vision-langage en étapes distinctes pour la perception visuelle, le raisonnement visuel et le raisonnement textuel — en priorisant spécifiquement l'optimisation de la perception par apprentissage par renforcement — améliore significativement à la fois la précision de la perception et celle du raisonnement tout en réduisant le besoin de traces de raisonnement excessives.

Auteurs originaux : Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

Publié 2026-05-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juncheng Wu, Hardy Chen, Haoqin Tu, Xianfeng Tang, Freda Shi, Hui Liu, Hanqing Lu, Cihang Xie, Yuyin Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un problème mathématique complexe, mais que le problème est écrit sur un morceau de papier avec une tache sur un chiffre crucial.

Si vous essayez de « réfléchir » plus intensément aux mathématiques, vous obtiendrez simplement une réponse plus confiante, mais complètement erronée. Vous pourriez rédiger un long essai détaillé expliquant pourquoi la réponse est 50, alors que le chiffre taché signifiait en réalité que la réponse devrait être 5.

C'est exactement ce que l'article « From Seeing to Thinking » soutient se produire avec les modèles d'IA actuels qui observent des images et tentent de raisonner à leur sujet (modèles vision-langage).

Voici la décomposition de leur découverte et de leur solution, en utilisant des analogies simples :

Le Problème : L'IA « Confidente et Erronée »

L'article révèle que lorsque ces modèles d'IA échouent dans des tâches visuelles (comme la géométrie ou la lecture d'un graphique), ce n'est presque jamais parce qu'ils ne peuvent pas faire les mathématiques ou la logique. C'est parce qu'ils ne peuvent pas « voir » correctement dès le départ.

L'Analogie : Imaginez un détective essayant de résoudre un crime. Si le détective identifie mal la pointure du suspect (Erreur de Perception), aucune quantité de travail de détective brillant (Raisonnement) ne résoudra l'affaire. En fait, plus le détective « réfléchit » à la mauvaise pointure, plus il écrira un rapport long et confus menant à la mauvaise conclusion.
La Découverte : Les auteurs ont analysé de nombreuses tentatives d'échec de l'IA et ont constaté que 87 % des erreurs commençaient par une simple erreur visuelle (comme mal lire un chiffre ou confondre une forme). Une fois que l'IA avait commis cette erreur, « réfléchir plus longtemps » ne l'a pas corrigée ; cela a simplement poussé l'IA à s'entêter dans l'erreur.

La Solution : Un Camp d'Entraînement en Trois Étapes

Actuellement, la plupart des entraînements d'IA mélangent tout : ils enseignent au modèle à voir, à lire et à réfléchir simultanément. Les auteurs affirment que c'est comme essayer d'enseigner à quelqu'un de conduire une voiture, de réparer le moteur et de naviguer sur une carte, le tout dans la même leçon. C'est trop désordonné.

Au lieu de cela, ils proposent une approche d'« Entraînement par Étapes », décomposant le processus d'apprentissage en trois phases distinctes :

Étape 1 : Les Yeux (Perception Visuelle)
- Objectif : Enseigner à l'IA à décrire avec précision ce qui se trouve dans l'image sans essayer de résoudre un problème pour l'instant.
- La Méthode : Ils ont utilisé un type spécial d'entraînement appelé RL (Apprentissage par Renforcement). Imaginez cela comme un entraîneur strict qui donne un « pouce en l'air » à l'IA uniquement si elle identifie correctement un détail (comme « il y a 7 réverbères ») et un « pouce vers le bas » si elle devine ou hallucine. Ils ont constaté que cela était bien meilleur que l'ancienne méthode consistant simplement à montrer à l'IA des images avec des légendes (SFT), ce qui équivaut à lire un livre d'histoires sans être testé sur les détails.
Étape 2 : Le Cerveau (Raisonnement Textuel)
- Objectif : Enseigner à l'IA comment raisonner logiquement en utilisant des mots, mais sans aucune image.
- L'Analogie : C'est comme enseigner à un élève des problèmes de mathématiques sur un tableau blanc avant de lui donner un schéma.
Étape 3 : L'Intégration (Raisonnement Visuel)
- Objectif : Maintenant que l'IA a de « bons yeux » et un « cerveau entraîné », lui apprendre à les combiner pour résoudre des énigmes visuelles.

Pourquoi Cet Ordre est Crucial

L'article a découvert que l'ordre de l'entraînement est critique.

La Bonne Façon : Construire d'abord les yeux, puis le cerveau, puis les combiner.
La Mauvaise Façon : Si vous essayez d'enseigner à l'IA de résoudre des énigmes visuelles complexes avant qu'elle n'ait appris à voir clairement, elle se perd. C'est comme essayer d'enseigner à un enfant à jouer aux échecs avant qu'il ne sache comment les pièces bougent. L'article a montré que inverser cet ordre rendait l'IA moins bonne à la fois pour voir et pour réfléchir.

Les Résultats : Plus Intelligente et Plus Rapide

Lorsque les auteurs ont entraîné leurs modèles en utilisant cette nouvelle méthode « par Étapes », les résultats ont été impressionnants :

Meilleure Précision : Les modèles sont nettement devenus meilleurs aux tests de mathématiques visuelles et de perception du monde réel.
Moins de Réflexion : C'est la partie la plus surprenante. Parce que les modèles avaient de « bons yeux », ils n'avaient pas besoin de « réfléchir » aussi longtemps pour obtenir la bonne réponse.
- L'Analogie : Un modèle avec de mauvais yeux continue de relire le problème, de vérifier l'image et de réécrire ses pensées car il est incertain. Un modèle avec de bons yeux voit la réponse immédiatement et écrit une solution courte et claire.
- Les Données : Leurs modèles ont atteint 1,5 % de précision en plus tout en utilisant 20 % de temps de « réflexion » en moins (réponses textuelles plus courtes) par rapport aux modèles entraînés de l'ancienne manière, mélangée.

La Grande Image : Une Nouvelle Façon d'Apprendre

Les auteurs introduisent également un nouveau concept appelé « Curriculum de Compétences ».

Ancienne Façon : Entraîner l'IA sur des problèmes faciles, puis moyens, puis difficiles (basé sur la difficulté).
Nouvelle Façon : Entraîner l'IA sur des compétences spécifiques dans un ordre spécifique (Perception $\to$ Logique $\to$ Raisonnement).
La Magie : Ils ont constaté que ces deux méthodes fonctionnent mieux lorsqu'elles sont combinées. C'est comme une école qui organise les cours par matière (Mathématiques, puis Sciences) et arrange les leçons du plus facile au plus difficile au sein de ces matières. Faire les deux a donné à l'IA les meilleurs résultats de tous.

En résumé : Pour rendre l'IA meilleure pour « réfléchir » aux images, nous devons d'abord nous assurer qu'elle peut réellement les « voir » correctement. En séparant ces compétences et en les entraînant dans le bon ordre, nous obtenons des modèles non seulement plus intelligents, mais aussi plus efficaces, évitant le piège de trop réfléchir à de simples erreurs visuelles.

Résumé Technique : De la Vision à la Pensée : Le Découplage de la Perception et du Raisonnement Améliore le Post-Entraînement des Modèles Vision-Langage

1. Énoncé du Problème

Les récentes avancées des modèles vision-langage (VLM) ont fortement mis l'accent sur le raisonnement par chaîne de pensée (CoT) longue, souvent piloté par des techniques d'apprentissage par renforcement (RL). Cependant, ce travail identifie un goulot d'étranglement critique : la performance sur des tâches visuelles complexes (par exemple, les mathématiques visuelles, la géométrie, la compréhension de diagrammes) est fréquemment limitée non pas par les capacités de raisonnement, mais par la perception visuelle.

Les auteurs observent que lorsqu'un VLM commet une erreur initiale dans la perception de détails visuels (par exemple, une mauvaise identification d'un angle géométrique ou d'un nombre d'objets), les étapes de raisonnement subséquentes corrigent rarement cette erreur. Au lieu de cela, le modèle amplifie l'erreur sur la base d'hypothèses perceptives incorrectes, conduisant à des traces de raisonnement longues et embrouillées qui échouent à atteindre la conclusion correcte. À l'inverse, lorsque la perception est précise, le raisonnement tend à être concis et converge rapidement. L'article soutient que les paradigmes actuels de post-entraînement, qui fusionnent souvent les données de perception et de raisonnement ou privilégient le raisonnement, échouent à remédier à ce déficit fondamental.

2. Méthodologie

La solution proposée est un cadre de post-entraînement par étapes qui découple les capacités des VLM en trois étapes distinctes et séquentielles, chacune utilisant des ensembles de données spécialisés et des stratégies d'entraînement :

2.1. Décomposition des Capacités

Le pipeline d'entraînement est divisé en trois étapes :

Perception Visuelle : Se concentre sur la reconnaissance de détails visuels fins et de relations spatiales sans nécessiter de raisonnement multi-étapes.
Raisonnement Textuel : Se concentre sur l'inférence logique en utilisant uniquement des entrées textuelles.
Raisonnement Visuel : Se concentre sur des tâches multimodales complexes nécessitant à la fois une perception précise et un raisonnement multi-étapes.

2.2. Synthèse et Curation des Données

Données de Perception ( $D_{perc}$ ) : Synthétisées à partir de l'ensemble de données DOCCI (légendes d'images fines). Un LLM génère des questions axées sur la perception basées sur les légendes. Un mécanisme de filtrage ne conserve que les échantillons où le VLM de base échoue à répondre correctement en utilisant uniquement l'image mais réussit lorsqu'il dispose de la légende. Cela isole les échantillons où la limitation est purement perceptive.
Données de Raisonnement Textuel ( $D_{text}$ ) : Provenant de ORZ-Math-13k, contenant des problèmes mathématiques complexes solubles sans entrées visuelles.
Données de Raisonnement Visuel ( $D_{vis}$ ) : Sélectionnées à partir de multiples sources open-source (CLEVR-Math, GeoQA170K, Math PUMA, etc.), nécessitant à la fois perception et raisonnement.

2.3. Stratégies d'Entraînement

Entraînement par Étapes : Le modèle est entraîné séquentiellement ( $D_{perc} \rightarrow D_{text} \rightarrow D_{vis}$ $D_{p er c} \to D_{t e x t} \to D_{v i s}$ ) en utilisant l'optimisation de politique relative par groupes (GRPO).
- Étape 1 (Perception) : Les auteurs comparent le fine-tuning supervisé (SFT) à l'apprentissage par renforcement avec récompenses vérifiables (RLVR). Ils constatent que le RLVR est nettement plus efficace pour la perception, car il pénalise les interprétations hallucinées plus robustement que le SFT au niveau des tokens.
- Étapes 2 & 3 : Utilisent le GRPO pour affiner les capacités de raisonnement.
Gestion de l'Encodeur Visuel : Lors de l'étape de perception, l'encodeur visuel est actif. Dans les étapes suivantes, les stratégies varient (par exemple, figer l'encodeur lors des étapes de raisonnement textuel), mais le principal moteur de succès est l'ordre séquentiel des données.
Intégration du Curriculum : Les auteurs démontrent que ce découpage basé sur les capacités est orthogonal aux curriculums traditionnels basés sur la difficulté. La combinaison des deux (ordonnancement des données par difficulté au sein de chaque étape de capacité) produit des gains additifs.

3. Contributions Clés

Découplage de la Perception et du Raisonnement : L'article établit que la perception visuelle est une capacité distincte et fondamentale qui doit être solidifiée avant d'affiner le raisonnement visuel. Les traiter comme une tâche fusionnée conduit à des performances sous-optimales.
Paradigme d'Entraînement par Étapes : Les auteurs proposent un ordre d'entraînement spécifique (Perception $\rightarrow$ Raisonnement Textuel $\rightarrow$ Raisonnement Visuel) qui surpasse systématiquement l'entraînement fusionné. Inverser cet ordre (entraîner le raisonnement avant la perception) dégrade les performances.
RLVR pour la Perception : Le travail démontre que le RLVR est supérieur au SFT basé sur des légendes pour l'entraînement de la perception visuelle, fournissant un signal d'entraînement plus fort qui réduit les hallucinations.
Gains d'Efficacité : Les modèles entraînés avec cette approche atteignent une précision plus élevée avec des traces de raisonnement significativement plus courtes (20,8 % plus courtes), indiquant qu'une perception précise réduit le besoin de « réflexion » excessive pour corriger les erreurs initiales.
Nouvelle Dimension de Curriculum : L'article introduit l'apprentissage par curriculum basé sur la dimension des capacités comme une approche complémentaire aux curriculums basés sur la difficulté, montrant que la combinaison des deux dimensions produit des améliorations supplémentaires.

4. Résultats Expérimentaux

Des expériences ont été menées sur les architectures de base Qwen2.5-VL-7B et Qwen3-VL-8B, comparant l'entraînement par étapes à l'entraînement fusionné et à diverses bases de référence open-weight (par exemple, OneThinker, GThinker).

Gains de Performance :
- Mathématiques Visuelles : L'entraînement par étapes a amélioré la précision WeMath de 5,2 % (Qwen2.5-VL-7B) et 1,5 % (Qwen3-VL-8B) par rapport à l'entraînement fusionné. Sur MathVista, le Qwen3-VL-8B entraîné par étapes a atteint 75,9 %.
- Perception : L'approche a amélioré la précision RealWorldQA de 3,7 % (Qwen3-VL-8B) et a maintenu des performances élevées sur A-OKVQA et POPE, évitant la « taxe perceptive » souvent observée dans l'entraînement axé uniquement sur le raisonnement.
- Global : Le Qwen3-VL-8B entraîné par étapes a atteint une moyenne globale record de 65,8 %, surpassant le modèle de base et le OneThinker-8B spécialisé dans le raisonnement.
Efficacité : Les modèles entraînés par étapes ont produit des traces de raisonnement 20,8 % plus courtes que les modèles fusionnés tout en atteignant une précision supérieure.
Analyse des Erreurs : En utilisant un juge externe (Claude-Haiku-4.5), les auteurs ont constaté que l'entraînement par étapes a réduit le taux d'erreurs de perception dans les traces de raisonnement de 857 à 781 (sur 3044 échantillons) par rapport à l'entraînement fusionné.
Généralisation : Les bénéfices de l'entraînement par étapes ont été confirmés sur différentes architectures, notamment InternVL3-8B et InternVL3.5-8B.

5. Signification et Revendications

L'article revendique que le facteur limitant dominant pour le raisonnement visuel dans les VLM actuels est la perception visuelle, et non la capacité de raisonnement elle-même. Par conséquent, une « pensée plus longue » ne peut pas compenser une perception incorrecte.

La signification de ce travail réside dans :

Changement de Paradigme : Le passage de l'entraînement fusionné vers une approche découplée par capacités et par étapes.
Insight Méthodologique : Prouver que l'ordre de l'entraînement compte ; la perception doit être l'échafaudage du raisonnement.
Efficacité de l'Entraînement : Démontrer qu'une meilleure perception conduit à un raisonnement plus efficace (traces plus courtes), réduisant les coûts computationnels.
Conception de Curriculum : Établir le découpage basé sur les capacités comme une nouvelle dimension orthogonale aux curriculums basés sur la difficulté, qui peut être combinée pour des gains additifs.

Les auteurs concluent que l'intégration de données de perception spécialisées avec un paradigme d'entraînement par étapes est essentielle pour développer des VLM avancés et polyvalents capables de résoudre de manière fiable des tâches visuelles complexes.