💻 computer science

Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning

L'article propose Perceive-to-Reason (P2R), un cadre unifié qui découple le raisonnement visuel fin en des étapes distinctes de perception et de raisonnement, amélioré par une stratégie d'apprentissage par renforcement sensible au rôle (PRA-GRPO) pour augmenter significativement les performances à travers diverses échelles de modèles et des benchmarks à haute résolution.

Auteurs originaux : Hongxing Li, Xiufeng Huang, Dingming Li, Wenjing Jiang, Zixuan Wang, Haolei Xu, Hanrong Zhang, Haiwen Hong, Longtao Huang, Hui Xue, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hongxing Li, Xiufeng Huang, Dingming Li, Wenjing Jiang, Zixuan Wang, Haolei Xu, Hanrong Zhang, Haiwen Hong, Longtao Huang, Hui Xue, Weiming Lu, Jun Xiao, Yueting Zhuang, Yongliang Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle très difficile, mais que l'image est immense et que l'indice le plus important est un minuscule point caché quelque part au milieu d'une scène bondée.

C'est le problème que Perceive-to-Reason (P2R) tente de résoudre pour l'Intelligence Artificielle.

Le Problème : « L'aiguille dans une botte de foin »

Les modèles d'IA actuels (Modèles Vision-Langage) sont excellents pour regarder une image et donner une réponse générale. Mais lorsqu'une question nécessite de trouver un détail infime — comme lire un petit panneau sur une photo haute résolution ou repérer une couleur spécifique sur un objet lointain — ils se perdent souvent.

Imaginez cela comme essayer de trouver un ami spécifique dans un stade rempli de 50 000 personnes.

Les anciennes méthodes d'IA sont comme quelqu'un qui se contente de fixer toute la foule et devine : « Je pense qu'il est par là ! » ou qui zoome frénétiquement de haut en bas sur des sections aléatoires sans plan précis. Ils passent souvent à côté des détails minuscules parce qu'ils essaient de tout faire en même temps.
L'intuition du papier : Les chercheurs ont réalisé que l'IA échouait non pas parce qu'elle ne pouvait pas réfléchir (raisonner), mais parce qu'elle ne pouvait pas regarder (percevoir) correctement au préalable. Elle essayait de résoudre le problème mathématique avant même d'avoir trouvé les chiffres.

La Solution : Le Détective et Le Juge

Le papier propose une nouvelle façon d'entraîner l'IA appelée Perceive-to-Reason. Au lieu de demander à l'IA de tout faire en une seule grande explosion cérébrale, ils divisent le travail en deux rôles distincts, comme une équipe de deux personnes :

Le Perceveur (Le Détective) :
- Son job : Regarder l'image immense à haute résolution et la question. Ignorer la réponse pour un instant. Juste trouver l'endroit précis où l'indice est caché.
- Son action : Il dessine un cadre autour de la zone pertinente (ex: « La chaise rouge est ici ») et découpe cette petite partie.
- L'analogie : C'est comme un détective qui scanne une scène de crime, trouve l'unique empreinte de boue, et la place dans un sac à preuves.
Le Raisonneur (Le Juge) :
- Son job : Regarder uniquement le sac à preuves (l'image découpée) et l'image originale avec le cadre dessiné dessus. Maintenant, répondre à la question.
- Son action : Il utilise la vue claire et zoomée pour prendre la décision finale.
- L'analogie : C'est le juge qui regarde uniquement l'empreinte de boue pour décider si elle correspond à la chaussure du suspect. Il n'a plus à se soucier du reste de la scène de crime désordonnée.

La Recette Secrète : « PRA-GRPO »

Vous pourriez vous demander : « Comment enseigner cela à une IA si on lui dit seulement "Vrai" ou "Faux" à la toute fin ? » (Il n'y a pas de professeur pour indiquer exactement où le cadre doit être placé).

Les auteurs ont inventé une méthode d'entraînement appelée PRA-GRPO. Voyez cela comme un exercice d'entraînement spécialisé pour l'équipe d'IA :

L'exercice : L'IA s'entraîne par tours alternés.
- Tour 1 (Focus Perception) : Le « Détective » essaie de trouver l'endroit. Le « Juge » est figé (il n'apprend pas). Si le Détective trouve le bon endroit, le Juge peut facilement donner la bonne réponse. L'IA reçoit un signal de « bon travail » pour le Détective.
- Tour 2 (Focus Raisonnement) : Le « Détective » est figé (utilisant ce qu'il vient d'apprendre). Le « Juge » essaie de répondre en se basant sur cet endroit. Si le Juge réussit, il reçoit un signal de « bon travail ».
Le résultat : En alternant les tours, l'IA apprend qu'un bon Détective rend le travail du Juge plus facile, et qu'un bon Juge donne de meilleurs retours au Détective. Ils apprennent à travailler ensemble sans avoir besoin qu'un humain dessine les cadres pour eux.

Qu'est-ce qui s'est passé ?

Les chercheurs ont testé cela sur des modèles de différentes tailles (2 milliards, 4 milliards et 8 milliards de « cellules cérébrales »).

Le résultat : La nouvelle méthode (P2R) était nettement meilleure pour trouver des détails minuscules et répondre à des questions complexes que les modèles originaux.
La preuve : Sur un test appelé V-Star, le modèle de 4 milliards est passé de 81,7 % de bonnes réponses à 93,2 %. C'est une amélioration massive, surtout pour les tâches impliquant des images haute résolution où les détails sont petits.

Résumé

En termes simples, ce papier dit : « N'essayez pas de réfléchir et de regarder en même temps. Trouvez d'abord la bonne partie de l'image. Ensuite, réfléchissez-y. »

En séparant l'acte de trouver l'indice de l'acte de résoudre le puzzle, et en entraînant l'IA à alterner la pratique de ces compétences, l'ordinateur devient bien meilleur pour voir les petites choses qui comptent.

Résumé Technique : Perceive-to-Reason (P2R)

Problématique

Le raisonnement visuel fin reste un goulot d'étranglement important pour les modèles de vision-langage (VLM), particulièrement lorsque les indices visuels critiques sont subtils et enfouis dans des images à haute résolution. Les approches existantes reposent généralement sur le « Thinking with Images » (entrelacer l'exploration de régions avec le raisonnement) ou la « Recherche Visuelle » (recherche de régions clés au moment du test). Cependant, ces méthodes entremêlent souvent la perception (localiser les preuves) et le raisonnement (répondre à la question) ou dépendent de pipelines externes complexes et difficiles à optimiser. Une étude diagnostique présentée dans l'article indique qu'une cause primaire d'échec n'est pas un manque de capacité de raisonnement, mais l'incapacité de localiser correctement les preuves visuelles pertinentes en premier lieu. De plus, l'entraînement de phases de perception et de raisonnement déconnectées est difficile sous une supervision classique basée uniquement sur la réponse, car il est difficile d'attribuer les erreurs soit à l'étape de localisation, soit à l'étape de raisonnement.

Méthodologie

Les auteurs proposent Perceive-to-Reason (P2R), un cadre unifié qui découple explicitement le raisonnement visuel fin en deux étapes distinctes : la Perception et le Raisonnement.

1. Pipeline d'inférence à deux étapes

P2R utilise un seul VLM sous-jacent avec des paramètres partagés mais opère dans deux rôles consécutifs :

Étape de Percepteur : Étant donné une image $I$ et une question $Q$ , le modèle agit comme un Percepteur pour localiser explicitement les preuves pertinentes à la question. Il génère des boîtes englobantes (bounding boxes) $B$ représentant les régions clés. Ces boîtes sont utilisées pour générer une image annotée (avec les boîtes superposées) et des images de preuves découpées (crops).
Étape de Raisonneur : Le modèle agit ensuite comme un Raisonneur, prenant la question originale, l'image annotée et les régions découpées comme entrées pour générer la réponse finale.

Cette formulation transforme le raisonnement fin en un processus structuré où le modèle détermine d'abord où regarder, puis détermine comment raisonner sur la base de ces preuves.

2. Alternating GRPO (PRA-GRPO)

Pour entraîner ce cadre déconnecté en utilisant uniquement une supervision par la réponse finale (sans annotations de boîtes englobantes de vérité terrain), les auteurs introduisent la PRA-GRPO, une stratégie d'apprentissage par renforcement sensible au rôle basée sur le Group Relative Policy Optimization (GRPO).

Optimisation alternée : Le processus d'entraînement alterne entre l'optimisation du Percepteur et celle du Raisonneur. Dans la Phase de Perception, le Percepteur est mis à jour tandis que le Raisonneur est gelé ; la récompense est dérivée de la justesse de la réponse finale générée par le Raisonneur gelé. Inversement, dans la Phase de Raisonnement, le Raisonneur est mis à jour tandis que le Percepteur est gelé.
Signaux attribuables : Cette approche convertit la récompense binaire de la réponse finale en un signal d'apprentissage spécifique au rôle. Elle permet au modèle d'apprendre une localisation efficace des preuves basée sur les résultats du raisonnement en aval, résolvant ainsi efficacement le problème d'attribution de crédit dans un pipeline déconnecté sans nécessiter de supervision dense.
Paramètres partagés : Les deux rôles partagent les mêmes paramètres de modèle $\theta$ , permettant aux capacités d'être intégrées au sein d'une seule instance de modèle.

Contributions Clés

Cadre P2R : Un cadre unifié qui formule le raisonnement visuel fin comme un processus de perception-puis-raisonnement à deux étapes, séparant explicitement la localisation des preuves de la génération de la réponse.
PRA-GRPO : Une stratégie d'entraînement novatrice qui aligne l'apprentissage par renforcement avec la formulation déconnectée. Elle permet l'apprentissage des capacités de perception en utilisant uniquement la supervision de la réponse finale, éliminant ainsi le besoin d'annotations de boîtes englobantes de vérité terrain.
Performance de l'état de l'art : La méthode démontre des améliorations constantes à travers différentes échelles de modèles (2B, 4B, 8B) et benchmarks, atteignant de nouveaux résultats de l'état de l'art sur les tâches de raisonnement visuel fin à haute résolution.

Résultats Expérimentaux

Les auteurs ont évalué P2R sur plusieurs benchmarks, notamment V-Star, HR-Bench-4K/8K, et MME-RealWorld-Lite.

Benchmarks à haute résolution : P2R surpasse systématiquement ses modèles de base (Qwen3-VL-Instruct) et les méthodes existantes de recherche visuelle ou de « Thinking with Images ».
- P2R-4B a atteint 93,2 % sur V-Star, 81,9 % sur HR-Bench-4K, et 80,5 % sur HR-Bench-8K.
- Comparé au modèle de base Qwen3-VL-Instruct-4B, P2R-4B montre des gains de +11,5 % sur V-Star, +8,1 % sur HR-Bench-4K, et +13,5 % sur HR-Bench-8K.
Généralisation : Les bénéfices de P2R s'étendent au-delà des tâches à haute résolution. Sur le benchmark MME-RealWorld-Lite, P2R a amélioré les performances à travers diverses tâches de raisonnement multimodal du monde réel (OCR, télédétection, diagrammes), suggérant que la formulation de perception-puis-raisonnement favorise une compréhension multimodale plus large.
Études d'ablation :
- Inférence : Remplacer le Chain-of-Thought (CoT) direct par le pipeline d'inférence P2R a considérablement amélioré les performances, même sur les modèles de base.
- Entraînement : Les mises à jour alternées entre les rôles (P $\to$ R) ont produit de meilleurs résultats que l'entraînement des rôles de manière isolée ou dans l'ordre inverse, validant l'importance du calendrier de formation déconnecté.
- Partage de paramètres : Les expériences ont montré que l'entraînement d'un rôle (ex: Percepteur) et la réutilisation de ces poids pour l'autre rôle (Raisonneur) apportaient des bénéfices, bien que l'entraînement complet par PRA-GRPO alterné ait donné les meilleurs résultats.

Signification et Revendications

L'article affirme qu'en déconnectant explicitement la perception du raisonnement, on fournit un cadre efficace pour le raisonnement visuel fin. En traitant la localisation des preuves comme une étape intermédiaire explicite plutôt que comme un sous-produit implicite de la génération de la réponse, P2R s'attaque au goulot d'étranglement principal consistant à trouver les bonnes preuves visuelles.

La signification de PRA-GRPO réside dans sa capacité à entraîner ce processus déconnecté en utilisant uniquement la supervision de la réponse finale. Cela supprime la dépendance aux annotations de boîtes englobantes coûteuses et spécifiques à la tâche, tout en permettant au modèle d'apprendre une localisation précise. Les auteurs concluent que leur approche offre une solution évolutive et efficace pour le raisonnement visuel à haute résolution, atteignant des gains substantiels par rapport aux bases existantes et démontant que les bénéfices de cette formulation s'étendent à des scénarios de raisonnement multimodal plus larges.

Limites reconnues par les auteurs :

Le pipeline à deux étapes introduit une latence d'inférence supplémentaire par rapport au prompting direct.
Le comportement de mise à l'échelle complet de PRA-GRPO à des échelles d'entraînement plus importantes n'a pas été exploré en raison de contraintes de calcul.
La dépendance à la supervision de la réponse finale fournit un signal d'apprentissage parcimonieux.
L'évaluation se concentre actuellement sur le raisonnement fin et les benchmarks associés, la généralisation à des contextes interactifs ou à long terme restant un travail futur.