💻 computer science

Grounded Reinforcement Learning for Visual Reasoning

L'article présente ViGoRL, un modèle vision-langage entraîné avec un cadre novateur d'apprentissage par renforcement multi-tours qui ancre les étapes de raisonnement à des coordonnées visuelles spécifiques et permet un zoom dynamique, surpassant ainsi considérablement les méthodes existantes sur divers benchmarks de raisonnement et d'ancrage visuel.

Auteurs originaux : Gabriel Sarch, Snigdha Saha, Naitik Khandelwal, Ayush Jain, Michael J. Tarr, Aviral Kumar, Katerina Fragkiadaki

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gabriel Sarch, Snigdha Saha, Naitik Khandelwal, Ayush Jain, Michael J. Tarr, Aviral Kumar, Katerina Fragkiadaki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle complexe, comme trouver une toute petite vis spécifique dans un garage en désordre ou déterminer si une table rentrera sous un lit.

La plupart des modèles d'IA actuels qui tentent de résoudre ces énigmes visuelles agissent comme une personne qui ferme les yeux, fait une supposition hasardeuse basée sur ce qu'elle pense que la pièce ressemble, et crie une réponse. Ils pourraient dire : « Je pense que la table rentre ! » mais ils n'ont pas réellement regardé la table ou le lit. Ils « hallucinent » une réponse basée sur des connaissances générales plutôt que sur les preuves spécifiques devant eux.

L'article que vous avez partagé présente une nouvelle méthode appelée ViGoRL (Apprentissage par Renforcement Ancré Visuellement). Imaginez cela comme enseigner à l'IA une nouvelle façon de « penser » qui imite la façon dont les humains résolvent réellement les problèmes visuels.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le Problème : Le « Pari Aveugle »

Les auteurs ont constaté que lorsqu'ils laissaient les modèles d'IA apprendre uniquement en essayant d'obtenir la bonne réponse (un processus appelé Apprentissage par Renforcement), les modèles devenaient paresseux. Au lieu de regarder attentivement l'image, ils commençaient à inventer des raisons abstraites.

Analogie : C'est comme un élève passant un examen de mathématiques qui ne fait pas réellement les calculs mais écrit simplement « 42 » parce qu'il sait que c'est une réponse courante dans les films de science-fiction. Il a de la chance parfois, mais il ne comprend pas vraiment le problème.

2. La Solution : Le « Doigt Pointé »

Les chercheurs ont réalisé que pour devenir plus intelligents, l'IA devait être contrainte de pointer vers l'image pendant qu'elle réfléchit.

La Nouvelle Règle : Chaque fois que l'IA a une pensée (par exemple : « La table semble petite »), elle doit également fournir une coordonnée spécifique sur l'image (par exemple : « Je regarde la table aux pixels 300, 400 »).
L'Analogie : Imaginez que l'IA est un détective. Au lieu de simplement dire : « Je pense que le suspect est dans la cuisine », le détective doit dire : « Je regarde la fenêtre de la cuisine aux coordonnées (X, Y), et j'y vois une ombre ». S'ils ne peuvent pas pointer vers la preuve, ils n'ont pas le droit de faire cette affirmation.

3. L'Entraînement : Le « Tuteur Intelligent » (MCTS)

On ne peut pas simplement dire à une IA confuse de « pointer vers des choses » et s'attendre à ce qu'elle sache comment faire. Il faut lui apprendre comment regarder.

La Méthode : Les chercheurs ont utilisé un « super-tuteur intelligent » (un modèle d'IA massif) pour jouer à un jeu de « Recherche Arborescente Monte Carlo ». Imaginez que le tuteur explore un labyrinthe. Il essaie différents chemins : « Et si je regardais en haut à gauche ? Et si je regardais en bas à droite ? » Il conserve les chemins qui mènent à la bonne réponse et rejette ceux qui ne le font pas.
Le Résultat : Cela crée une bibliothèque d'exemples de raisonnement « parfaits » où l'IA explore lentement l'image, vérifie différents endroits et se corrige si elle fait une erreur. Le modèle d'IA plus petit étudie ensuite ces exemples parfaits pour apprendre l'habitude de « regarder avant de parler ».

4. La Fonctionnalité « Zoom » : Le « Microscope »

Parfois, l'image est trop grande et le détail est trop petit pour être vu (comme du texte minuscule sur un site web ou une petite icône sur un écran).

L'Innovation : Le nouveau système permet à l'IA de dire : « Je pense que la réponse est dans ce coin », puis de demander de zoomer sur cet endroit spécifique.
L'Analogie : C'est comme utiliser une loupe. Si vous cherchez une aiguille dans une botte de foin, vous ne fixez pas toute la botte de foin ; vous zoomez sur la partie où vous pensez que se trouve l'aiguille. L'IA peut maintenant faire cela numériquement, demandant une recadrage haute résolution de l'image pour mieux regarder avant de prendre sa décision finale.

5. Les Résultats : « Voir » Mieux

Lorsqu'ils ont testé cette nouvelle méthode (ViGoRL) contre les méthodes plus anciennes :

Meilleure Précision : L'IA est devenue nettement meilleure dans le raisonnement spatial (comme déterminer si des objets s'assemblent) et dans la recherche de petits éléments sur les écrans.
Comportement Humain : L'IA a commencé à faire des choses que les humains font naturellement : elle explorait différentes parties de l'image, fixait de petits objectifs (« D'abord je vérifierai la porte, puis la fenêtre »), et même revenait en arrière lorsqu'elle réalisait qu'elle regardait le mauvais objet.
Fiabilité : Lorsque des humains examinaient le raisonnement de l'IA, ils trouvaient beaucoup plus facile de comprendre pourquoi l'IA avait fait un choix, car elle pointait littéralement vers la preuve.

Résumé

En bref, cet article enseigne à l'IA d'arrêter de deviner et de commencer à regarder. En forçant l'IA à ancrer chaque pensée à un endroit spécifique de l'image (et en lui permettant de zoomer si nécessaire), le modèle devient beaucoup plus précis, fiable et capable de résoudre des énigmes visuelles complexes, tout comme un humain le ferait.

Résumé Technique : Apprentissage par Renforcement Ancré pour le Raisonnement Visuel (ViGoRL)

Énoncé du Problème

Les tâches de raisonnement visuel varient considérablement dans leur structure, exigeant souvent des modèles qu'ils dirigent l'attention visuelle, interprètent les entrées perceptives et ancrent le raisonnement abstrait dans des preuves spatiales. Bien que l'apprentissage par renforcement (RL) appliqué aux chaînes de pensée ait fait progresser les modèles de langage dans des domaines textuels (mathématiques, codage), son application aux Modèles Vision-Language (VLM) fait face à des défis uniques. Les auteurs identifient que les VLM standards opèrent souvent de manière bout-en-bout, prédisant des réponses en une seule passe avant sans adapter les stratégies computationnelles à la scène d'entrée.

Crucialement, l'article soutient que les applications naïves du RL aux VLM échouent à induire des comportements cognitifs utiles. Au lieu d'apprendre à explorer systématiquement des régions, à définir des sous-objectifs ou à vérifier des hypothèses, l'optimisation RL standard sur les VLM de base tend à s'effondrer vers des « raccourcis ». Ces raccourcis maximisent les récompenses immédiates de la tâche en produisant un raisonnement abstrait et non ancré qui traite la vision comme un contexte statique plutôt que comme une entrée activement référencée. Par conséquent, les modèles échouent à développer les mécanismes d'attention spatiale nécessaires au raisonnement visuel complexe, tels que la localisation de petits objets dans des environnements encombrés ou la navigation sur des interfaces web.

Méthodologie : ViGoRL

Les auteurs proposent ViGoRL (Visually Grounded Reinforcement Learning), un cadre conçu pour ancrer explicitement chaque étape de raisonnement à des coordonnées visuelles spécifiques. L'hypothèse centrale est que les modèles « voient mieux » et « pensent mieux » lorsque le raisonnement textuel est couplé à un ancrage spatial, mimant la prise de décision visuelle humaine où les déplacements du regard sont sélectifs pour rassembler des informations pertinentes pour la tâche.

L'approche consiste en un pipeline en deux étapes suivi d'une extension multi-tours :

1. Démarrage à Chaud via la Recherche Arborescente Monte Carlo (MCTS)

Pour surmonter la limitation selon laquelle les VLM de base manquent de comportements de raisonnement visuel inhérents (par exemple, le retour en arrière, l'exploration de régions), les auteurs utilisent la MCTS pour générer des traces de raisonnement de haute qualité et ancrées.

Modèle Enseignant : Un modèle enseignant gelé et à haute capacité (Qwen2.5-VL-72B) est utilisé pour développer les nœuds dans l'arbre de recherche.
Nœuds Ancrés : Chaque étape de raisonnement est définie comme un tuple $n_t = \langle s_t, (x_t, y_t) \rangle$ , où $s_t$ est une pensée en langage naturel et $(x_t, y_t)$ est une coordonnée ancrant la pensée à une région de l'image.
Processus de Recherche : L'algorithme MCTS (Sélection, Expansion, Simulation, Rétropropagation) explore systématiquement des régions d'image et des chemins de raisonnement divers. Il encourage explicitement des comportements tels que l'exploration large (embranchement pour couvrir des régions diverses) et le retour en arrière (abandon des branches échouées).
Linéarisation : Les arbres de recherche résultants sont linéarisés en exemples d'entraînement, incluant à la fois des chaînes de succès directes et des « chaînes corrigées » démontrant le retour en arrière (par exemple, « Attendez, cela semble incorrect... »).
Affinement Supervisé (SFT) : Le modèle de base est affiné sur ces traces générées par MCTS pour amorcer la capacité à générer un raisonnement structuré et ancré.

2. Apprentissage par Renforcement avec GRPO

Suite au SFT, le modèle subit un apprentissage par renforcement utilisant l'Optimisation de Politique Relative par Groupes (GRPO).

Conception de la Récompense : La fonction de récompense incite à deux choses : (1) la justesse de la réponse finale ( $r_{task}$ ) et (2) la validité du format de sortie, exigeant spécifiquement que toutes les références de coordonnées soient valides ( $r_{fmt}$ ). Cela garantit que le modèle apprend à maintenir l'ancrage tout au long du processus de raisonnement.
Objectif : Le processus RL affine les comportements ancrés appris lors du SFT, renforçant les séquences menant à des réponses correctes tout en maintenant la contrainte d'ancrage spatial.

3. RL Multi-Tours avec Retour d'Information Visuel

Pour les tâches nécessitant une inspection visuelle fine (par exemple, de petits éléments d'interface graphique), les auteurs introduisent une formulation multi-tours.

Microscope Interactif : Après avoir prédit une coordonnée, le modèle peut émettre un appel d'outil pour demander un recadrage haute résolution de cette région.
Boucle de Retour d'Information : L'environnement renvoie l'image recadrée, qui devient l'entrée pour le tour de raisonnement suivant.
Entraînement : Le modèle est entraîné sur des dialogues multi-tours où il apprend à zoomer itérativement lorsque nécessaire. La récompense inclut une prime de diversité pour encourager l'exploration de coordonnées distinctes plutôt que la répétition de la même région.

Contributions Clés

Identification des Modes d'Échec du RL : L'article démontre que le RL standard sur les VLM sans incitations explicites à l'ancrage conduit à un raisonnement non ancré, échouant à induire des comportements tels que la définition de sous-objectifs visuels ou le retour en arrière.
Cadre ViGoRL : Un pipeline novateur combinant un démarrage à chaud basé sur la MCTS (pour injecter des priors de raisonnement ancré) et le GRPO (pour affiner ces comportements) qui lie explicitement les étapes de raisonnement aux coordonnées de l'image.
Retour d'Information Visuel Multi-Tours : Un mécanisme permettant aux modèles de zoomer dynamiquement sur des régions d'image pendant le raisonnement, améliorant considérablement les performances sur les tâches fines.
Analyse Comportementale : Des preuves empiriques montrant que le raisonnement ancré amplifie les comportements cognitifs tels que l'exploration de régions, la vérification visuelle et le retour en arrière, qui sont absents dans les bases de référence standards.

Résultats Expérimentaux

ViGoRL a été évalué sur divers benchmarks incluant le raisonnement spatial (SAT-2, BLINK, RoboSpatial), la recherche visuelle (V*Bench) et l'ancrage web (ScreenSpot, VisualWebArena).

Raisonnement Spatial : Sur SAT-2, ViGoRL-3B a atteint une précision de 62,9 %, soit une amélioration de 12,9 points par rapport au GRPO standard et de 16,8 points par rapport au modèle de base. Des gains similaires ont été observés sur BLINK et RoboSpatial.
Ancrage Web : Sur ScreenSpot-Pro (ancrage d'interface graphique haute résolution), ViGoRL-3B a atteint 31,1 %, surpassant le modèle de base de 21,8 points et le GRPO standard de 2,1 points.
Recherche Visuelle : Sur V*Bench, le ViGoRL-7B multi-tours a atteint une précision de 86,4 %, surpassant des modèles propriétaires comme GPT-4o (66,0 %) et des pipelines avancés utilisant des outils comme Sketchpad-GPT-4o (80,3 %).
Interaction Web en Direct : Sur VisualWebArena (entrée uniquement visuelle), ViGoRL a surpassé l'état de l'art précédent (ICAL) pour la même taille de modèle, malgré l'absence d'accès au texte HTML.
Études d'Ablation : La suppression de l'ancrage explicite ou du démarrage à chaud par MCTS a considérablement dégradé les performances, confirmant que tant l'initialisation des comportements ancrés que l'affinement par RL sont critiques.
Évaluation Humaine : Des évaluateurs humains ont jugé les prédictions ancrées du modèle spatialement précises (72,8 % de précision) et utiles pour comprendre les étapes de raisonnement, en particulier lorsque la prédiction était correcte.

Signification et Revendications

Les auteurs affirment que le RL ancré visuellement est un paradigme puissant pour doter les modèles d'un raisonnement visuel à usage général. Ils soutiennent que l'ancrage n'est pas simplement un outil de visualisation, mais un principe architectural et algorithmique central. En entraînant les modèles à raisonner avec des références déictiques (pointer, zoomer, vérifier), l'approche aligne le comportement du modèle sur les stratégies cognitives humaines (routines visuelles, attention spatiale).

L'article conclut que l'ancrage explicite des étapes de raisonnement aux coordonnées spatiales force les modèles à s'engager dans une cognition structurée et alignée sur l'humain. Cet échafaudage permet aux modèles de décomposer des problèmes complexes en étapes gérables et ancrées perceptivement, conduisant à une meilleure généralisation dans des contextes hors distribution et à une interprétabilité améliorée. Ce travail suggère que les systèmes futurs devraient traiter l'ancrage comme un mécanisme central pour le raisonnement plutôt que comme un signal auxiliaire.