💻 computer science

H-GRPO: Permutation-Invariant Reinforcement Learning for Grounded Visual Reasoning

Cet article introduit H-GRPO, un cadre qui améliore la performance et l'interprétabilité des modèles vision-langage en employant l'apprentissage par renforcement invariant par permutation pour décomposer les requêtes complexes en sous-questions atomiques ancrées dans des preuves visuelles spécifiques, réduisant ainsi les hallucinations et favorisant un raisonnement déductif semblable à celui de l'humain.

Auteurs originaux : Eric Peh, Debaditya Roy, Basura Fernando

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eric Peh, Debaditya Roy, Basura Fernando

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant en art très intelligent, mais légèrement malicieux, nommé « Vision-Language Model » (VLM). Si vous montrez une image à cet étudiant et que vous lui posez une question comme : « Est-ce que le chef est en train de cuisiner ? », il donne souvent la bonne réponse. Mais attention, il peut aussi deviner en se basant sur le fait que les chefs portent généralement des chapeaux blancs, même si la personne sur la photo est en réalité un boulanger portant un chapeau blanc. Il prend un « raccourci » et peut même inventer des détails (hallucinations) pour justifier sa supposition.

Le document que vous avez partagé présente une nouvelle méthode d'entraînement appelée H-GRPO pour corriger cela. Voyez cela comme une nouvelle façon de noter les devoirs de l'étudiant, qui le force à montrer son raisonnement, étape par étape, avec des preuves.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le « Guess » de la Boîte Noire

Actuellement, ces modèles d'IA sont comme des « boîtes noires ». Vous insérez une image et une réponse en sort. Nous ne savons pas comment ils y sont arrivés. Ils peuvent avoir raison, mais pour de mauvaises raisons. C'est comme un étudiant qui trouve la bonne réponse à un problème de mathématiques, mais qui a utilisé la mauvaise formule ; il a eu de la chance, mais il n'a pas réellement appris.

2. La Solution : Le « Carnet du Détective »

Les auteurs proposent un nouveau cadre où l'IA n'est pas autorisée à donner simplement une réponse finale. Au lieu de cela, elle doit agir comme un détective remplissant un carnet structuré.

Pour chaque question, l'IA doit décomposer le problème en étapes minuscules. Pour chaque étape, elle doit écrire trois choses :

La Question : « Qu'est-ce que je regarde en ce moment ? » (ex : « Est-ce un plateau de muffins ? »)
La Réponse : « Oui, c'en est un. »
La Preuve : Un cadre spécifique dessiné autour du plateau de muffins dans la photo pour le prouver.

Cela transforme le processus de réflexion de l'IA, passant d'une supposition mystérieuse à une chaîne de faits transparents : Je vois un plateau de muffins (preuve ici) -> Je vois une veste blanche (preuve ici) -> Par conséquent, c'est un chef.

3. Le Défi : Différents Chemins vers la Même Vérité

C'est ici que cela devient complexe. Imaginez deux détectives résolvant le même crime.

Le Détective A regarde d'abord la chaussure, puis le chapeau, puis l'arme.
Le Détective B regarde d'abord l'arme, puis le chapeau, puis la chaussure.

Les deux détectives ont trouvé les mêmes indices et sont arrivés à la même conclusion. Si vous étiez un professeur strict, vous pourriez dire : « Détective A, vous avez regardé dans le mauvais ordre ! Vous avez zéro point. » Ce serait injuste.

L'innovation du papier, H-GRPO, est comme un professeur intelligent qui comprend que l'ordre n'importe pas, tant que les indices sont là. Il utilise un outil mathématique (appelé « Hungarian Matching » ou appariement hongrois) pour coupler les indices de l'étudiant avec les bons indices, peu importe l'ordre dans lequel ils ont été écrits. Il vérifie : « As-tu trouvé la chauss ? Oui. As-tu trouvé le chapeau ? Oui. Bon travail, même si tu l'as fait dans un ordre différent. »

4. Le Système de Récompense : « Montre-moi la Preuve »

Dans l'ancien système, l'IA ne recevait un « Bon travail ! » que si la réponse finale était correcte. Désormais, avec H-GRPO, l'IA n'est récompensée que si :

Elle a suivi le format du carnet.
Elle a trouvé la bonne réponse finale.
Crucialement : Chaque étape de son carnet est étayée par une partie spécifique de l'image.

Si l'IA essaie d'inventer un fait sans pointer un endroit précis dans la photo, elle reçoit une note faible. Cela force l'IA à arrêter de deviner et à commencer réellement à « voir » l'image.

5. Les Résultats : Mieux « Voir », et pas seulement « Savoir »

Les auteurs ont testé cette méthode sur divers puzzles impliquant des images.

Pour les tâches nécessitant un raisonnement spatial (comme déterminer où se trouvent les objets ou comment ils sont liés entre eux), la nouvelle méthode a fait des merveilles. L'IA est devenue bien meilleure pour ne pas se faire piéger par des raccourcis.
Pour les tâches nécessitant des connaissances approfondies (comme des questions scientifiques complexes), cela a aidé, mais l'IA a toujours besoin de connaître les faits au préalable. La méthode garantit que l'IA utilise correctement l'image, mais elle ne peut pas enseigner à l'IA des faits qu'elle ne connaît pas déjà.
Interprétabilité : Parce que l'IA doit écrire ses étapes et pointer la preuve, les humains peuvent réellement lire son « processus de pensée » et vérifier s'il est cohérent. Ce n'est plus une boîte noire ; c'est une boîte transparente.

Résumé

En bref, H-GRPO est une technique d'entraînement qui apprend aux modèles d'IA à être des détectives honnêtes. Au lieu de les laisser deviner la réponse en espérant que cela fonctionne, cela les force à :

Décomposer le problème en petites parties.
Pointer l'endroit exact dans la photo qui prouve chaque partie.
Être récompensés pour avoir trouvé les bons indices, même s'ils les trouvent dans un ordre différent de celui attendu.

Cela rend le raisonnement de l'IA plus fiable, moins sujet aux inventions et beaucoup plus facile à comprendre et à faire confiance pour les humains.

Résumé Technique : H-GRPO pour le Raisonnement Visuel Ancré

1. Énoncé du Problème

Les modèles de vision-langage (VLM) font actuellement face à un décalage critique entre une précision élevée sur les benchmarks et un raisonnement visuel fidèle. Bien que les modèles atteignent souvent des performances solides, ils s'appuient fréquemment sur des corrélations superficielles, ignorent les preuves visuelles pertinentes ou hallucinent des faits intermédiaires. Ce problème est exacerbé lorsque les VLM sont post-entraînés par apprentissage par renforcement (RL) ; optimiser uniquement la correction de la réponse finale peut amplifier le raisonnement par « raccourcis » plutôt qu'encourager une déduction ancrée dans les preuves.

Les méthodes existantes basées sur le RL (par exemple, R1-VL, Vision-R1) supervisent principalement le raisonnement textuel ou les résultats finaux sans ancrer les étapes intermédiaires dans des preuves visuelles localisées. À l'inverse, les méthodes d'ancrage (par exemple, Visual-RFT, ViGoRL) traitent la localisation comme un élément auxiliaire plutôt qu'intégral au processus de raisonnement. De plus, les jeux de données actuels manquent d'annotations à grande échelle capturant conjointement la structure du raisonnement, les réponses intermédiaires et les preuves spatiales spécifiques. Un défi clé dans l'entraînement de tels modèles est que les chemins de raisonnement valides ne sont pas uniques ; différents modèles peuvent résoudre la même question visuelle en utilisant différentes étapes intermédiaires ou ordres. La comparaison standard au niveau de la séquence pénalise le raisonnement correct simplement parce qu'il s'écarte d'un ordre de référence fixe.

2. Méthodologie

2.1 Décomposition du Raisonnement Ancré

Le cadre proposé force le modèle à décomposer une requête visuelle globale en une séquence de sous-tâches atomiques et vérifiables. Au lieu d'une inférence monolithique, le modèle génère une sortie structurée $y$ composée de :

Triplets Intermédiaires ( $\tau_i$ ) : Une séquence $\{ \tau_1, \dots, \tau_m \}$ ${τ_{1}, \dots, τ_{m}}$ où chaque triplet contient :
- $q_i$ : une sous-question.
- $a_i$ : une réponse intermédiaire.
- $b_i$ : une boîte de délimitation de l'évidence spatiale ( $[x_{min}, y_{min}, x_{max}, y_{max}]$ ) localisant le support visuel de la réponse.
Chemin de Raisonnement ( $r$ ) : Une synthèse en langage naturel des triplets.
Réponse Finale ( $a_{final}$ ) : La réponse concise à la question originale.

2.2 Synthèse de Données (GVRS)

Pour remédier au manque de données d'entraînement, les auteurs ont construit le jeu de données Grounded Visual Reasoning Synthesis (GVRS).

Pipeline : Un ensemble de référence de haute qualité de 40 exemples a été rédigé par GPT-4o et affiné via une vérification humaine (human-in-the-loop). La précision spatiale a été améliorée grâce à SAM3 pour le raffinement des boîtes.
Échelle : En utilisant un prompt système optimisé sélectionné via un score de récompense, 10 000 échantillons d'entraînement ont été générés à partir de quatre sources : Visual7W, Visual-CoT, A-OKVQA et ERQA.
Validation : Un sous-ensemble a été validé manuellement par des experts pour la cohérence logique, la justesse sémantique et la précision spatiale.

2.3 H-GRPO : Hungarian Group Relative Policy Optimization

L'innovation centrale est le H-GRPO, un cadre de RL invariant par permutation conçu pour gérer les chemins de raisonnement non uniques.

Appariement Invariant par Permutation : Au lieu de comparer les chaînes de raisonnement générées et de référence dans un ordre fixe, H-GRPO formule l'évaluation comme un problème d'appariement biparti entre l'ensemble des triplets prédits ( $\hat{D}$ ) et les triplets de référence ( $D^*$ ).
Métrique de Similitude : Une matrice de similitude $S$ est construite où chaque entrée $S_{ij}$ combine :
- L'existence et la compatibilité des boîtes de délimitation.
- La similitude cosinus Sentence-BERT pour les sous-questions ( $sim_q$ ) et les sous-réponses ( $sim_a$ ).
- L'Intersection over Union (IoU) pour le chevauchement spatial.
Algorithme Hongrois : L'assignation un-à-un optimale est trouvée à l'aide de l'algorithme hongrois pour maximiser le score de similitude total ( $S_{HS}$ ).
Fonction de Récompense : La récompense totale $R$ est une composition de :
1. Récompense de Format ( $R_{format}$ ) : Assure que la sortie respecte la structure des triplets (sous-questions, réponses, chemin de raisonnement, réponse finale).
2. Récompense de Raisonnement Hongrois ( $R_{HS}$ ) : Une récompense dense au niveau du processus dérivée du score d'appariement, avec un seuillage pour supprimer le raisonnement faible.
3. Récompense de Réponse Finale ( $R_{answer}$ ) : Activée uniquement si le raisonnement est suffisamment ancré (c'est-à-dire si $R_{HS}$ dépasse un seuil).
La formule est : $R = \alpha R_{format} + \beta R_{answer} \cdot R_{HS}$ .

Cette formulation garantit que le modèle ne reçoit des récompenses fortes que lorsque la réponse finale est correcte et dérivée d'étapes intermédiaires sémantiquement alignées et visuellement ancrées, quel que soit l'ordre dans lequel ces étapes sont générées.

3. Contributions Clés

Protocole de Décomposition du Raisonnement Ancré : Une nouvelle représentation des étapes de raisonnement sous forme de triplets (sous-question, sous-réponse, évidence spatiale), forçant l'externalisation explicite de l'évidence visuelle.
Pipeline de Synthèse de Données Scalable : Une méthode pour générer des traces de raisonnement ancrées étape par étape sans annotation manuelle extensive, créant le jeu de données GVRS.
Cadre H-GRPO : Un algorithme de RL invariant par permutation utilisant l'appariement hongrois pour aligner les étapes de raisonnement prédites et de référence, permettant des trajectoires de raisonnement flexibles tout en imposant la cohérence des preuves.
Protocole d'Évaluation Unifié : Une suite de métriques complète mesurant la correction des réponses, la fidélité de l'ancrage, l'alignement étape par étape et la dépendance à l'évidence visuelle.

4. Résultats Expérimentaux

La méthode a été évaluée sur des backbones VLM open-source (Qwen2.5-VL-3B et SmolVLM-2.2B) sur des benchmarks in-domain et out-of-distribution (OOD).

Performance In-Domain : H-GRPO a obtenu les meilleurs résultats sur A-OKVQA et Visual7W pour le backbone SmolVLM-2.2B (73,4 % et 77,2 %, respectivement), surpassant le SFT standard et le vanilla GRPO. Pour Qwen2.5-VL-3B, H-GRPO égale ou dépasse légèrement les performances SFT/GRPO, particulièrement sur Visual7W.
Généralisation Out-of-Distribution : H-GRPO a démontré une supériorité de généralisation sur les tâches de raisonnement spatial et géométrique. Il a obtenu les scores les plus élevés sur RealWorldQA, RoboSpatial (70,2 %) et MMStar. L'amélioration sur MMMU est modérée, suggérant que la méthode est plus efficace pour les tâches visuellement ancrées que pour le raisonnement pur basé sur les connaissances.
Interprétabilité : Évalué via LLM-as-a-Judge, les traces de raisonnement de H-GRPO ont obtenu les scores les plus élevés dans toutes les dimensions (Pertinence, Cohérence, Consistance, Clarté, Interprétabilité), surpassant significativement R1-VL, ViGoRL et Reason-RFT.
Analyse Qualitative : Les exemples montrent que le modèle parvient à ancrer avec succès le raisonnement de catégorie, spatial et d'action dans des régions spécifiques de l'image (par exemple, identifier un chef via une veste blanche et un comptoir de nourriture), réduisant ainsi le risque d'hallucinations non supportées.

5. Signification et Revendications

L'article affirme que H-GRPO résout le compromis entre la précision du raisonnement et la fidélité de l'ancrage. En imposant que chaque étape logique intermédiaire soit ancrée à une région visuelle spécifique, le cadre produit des chemins de raisonnement qui sont :

Vérifiables : Les humains et les fonctions de récompense peuvent inspecter l'évidence visuelle pour chaque étape.
Fidèles : La réponse finale émerge comme une conséquence logique de faits visuels vérifiés plutôt que d'une supposition statistique.
Flexibles : La récompense invariante par permutation permet des ordres de raisonnement valides et diversifiés, évitant la pénalisation d'une logique correcte qui suivrait simplement une séquence différente de la référence.

Les auteurs notent que bien que H-GRPO améliore considérablement les performances sur les tâches de localisation et de raisonnement spatial, il ne compense pas entièrement les lacunes de connaissances de domaine requises pour le raisonnement abstrait ou scientifique (par exemple, MMMU). Ils concluent que les travaux futurs devront étendre l'ancrage supervisé au raisonnement symbolique, basé sur des graphiques et au raisonnement multimodal à long contexte pour réaliser pleinement le potentiel de la déduction visuelle basée sur les preuves.