💻 computer science

All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models

Cet article identifie la tendance à l'effondrement de la diversité dans l'optimisation par politique de groupe (GRPO) qui limite la pensée divergente des modèles vision-langage, et propose une nouvelle méthode appelée MUPO pour encourager l'exploration de multiples stratégies de raisonnement et améliorer les performances.

Auteurs originaux : Xinyu Tian, Shu Zou, Zhaoyuan Yang, Mengqi He, Peter Tu, Jing Zhang

Publié 2026-04-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xinyu Tian, Shu Zou, Zhaoyuan Yang, Mengqi He, Peter Tu, Jing Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Problème : L'Expert qui oublie d'ouvrir les fenêtres

Imaginez que vous avez deux types de détectives pour résoudre une énigme complexe :

Le Détective "Base" (le modèle de départ) : C'est un explorateur curieux. S'il ne trouve pas la solution par la porte principale, il essaie la fenêtre, le toit, ou même le sous-sol. Il essaie plein de choses différentes, parfois de manière un peu désordonnée, mais il a une grande variété d'outils.
Le Détective "RL" (le modèle entraîné par Renforcement) : C'est un expert très pointu. Grâce à l'entraînement, il est devenu très rapide et très précis sur une seule méthode. S'il pense que la solution est dans le tiroir, il fouillera ce tiroir avec une précision chirurgicale.

Le constat de l'article :
Les chercheurs ont découvert quelque chose d'étonnant. Le détective expert (RL) est souvent plus fort quand on lui donne une seule chance de résoudre le problème. Il est très concentré.
Mais, si on lui donne plusieurs essais (comme si on lui disait "essaie encore !"), le détective explorateur (Base) gagne souvent. Pourquoi ? Parce que l'expert s'est enfermé dans une seule stratégie. S'il se trompe de tiroir, il continue de fouiller ce même tiroir, même si la réponse est ailleurs. Il a perdu sa capacité à explorer d'autres chemins.

C'est ce qu'on appelle la "collapse de la diversité" (l'effondrement de la diversité). Le modèle devient si bon sur une chose qu'il oublie tout le reste.

🚧 La Cause : L'entraînement qui rend trop rigide

L'article explique que la méthode actuelle d'entraînement (appelée GRPO) agit comme un professeur très strict qui dit : "Si tu trouves la bonne réponse en utilisant la méthode A, c'est parfait. N'essaie jamais la méthode B, même si elle pourrait marcher."

Au début de l'entraînement, le modèle essaie plein de choses. Mais très vite (en quelques étapes), il se dit : "Ah, la méthode A marche bien ! Je vais l'utiliser tout le temps." Il abandonne alors toutes les autres routes possibles. Il se retrouve coincé dans une impasse locale, incapable de voir la solution globale.

💡 La Solution : MUPO (L'Orchestre de Détectives)

Pour régler ce problème, les auteurs proposent une nouvelle méthode appelée MUPO (Multi-Group Policy Optimization).

Imaginez que vous ne faites pas travailler un seul détective, mais que vous divisez votre équipe en trois petits groupes distincts pour chaque énigme :

Groupe 1 : "Vous, vous allez essayer de résoudre ça en comptant les objets."
Groupe 2 : "Vous, vous allez essayer de le résoudre en éliminant les mauvaises réponses."
Groupe 3 : "Vous, vous allez essayer de le résoudre en dessinant un schéma."

La magie de MUPO :

Chaque groupe travaille sur sa propre stratégie (sa propre "route").
Le système récompense non seulement la bonne réponse, mais aussi le fait que les groupes soient différents les uns des autres.
Si le Groupe 1 trouve la solution, super ! Mais si le Groupe 2 trouve une autre façon de la trouver, c'est aussi une victoire.

Cela force le modèle à garder plusieurs "routes" ouvertes vers Rome. Au lieu de s'entêter sur un seul chemin, il explore plusieurs pistes en parallèle.

🏆 Les Résultats : Plus de routes, plus de succès

Grâce à cette méthode, le nouveau modèle (appelé MUPO-Thinker) devient le champion :

Il est aussi fort que l'expert sur une seule tentative.
Mais surtout, quand on lui donne plusieurs essais, il résout beaucoup plus de problèmes que n'importe qui d'autre.
Il évite les pièges : si une stratégie échoue, il a déjà une autre stratégie prête à l'emploi.

📝 En résumé

Le problème : Les modèles d'intelligence artificielle actuels deviennent trop spécialisés et perdent leur capacité à penser "hors des sentiers battus".
L'analogie : C'est comme un étudiant qui a appris par cœur une seule formule de maths. Si le problème change un peu, il est perdu.
La solution (MUPO) : Au lieu d'apprendre une seule formule, on apprend à l'étudiant à avoir trois ou quatre façons différentes d'aborder le problème.
Le résultat : On obtient une intelligence artificielle plus robuste, plus créative et capable de résoudre des problèmes complexes là où les autres échouent.

En bref, l'article nous dit : "Pour résoudre les problèmes les plus durs, il ne faut pas seulement un chemin rapide, il faut avoir plusieurs chemins à choisir."

1. Problématique et Contexte

Les modèles de vision et de langage (VLM) ont récemment intégré des capacités de raisonnement grâce à l'apprentissage par renforcement (RL), notamment via l'algorithme GRPO (Group Relative Policy Optimization). Bien que ces modèles RL surpassent souvent leurs homologues de base (base models) en termes de précision sur une seule tentative, les auteurs identifient une limitation fondamentale : la perte de la pensée divergente.

Le constat : Les modèles RL tendent à adopter un raisonnement "profond mais étroit". Ils convergent prématurément vers une stratégie dominante, négligeant d'autres voies de résolution potentielles. À l'inverse, les modèles de base, bien que moins raffinés sur un chemin unique, exhibent une pensée plus large et diversifiée, explorant plusieurs stratégies alternatives.
Le phénomène de "Diversity Collapse" (Effondrement de la diversité) : L'analyse des dynamiques d'entraînement montre que le GRPO provoque un effondrement rapide de la diversité des stratégies de raisonnement dès les premières étapes. Le modèle se concentre sur l'optimisation d'un sous-ensemble restreint de stratégies, ce qui le piège dans des optima locaux et limite sa capacité à résoudre des problèmes complexes nécessitant des approches non conventionnelles.
Conséquence : Cette convergence précoce nuit à l'évolutivité (scalability) du modèle lors de l'inférence, car il échoue à trouver des solutions correctes lorsque la stratégie dominante est inadéquate, là où un modèle de base aurait pu réussir en changeant d'approche.

2. Méthodologie : MUPO (Multi-Group Policy Optimization)

Pour résoudre ce problème, les auteurs proposent MUPO, une méthode de politique d'optimisation conçue pour remplacer le GRPO et encourager la pensée divergente tout en maintenant la profondeur du raisonnement.

Principes clés de MUPO :

Partitionnement en Groupes : Au lieu de traiter toutes les réponses générées comme un seul groupe (comme le fait GRPO), MUPO partitionne les $N$ réponses échantillonnées en $K$ groupes distincts basés sur la similarité de leurs embeddings de raisonnement (via un clustering contraint). Chaque groupe représente une "mode" ou une stratégie de raisonnement différente.
Estimation Locale des Avantages : Contrairement au GRPO qui calcule les avantages globalement, MUPO calcule les avantages ( $\hat{A}$ ) localement au sein de chaque groupe. Cela permet à chaque stratégie de se raffiner indépendamment sans être noyée par la dominance d'une seule stratégie globale.
Récompense de Diversité (Diversity Reward) : C'est le cœur de l'innovation. MUPO introduit une récompense supplémentaire ( $R_{div}$ $R_{d i v}$ ) qui pénalise la proximité entre les groupes et encourage la séparation.
- Pour une trajectoire donnée, la récompense de diversité est calculée comme la distance moyenne (cosinus) entre son embedding de raisonnement et ceux des réponses des autres groupes.
- Cette récompense est pondérée par un facteur $\lambda$ qui suit un calendrier d'annélation (cosine schedule) : élevé au début pour favoriser l'exploration large, puis diminuant progressivement pour permettre l'exploitation des meilleures stratégies découvertes.
Objectif d'Optimisation : La fonction objectif est une somme pondérée des objectifs GRPO de chaque groupe, équilibrée par un facteur de charge ( $w_k$ ) pour éviter qu'un groupe trop grand ne domine l'apprentissage.

3. Contributions Clés

Identification d'une distinction fondamentale : Mise en évidence que les modèles RL (via GRPO) sacrifient la diversité des stratégies au profit d'une profondeur excessive sur un chemin unique, tandis que les modèles de base conservent une capacité supérieure à explorer des solutions alternatives.
Analyse de l'effondrement de la diversité : Démonstration empirique que le GRPO entraîne une convergence prématurée vers un sous-ensemble de stratégies, limitant la scalabilité et la robustesse du modèle.
Proposition de MUPO : Développement d'un algorithme simple mais efficace qui intègre la diversité comme objectif d'optimisation explicite, permettant aux modèles de maintenir un répertoire de stratégies tout en les affinant.
Validation empirique : Démonstration que MUPO surpasse les modèles de base et les modèles RL existants sur des benchmarks complexes, prouvant que la diversité améliore la probabilité de trouver la solution globale optimale.

4. Résultats Expérimentaux

Les auteurs ont évalué MUPO-Thinker (basé sur Qwen2.5-VL de 3B et 7B paramètres) sur neuf benchmarks de raisonnement (MathVerse, MathVista, LogicVista, HallusionBench, etc.).

Performance Globale :
- MUPO-Thinker-7B a établi un nouvel état de l'art (SOTA), dépassant les meilleurs résultats précédents de 2,5 % en moyenne sur les benchmarks mathématiques (Acc@1) et de 2,3 % sur les benchmarks généraux.
- Sur le modèle 3B, MUPO a surpassé les modèles de base et les modèles RL concurrents de la même échelle, comblant l'écart de performance avec des modèles plus grands.
Évolutivité au Test (Test-Time Scaling) :
- L'indicateur clé Acc@4 (probabilité d'avoir au moins une réponse correcte parmi 4 tentatives) a montré des gains massifs. MUPO-Thinker-7B a amélioré l'Acc@4 de 6,0 % sur les benchmarks mathématiques et 6,2 % sur les benchmarks généraux par rapport aux meilleurs modèles RL existants.
- Cela confirme que la diversité des stratégies permet au modèle de réussir là où une approche unique échoue.
Analyse Qualitative :
- Les visualisations t-SNE montrent que contrairement au GRPO qui produit des embeddings concentrés (monomodaux), MUPO maintient une structure multimodale large, couvrant différents espaces de solutions.
- Dans des cas d'échec pour le GRPO (ex: comptage d'objets ou géométrie), MUPO réussit souvent en adoptant une stratégie alternative (ex: soustraction par exclusion au lieu du comptage séquentiel).

5. Signification et Impact

Ce travail remet en question l'hypothèse selon laquelle l'apprentissage par renforcement doit nécessairement converger vers une seule stratégie optimale. Il démontre que :

La diversité est une ressource critique pour le raisonnement complexe, surtout dans les tâches visuelles où plusieurs approches peuvent mener à la solution.
L'approche MUPO offre un mécanisme efficace pour équilibrer l'exploration (diversité) et l'exploitation (précision) sans nécessiter de modifications architecturales complexes.
Cette méthode permet de débloquer le potentiel des modèles de base, leur permettant d'atteindre des performances supérieures à celles des modèles RL traditionnels tout en conservant une flexibilité de raisonnement proche de celle des humains.

En résumé, MUPO propose une nouvelle voie pour l'entraînement des VLM, transformant le RL d'un outil de convergence étroite en un moteur de découverte de solutions globales via la pensée divergente.