🤖 machine learning

From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

Cet article propose une méthode d'apprentissage par renforcement avec récompenses vérifiables (RLVR) en deux étapes pour les modèles de langage multimodaux, qui combine une maximisation puis une minimisation de l'entropie au niveau des tokens pour améliorer la tolérance au bruit des données et la performance du modèle.

Auteurs originaux : Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Donglai Xu, Hongzheng Yang, Yuzhi Zhao, Pingping Zhang, Jinpeng Chen, Wenao Ma, Zhijian Hou, Mengyang Wu, Xiaolei Li, Senkang Hu, Ziyi Guan, Jason Chun Lok Li, Lai Man Po

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎓 Le Problème : Apprendre avec un Professeur qui fait des erreurs

Imaginez que vous entraînez un robot très intelligent (un Modèle de Langage Multimodal, ou MLLM) pour qu'il comprenne des images et réponde à des questions complexes. Pour qu'il apprenne, on lui donne des exercices avec des corrigés.

Le problème, c'est que dans la vraie vie, ces corrigés sont souvent bruyants (pleins d'erreurs). C'est comme si votre professeur vous donnait des réponses fausses 50 % du temps.

Si le robot essaie d'apprendre bêtement de ces erreurs :

Il va mémoriser les mauvaises réponses (il devient confiant mais faux).
Il va arrêter d'essayer de nouvelles choses par peur de se tromper (il perd sa créativité).

Les méthodes actuelles pour apprendre avec ces erreurs sont soit trop rigides, soit trop floues.

💡 La Solution : Une Méthode en Deux Temps (Exploration puis Exploitation)

Les auteurs de ce papier proposent une astuce géniale appelée "Approche à deux étages basée sur l'entropie".

Pour faire simple, ils changent la façon dont le robot apprend en deux phases distinctes, comme un voyage en deux étapes :

🧭 Étape 1 : L'Exploration (Le "Je me lance !")

Au début de l'entraînement, quand le robot est encore confus et que les corrigés sont pleins d'erreurs, on lui dit : "Sois le plus bizarre possible !"

L'analogie : Imaginez un explorateur dans une jungle inconnue. Au lieu de suivre un seul sentier (qui pourrait être un piège), il essaie tous les chemins possibles : grimper aux arbres, traverser les rivières, creuser sous terre.
Le but technique : On maximise l'"entropie" (c'est-à-dire la diversité et l'imprévisibilité des réponses). Cela empêche le robot de se figer trop vite sur une mauvaise réponse donnée par un "professeur" incompétent. Il garde son esprit ouvert et génère plein de solutions différentes.

🎯 Étape 2 : L'Exploitation (Le "Je me concentre !")

Une fois que le robot a bien exploré et qu'il a commencé à comprendre la logique des choses, on change de stratégie. On lui dit : "Maintenant, sois le plus précis et confiant possible !"

L'analogie : L'explorateur a trouvé la bonne sortie de la jungle. Maintenant, il ne s'égare plus. Il suit le chemin le plus direct et le plus sûr pour arriver à destination.
Le but technique : On minimise l'"entropie". Le robot arrête de générer des réponses bizarres et se concentre sur la réponse la plus probable et la plus juste, consolidant ce qu'il a appris.

🚀 Pourquoi ça marche si bien ?

La grande innovation, c'est de ne pas rester bloqué dans l'une ou l'autre de ces phases.

Si on reste trop longtemps en mode "Exploration", le robot ne finit jamais rien (il est trop dispersé).
Si on passe trop vite en mode "Exploitation", le robot se trompe et ne se corrige jamais (il suit aveuglément les mauvaises étiquettes).

En passant doucement de l'un à l'autre (comme un chef d'orchestre qui fait d'abord jouer tous les instruments en même temps pour tester, puis qui dirige la symphonie finale), le robot devient incroyablement résistant aux erreurs.

📊 Les Résultats Concrets

Les chercheurs ont testé cette méthode sur différents modèles (comme Qwen et InternVL) et différentes tâches (comprendre des interfaces d'ordinateur, classer des images d'animaux, etc.).

Résultat : Même avec 100 % de mauvaises étiquettes (un professeur qui ment tout le temps), leur méthode permet au robot d'obtenir de très bons résultats.
Comparaison : C'est comme si, alors que les autres élèves échouaient face à un professeur menteur, votre élève utilisait cette méthode pour deviner la bonne réponse en observant les erreurs des autres et en gardant son propre jugement.

🏁 En résumé

Ce papier nous apprend que pour apprendre avec des données imparfaites, il ne faut pas être trop pressé. Il faut d'abord oser explorer et faire des erreurs pour ne pas se tromper de chemin, puis se concentrer pour perfectionner la solution. C'est un équilibre parfait entre la curiosité et la rigueur.

1. Problématique

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) a démontré une grande efficacité pour améliorer les capacités de raisonnement des Modèles de Langage Multimodaux (MLLM), notamment via l'algorithme GRPO (Group Relative Policy Optimization). Cependant, cette approche repose fortement sur des données étiquetées de haute qualité. Dans les scénarios réels, les jeux de données sont souvent contaminés par du bruit d'annotation (étiquettes incorrectes).

Les défis majeurs identifiés sont :

Sur-ajustement au bruit : Les méthodes RLVR standard ont tendance à sur-ajuster aux étiquettes erronées.
Perte de diversité : Pour que GRPO fonctionne bien, il faut une diversité de réponses au sein d'un groupe pour estimer correctement l'avantage (advantage estimation). Le bruit et l'optimisation naïve (comme la minimisation pure de l'entropie) suppriment cette diversité, conduisant à un effondrement du modèle vers des comportements déterministes sous-optimaux.
Limites des approches existantes :
- Les méthodes basées sur des signaux externes (ex: compilateurs, LLM-juges) sont coûteuses ou spécifiques à une tâche.
- Les méthodes basées sur des signaux internes (récompenses aléatoires ou de format) manquent de précision.
- Les méthodes basées sur l'entropie (minimisation ou maximisation pure) échouent à gérer la dynamique nécessaire : la minimisation pure étouffe l'exploration, tandis que la maximisation pure empêche la convergence.

2. Méthodologie : Approche à Deux Étapes Guidée par l'Entropie

Les auteurs proposent une méthode novatrice qui schedule dynamiquement l'optimisation de l'entropie au niveau des tokens pour guider le modèle d'une phase d'exploration vers une phase d'exploitation.

A. Entropie au niveau des Tokens

Au lieu de mesurer l'incertitude au niveau de la séquence entière, la méthode calcule l'entropie pour chaque token généré. Cela permet une régularisation plus fine de l'incertitude du modèle à chaque étape de génération.

B. Le Schedule à Deux Étapes

L'objectif global combine la perte GRPO standard ( $\mathcal{L}_{GRPO}$ ) avec une perte d'entropie pondérée par un coefficient $\lambda(\tau)$ qui varie selon l'étape d'entraînement $\tau$ :
$\mathcal{L}_{total} = \mathcal{L}_{GRPO} + \lambda(\tau) \mathcal{L}_{entropy}$

Phase 1 : Exploration (Maximisation de l'entropie)
- Objectif : Maximiser l'entropie des tokens ( $\lambda > 0$ ).
- But : Encourager la diversité des sorties. Cela empêche le modèle de converger prématurément vers des étiquettes bruyantes incorrectes et garantit une variation intra-groupe suffisante pour que GRPO puisse estimer les avantages de manière fiable.
Phase 2 : Exploitation (Minimisation de l'entropie)
- Objectif : Minimiser l'entropie des tokens ( $\lambda < 0$ ).
- But : Une fois que le modèle a exploré l'espace des solutions, cette phase encourage des sorties confiantes et déterministes, consolidant les connaissances acquises et affinant la précision.

Le point de basculement ( $\tau_{switch}$ ) est un hyperparamètre clé (souvent autour de 80% des étapes d'entraînement) qui permet de passer de l'exploration à l'exploitation.

3. Contributions Clés

Analyse de la robustesse RLVR : Une évaluation systématique de l'impact du bruit d'annotation sur les MLLM pour des tâches multimodales (ancrage GUI, classification fine, détection d'objets).
Identification des limites : Démonstration que ni la minimisation ni la maximisation pure de l'entropie ne sont optimales sous un bruit élevé, et que le GRPO standard, bien que robuste, peut être amélioré.
Proposition d'une méthode hybride : Introduction d'un schedule d'entropie à deux états ("Max puis Min") qui équilibre exploration et exploitation sans sacrifier la stabilité de la convergence.
Validation extensive : Expérimentation sur plusieurs architectures (Qwen2-VL, Qwen2.5-VL, InternVL), différentes tailles de modèles et multiples tâches.

4. Résultats Expérimentaux

Les expériences ont été menées sur des tâches d'ancrage GUI (ScreenSpot), de classification fine (Pets37) et de détection d'objets à vocabulaire ouvert (OVOD), avec des taux de bruit d'annotation allant de 0% à 100%.

Performance sous bruit élevé :
- Sur le jeu de données ScreenSpot avec 50% de bruit, la méthode proposée atteint 80,2% de précision, surpassant le GRPO standard (76,2%) et toutes les autres méthodes de base.
- Avec 100% de bruit (aucune étiquette correcte), la méthode maintient une performance solide (75,8%), dépassant largement le GRPO standard (71,0%).
Généralisation Hors Distribution (OOD) :
- La méthode démontre une meilleure capacité de transfert vers des benchmarks non vus (ScreenSpot-Pro, OS-World-G, MMBench-GUI), indiquant que l'exploration initiale aide à apprendre des concepts plus robustes plutôt que de mémoriser le bruit.
Analyse Qualitative :
- Les traces de raisonnement (Chain-of-Thought) générées par la méthode à deux étapes sont à la fois diversifiées (pour résister au bruit) et cohérentes (pour converger vers la bonne réponse), contrairement aux méthodes qui convergent trop vite vers une seule trajectoire erronée.
Évolutivité : Les gains sont particulièrement prononcés sur les modèles plus grands (ex: Qwen2-VL-7B), suggérant une bonne scalabilité.

5. Signification et Impact

Cet article apporte une contribution significative à la communauté du RLVR et des MLLM en démontrant que :

L'entropie doit être dynamique : Une optimisation statique de l'entropie est insuffisante pour gérer le bruit. Le passage contrôlé de l'exploration à l'exploitation est crucial.
Robustesse aux données imparfaites : Il est possible d'entraîner des modèles multimodaux performants même avec des jeux de données fortement bruités, à condition d'utiliser des mécanismes de régularisation adaptés comme le schedule d'entropie proposé.
Amélioration de GRPO : La méthode offre une amélioration simple mais puissante de l'algorithme GRPO, le rendant plus applicable aux scénarios réels où l'étiquetage parfait est rare ou coûteux.

En résumé, cette approche "From Exploration to Exploitation" transforme la gestion de l'incertitude en un atout stratégique, permettant aux MLLM d'apprendre efficacement malgré le bruit, tout en maintenant une haute précision sur des tâches complexes de raisonnement visuel.