💬 NLP

EEPO: Exploration-Enhanced Policy Optimization via Sample-Then-Forget

Le papier présente EEPO, une méthode d'optimisation de politique qui améliore l'exploration dans l'apprentissage par renforcement pour les grands modèles de langage en utilisant un mécanisme « échantillonner puis oublier » avec un désapprentissage adaptatif pour briser les boucles de renforcement des modes dominants et surpasser les performances de GRPO sur plusieurs benchmarks de raisonnement.

Auteurs originaux : Liang Chen, Xueting Han, Qizhou Wang, Bo Han, Jing Bai, Hinrich Schutze, Kam-Fai Wong

Publié 2026-04-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Liang Chen, Xueting Han, Qizhou Wang, Bo Han, Jing Bai, Hinrich Schutze, Kam-Fai Wong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : L'Étudiant qui Apprend par Cœur (et qui échoue)

Imaginez un étudiant très intelligent (c'est l'Intelligence Artificielle) qui prépare un examen de mathématiques très difficile. Pour apprendre, il utilise une méthode appelée RLVR (Apprentissage par Renforcement avec Récompenses Vérifiables).

Voici comment cela fonctionne habituellement :

L'étudiant essaie de résoudre un problème.
S'il trouve la bonne réponse, il reçoit un point (une récompense).
S'il se trompe, il ne reçoit rien.

Le piège (l'effondrement de l'entropie) :
Au début, l'étudiant essaie plein de méthodes différentes : il dessine, il compte sur ses doigts, il utilise une formule compliquée... C'est l'exploration.
Mais très vite, il découvre qu'une méthode spécifique fonctionne souvent. Il se dit : "Super, je vais juste répéter cette méthode encore et encore !"
C'est ce qu'on appelle l'exploitation.

Le problème, c'est que l'étudiant devient un robot. Il oublie toutes les autres méthodes. Il ne fait plus que répéter la même chose, même si cette méthode a des failles.

Résultat : Il devient excellent sur les exercices qu'il a déjà vus (il "mémorise"), mais dès qu'on lui pose une question un peu différente (un problème nouveau), il est perdu. Il a perdu sa capacité à innover.

💡 La Solution : EEPO (Le "Oubli Stratégique")

Les chercheurs ont inventé une méthode appelée EEPO (Optimisation de Politique Améliorée par l'Exploration). Leur idée géniale ? Forcer l'étudiant à oublier ce qu'il vient de faire pour l'obliger à chercher autre chose.

Imaginez que l'étudiant passe un examen en deux temps, avec un petit exercice bizarre entre les deux :

1. La première moitié : Il écrit ses réponses

L'étudiant résout la moitié des problèmes. Il trouve des solutions, peut-être même les mêmes solutions qu'il a trouvées mille fois.

2. L'étape magique : "Efface et Oublie" (Sample-Then-Forget)

Avant de passer à la deuxième moitié, on lui dit : "Attends ! Oublie tout ce que tu viens d'écrire sur ta première moitié !"
Ce n'est pas un oubli permanent. C'est comme si on lui mettait un bandeau sur les yeux pour les réponses qu'il vient de donner.

L'analogie : C'est comme si vous aviez trouvé un chemin pour sortir d'un labyrinthe, mais avant de continuer, on vous efface la carte mentale de ce chemin. Vous êtes obligé de chercher un autre chemin pour avancer.

3. La deuxième moitié : Il doit innover

Maintenant, l'étudiant doit résoudre la deuxième moitié des problèmes. Comme il a "oublié" la première méthode (la plus facile), son cerveau est forcé d'explorer des chemins nouveaux, des méthodes différentes, des idées folles.

🚀 Pourquoi ça marche ?

En utilisant cette technique de "Prendre un échantillon, puis Oublier", l'IA évite le piège de la répétition.

Sans EEPO : L'IA reste coincée dans une boucle. Elle répète toujours la même chose car c'est ce qui lui a rapporté des points avant. C'est comme un chien qui tourne en rond dans son jardin.
Avec EEPO : L'IA est obligée de sortir du jardin. Elle découvre des chemins qu'elle n'aurait jamais osé prendre. Elle devient plus créative et plus robuste.

🏆 Les Résultats

Les chercheurs ont testé cette méthode sur des modèles d'intelligence artificielle très puissants (comme Qwen et Llama) avec des problèmes de mathématiques de niveau olympique.

Le résultat : Les modèles utilisant EEPO sont devenus bien meilleurs que les autres. Ils ont non seulement mieux résolu les problèmes connus, mais ils ont aussi réussi à résoudre des problèmes nouveaux qu'ils n'avaient jamais vus, là où les autres modèles échouaient.
L'efficacité : Le plus beau, c'est que cette méthode ne prend pas beaucoup plus de temps à apprendre. C'est comme si on avait donné à l'étudiant un super-pouvoir d'exploration sans lui faire perdre de temps.

En résumé

Imaginez un chef cuisinier qui a trouvé une recette parfaite.

La méthode classique : Il prépare le même plat tous les jours. Il devient très rapide, mais il ne sait plus cuisiner autre chose.
La méthode EEPO : Après avoir cuisiné le plat, on lui dit : "Oublie cette recette !". Il est alors obligé d'inventer un nouveau plat pour le repas suivant. Résultat : il devient un chef polyvalent capable de gérer n'importe quelle situation, même avec des ingrédients inconnus.

C'est exactement cela que fait EEPO : il empêche l'IA de s'endormir sur ses lauriers en lui faisant "oublier" temporairement ses succès récents pour l'obliger à explorer de nouvelles possibilités.

1. Problématique : L'Effondrement de l'Entropie en RLVR

L'article aborde un défi central dans l'apprentissage par renforcement avec récompenses vérifiables (RLVR) pour les grands modèles de langage (LLM) : l'équilibre entre exploration et exploitation.

Le contexte : Les méthodes actuelles, telles que l'optimisation de politique relative de groupe (GRPO), sont utilisées pour entraîner des modèles de raisonnement (ex: OpenAI o1, DeepSeek-R1). Cependant, leur nature exploitatrice tend à privilégier les trajectoires à haute récompense.
Le phénomène observé : Les auteurs identifient un phénomène d'effondrement de l'entropie (entropy collapse). Au fur et à mesure que l'entraînement progresse, la politique devient de plus en plus déterministe, se concentrant sur un ou plusieurs modes de réponse dominants.
La boucle de renforcement : Une fois qu'un mode dominant (souvent correct) est échantillonné et récompensé, la politique amplifie sa probabilité tout en supprimant les alternatives. Cela crée une boucle de renforcement où le modèle répète indéfiniment les mêmes stratégies, empêchant la découverte de stratégies de raisonnement alternatives potentiellement supérieures.
Conséquences : Bien que la précision sur les données d'entraînement (in-distribution) augmente, la capacité de généralisation sur des benchmarks hors distribution (OOD) se dégrade fortement. Le modèle "sur-apprend" la distribution d'entraînement au lieu de découvrir des motifs de raisonnement robustes.
Limites des solutions actuelles : Les approches existantes pour favoriser l'exploration (augmentation de la température d'échantillonnage, régularisation par entropie, ajustement des seuils de clipping comme dans DAPO) augmentent le bruit de manière indiscriminée. Elles ne parviennent pas à déplacer la masse de probabilité loin des modes dominants et peuvent même déstabiliser l'entraînement ou réduire les performances.

2. Méthodologie : EEPO (Exploration-Enhanced Policy Optimization)

Pour briser cette boucle de renforcement, les auteurs proposent EEPO, un cadre qui introduit un mécanisme de "Sample-Then-Forget" (Échantillonner puis Oublier) directement dans le processus de déroulement (rollout).

Le mécanisme en deux étapes

Contrairement à GRPO qui échantillonne toutes les trajectoires à partir d'un modèle fixe, EEPO divise le processus de génération de $G$ trajectoires en deux phases séparées par une étape d'oubli :

Phase 1 (Échantillonnage) : Le modèle de déroulement ( $\pi_{rollout}$ ) génère la moitié des trajectoires ( $G/2$ ).
Étape d'Oubli (Unlearning) : Le modèle de déroulement subit une mise à jour de gradient légère et temporaire pour "oublier" les réponses刚刚 échantillonnées. Cela supprime temporairement la probabilité de ces modes dominants.
Phase 2 (Échantillonnage) : Les $G/2$ trajectoires restantes sont échantillonnées à partir du modèle mis à jour. Grâce à la suppression des modes dominants, le modèle est forcé d'explorer d'autres régions de l'espace de sortie (modes alternatifs).
Optimisation : Toutes les $G$ trajectoires sont utilisées pour calculer les avantages et mettre à jour la politique principale via l'objectif GRPO standard.

Conception de l'Oubli Adaptatif

Pour rendre cet oubli efficace et ciblé, trois choix de conception sont introduits :

Activation conditionnée à l'entropie : L'oubli n'est déclenché que lorsque l'entropie de la politique chute en dessous d'un seuil $\alpha$ . Cela évite d'interférer avec une exploration saine et ne s'active que lors des phases de collapse.
Perte d'oubli complémentaire : Au lieu d'utiliser la log-vraisemblance négative standard (qui pénalise les faibles probabilités), EEPO utilise une perte complémentaire : $L = \log(1 - \pi)$ . Cette fonction pénalise davantage les tokens à haute probabilité (les modes dominants) et faiblement les autres, forçant le modèle à réduire la confiance sur les réponses récentes.
Mise à jour unique et temporaire : L'oubli est réalisé par une seule étape de gradient sur le modèle de déroulement (synchronisé avec la politique au début de l'itération). Cet effet est éphémère et confiné à la phase de déroulement de l'itération courante, ne modifiant pas les paramètres de la politique d'optimisation elle-même.

3. Contributions Clés

Identification du mécanisme de boucle de renforcement : Analyse détaillée montrant comment l'exploitation excessive dans GRPO conduit à un effondrement de l'entropie et à une mauvaise généralisation OOD.
Nouveau paradigme d'exploration : Introduction du mécanisme "Sample-Then-Forget" qui agit directement sur la dynamique de déroulement pour perturber les modes dominants, plutôt que d'ajouter du bruit aléatoire.
Efficacité computationnelle : La méthode ajoute une charge computationnelle négligeable (une seule étape de gradient légère) tout en maintenant l'efficacité de l'entraînement comparable au GRPO standard.
Démonstration empirique : Validation sur trois familles de modèles (Qwen2.5-3B, Llama3.2-3B-Instruct, Qwen3-8B-Base) et cinq benchmarks de raisonnement mathématique.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks de raisonnement mathématique difficiles (Minerva Math, OlympiadBench, AMC 2023, AIME 2024/2025).

Améliorations de performance : EEPO surpasse systématiquement GRPO et ses variantes (température élevée, entropie accrue, DAPO, plus de rollouts).
- Gain moyen relatif de 24,3 % sur Qwen2.5-3B.
- Gain moyen relatif de 33,0 % sur Llama3.2-3B-Instruct.
- Gain moyen relatif de 10,4 % sur Qwen3-8B-Base.
Généralisation : Contrairement à GRPO qui voit ses performances OOD se dégrader, EEPO maintient une forte capacité de généralisation sur des benchmarks comme AMC 2023, grâce au maintien d'une entropie plus élevée.
Dynamique d'entraînement :
- Entropie : EEPO maintient une entropie stable tout au long de l'entraînement, tandis que GRPO subit un effondrement rapide. L'entropie de la Phase 2 est significativement plus élevée que celle de la Phase 1, prouvant l'efficacité de l'exploration forcée.
- Qualité de génération : La longueur des réponses et les récompenses moyennes restent comparables à GRPO, indiquant que l'exploration ne se fait pas au détriment de la qualité.
- Efficacité : EEPO atteint des temps d'entraînement comparables au GRPO standard, alors que les méthodes basées sur une température élevée ralentissent considérablement l'entraînement (génération de réponses plus longues et inefficaces).

5. Signification et Impact

L'article EEPO propose une solution élégante et pratique au compromis exploration-exploitation en RLVR. En repensant le processus de déroulement pour inclure une suppression temporaire des réponses récentes, il brise la boucle de renforcement qui mène à l'effondrement de l'entropie.

Avantage théorique : Il démontre que l'exploration ciblée (en perturbant les modes dominants) est plus efficace que l'exploration indiscriminée (ajout de bruit).
Praticité : La méthode est légère, ne nécessite pas de changements majeurs dans l'architecture du modèle ou l'objectif de perte principal, et s'intègre facilement dans les pipelines d'entraînement existants comme GRPO.
Généralité : Les résultats montrent que cette approche est robuste, fonctionnant aussi bien sur des modèles de 3B que de 8B paramètres, et sur des modèles de base ou instruits.

En conclusion, EEPO offre un mécanisme robuste pour améliorer la capacité de raisonnement des LLMs en assurant une exploration continue et diversifiée, évitant ainsi le piège de l'overfitting sur des stratégies de raisonnement sous-optimales.