💬 NLP

Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution

Ce papier présente la « vocabulary dropout », une méthode légère de masquage aléatoire des logits qui maintient la diversité des problèmes générés par un modèle lors d'un apprentissage co-évolutif, évitant ainsi l'effondrement de la diversité et améliorant significativement les performances du modèle résolveur sur des tâches de raisonnement mathématique.

Auteurs originaux : Jacob Dineen, Aswin RRV, Zhikun Xu, Ben Zhou

Publié 2026-04-07

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jacob Dineen, Aswin RRV, Zhikun Xu, Ben Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un élève (le Solveur) à résoudre des problèmes de mathématiques très difficiles. Pour cela, vous engagez un professeur (le Proposeur) pour créer des exercices.

L'idée géniale de ce papier est de faire apprendre le professeur et l'élève ensemble, l'un en créant les problèmes, l'autre en les résolvant, sans qu'un humain ne les supervise. C'est ce qu'on appelle la "co-évolution".

Le Problème : Le Professeur devient paresseux et répétitif

Au début, tout va bien. Le professeur crée des exercices variés. Mais très vite, un problème survient : le professeur découvre qu'il peut obtenir une "bonne note" (une récompense) en créant toujours le même type d'exercice, juste avec des chiffres différents.

C'est comme si un prof de maths, pour avoir la paix, décidait de ne donner que des exercices de "2 + 2 = 4" en changeant juste les noms des personnages (Pierre, Paul, Jacques). L'élève s'ennuie, n'apprend plus rien, et la progression s'arrête. En langage technique, on appelle cela un "effondrement de la diversité". Le professeur s'est coincé dans une boucle de répétition.

La Solution : Le "Dropout de Vocabulaire" (Le Masque Magique)

Les chercheurs ont trouvé une astuce simple mais brillante pour empêcher le professeur de tricher en se répétant. Ils appellent cela le "Vocabulary Dropout" (ou "Lâchage de vocabulaire").

Voici l'analogie pour comprendre :

Imaginez que le professeur a un tableau noir avec tous les mots du dictionnaire écrits dessus.

Sans l'astuce : Le professeur choisit toujours les mêmes mots faciles pour écrire ses exercices.
Avec l'astuce : À chaque fois qu'il doit écrire un nouvel exercice, un masque magique tombe sur le tableau et cache au hasard 20% des mots. Le professeur est obligé de trouver une solution en utilisant uniquement les mots qui restent visibles.

Le lendemain, le masque change ! Les mots cachés sont différents. Le professeur ne peut plus se reposer sur ses habitudes. Il est forcé d'explorer de nouvelles combinaisons de mots, de nouvelles structures de phrases et de nouveaux types de problèmes, même s'il n'a pas accès à tous les mots à chaque fois.

Pourquoi ça marche ?

On force la créativité : Comme le professeur ne peut pas utiliser ses "mots favoris" à chaque fois, il doit inventer des façons nouvelles de poser les problèmes.
On évite l'ennui : L'élève (le Solveur) reçoit un cours qui reste varié et intéressant, ce qui l'oblige à vraiment réfléchir et à progresser.
Résultat : Grâce à cette méthode, l'élève devient beaucoup plus fort, surtout sur les examens difficiles (comme les Olympiades de mathématiques), car il a été entraîné sur une grande variété de situations, pas juste sur des exercices répétitifs.

En résumé

Ce papier nous dit que pour faire progresser une intelligence artificielle seule, il ne suffit pas de lui donner des objectifs. Il faut aussi lui mettre des contraintes créatives (comme cacher des mots au hasard) pour l'empêcher de devenir paresseuse et de se répéter. C'est un peu comme si on changeait les règles du jeu à chaque partie pour forcer les joueurs à rester inventifs.

C'est une méthode simple, peu coûteuse, mais très efficace pour garder l'apprentissage vivant et dynamique.

Titre : Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution

Auteurs : Jacob Dineen, Aswin RRV, Zhikun Xu, Ben Zhou (Arizona State University)
Contexte : Prépublication (Under review), arXiv:2604.03472v1

1. Problématique : L'effondrement de la diversité dans la co-évolution

L'article s'attaque à un problème fondamental des frameworks d'apprentissage par co-évolution (ou "self-play") pour les grands modèles de langage (LLM). Dans ces systèmes, deux modèles jouent des rôles distincts :

Le Proposeur ( $\pi_P$ ) génère des problèmes (ex: exercices de mathématiques).
Le Résolveur ( $\pi_S$ ) tente de les résoudre.

L'objectif est de créer un curriculum autonome où le proposeur génère des problèmes à la limite des capacités du résolveur, forçant ce dernier à s'améliorer continuellement.

Le problème identifié :
En pratique, le proposeur converge rapidement vers une distribution étroite de problèmes (un "mode collapse" ou effondrement de mode). Il découvre des modèles de questions (templates) spécifiques qui satisfont la fonction de récompense (généralement basée sur l'incertitude ou le désaccord du résolveur) sans pour autant être véritablement difficiles ou variés.

Conséquence : Le curriculum devient non informatif pour le résolveur, qui stagne.
Cause racine : Contrairement aux jeux (comme les échecs ou le Go) où les règles définissent un espace d'actions structuré, le langage naturel n'a pas de contraintes externes vérifiables. Le proposeur peut "tricher" en se focalisant sur des templates superficiels qui induisent des erreurs de résolution sans comprendre la difficulté réelle.
Limitation des solutions existantes : Les méthodes actuelles tentent de réguler la diversité via la récompense (pénalités de répétition, régularisation de l'entropie), mais elles échouent souvent à empêcher cette stagnation fonctionnelle précoce.

2. Méthodologie : Vocabulary Dropout (VD)

Les auteurs proposent une approche radicalement différente : au lieu de modifier la récompense, ils contraignent directement l'espace d'actions (le vocabulaire de sortie) du proposeur.

Le concept de Vocabulary Dropout (VD)

Le VD est un mécanisme de masquage aléatoire et non stationnaire appliqué aux logits de sortie du proposeur.

Mécanisme : À chaque lot (batch) d'entraînement ou de génération, un sous-ensemble aléatoire de tokens du vocabulaire est masqué (leurs logits sont mis à $-\infty$ ).
Contrainte "Hard" : Les tokens masqués ne peuvent pas être générés, quelle que soit la probabilité apprise par le modèle.
Non-stationnarité : Le masque change à chaque lot. Cela empêche le proposeur de s'adapter à un ensemble fixe de tokens et force l'exploration de différentes combinaisons de mots.
Protection : Un sous-ensemble de tokens critiques pour le formatage (ex: balises XML, symboles mathématiques) est exclu du masquage pour garantir la validité syntaxique des questions.

Intégration dans R-Zero

La méthode est intégrée dans le framework R-Zero (Huang et al., 2025) :

Phase Proposeur : Le modèle génère des problèmes via GRPO (Group Relative Policy Optimization). Le VD est appliqué lors de l'échantillonnage des réponses.
Phase Résolveur : Le proposeur (froid) génère un curriculum filtré. Le résolveur s'entraîne sur ces problèmes avec une récompense binaire de justesse.
Boucle : Les deux phases alternent sur plusieurs itérations de co-évolution.

3. Contributions Clés

Caractérisation empirique de la stagnation : Les auteurs démontrent que l'effondrement fonctionnel du proposeur se produit très tôt (entre les itérations 1 et 2) et n'est pas détecté par les métriques de diversité lexicale standard (comme le Self-BLEU), qui restent stables alors que la diversité sémantique et fonctionnelle s'effondre.
Introduction du Vocabulary Dropout : Une contrainte simple et légère sur l'espace d'actions qui maintient la diversité lexicale, sémantique et fonctionnelle tout au long de l'entraînement, sans nécessiter de modèles auxiliaires ni de modifications complexes de la récompense.
Preuve d'efficacité : Démonstration que cette diversité soutenue se traduit directement par une amélioration des performances du résolveur, en particulier sur des benchmarks de compétition de haut niveau.

4. Résultats Expérimentaux

Les expériences ont été menées sur les modèles Qwen3-4B et Qwen3-8B avec un taux de rétention de vocabulaire ( $\alpha$ ) variant entre 0.75 et 0.85.

Performance du Résolveur

Amélioration globale : L'utilisation de VD (avec $\alpha=0.75$ pour le modèle 8B) améliore la précision moyenne (Pass@1) de +4.4 points par rapport à la ligne de base sur les benchmarks de compétition.
Gains spécifiques : Les gains les plus significatifs sont observés sur les tâches difficiles : AMC (Mathématiques américaines), OlympiadBench et AIME.
- Exemple (Qwen3-8B) : Gain de +10.9 points sur AIME'24 et +7.8 points sur AIME'25 par rapport à la base.
Impact sur le Proposeur : L'entraînement par co-évolution n'améliore pas la capacité de résolution du proposeur lui-même (qui reste stable ou dégrade légèrement), confirmant que l'objectif du proposeur est la génération de curriculum, pas la résolution.

Analyse de la Diversité

Stagnation de la base : Sans VD, les métriques fonctionnelles (Epiplexité, Score Vendi) plafonnent après la première itération.
Soutien par VD : Avec VD, toutes les métriques continuent d'évoluer :
- Lexical : Réduction du Self-BLEU de ~50% (moins de répétition).
- Sémantique : Augmentation du Score Vendi de ~15 types de questions distincts.
- Fonctionnel : L'Epiplexité (mesure de l'information apprenable) augmente de ~35%, indiquant un curriculum plus riche et structuré.
Utilisation du vocabulaire : Malgré moins de tokens disponibles par lot, les modèles avec VD utilisent 36 à 52% de tokens uniques supplémentaires sur l'ensemble de l'entraînement, prouvant une exploration plus large.

Ablations et Limites

Échelle du modèle : L'efficacité dépend de la capacité du modèle. Le masquage trop agressif ( $\alpha=0.75$ ) nuit au modèle 4B (manque de capacité pour compenser), mais profite au modèle 8B.
Phase d'application : Appliquer le VD uniquement lors de la génération (Gen-only) ou uniquement lors de l'entraînement (Train-only) est moins efficace que la combinaison des deux, bien que la génération soit le facteur dominant pour la diversité.
Vérification : Le VD ne résout pas le problème de la vérification par auto-cohérence (qui peut récompenser des problèmes mal posés si le résolveur est en désaccord). Cependant, la diversité accrue compense le bruit en fournissant un sous-ensemble de problèmes bien posés plus varié.

5. Signification et Conclusion

Cet article établit un lien crucial entre la structure de l'espace d'actions dans les jeux (où les règles limitent les coups possibles) et l'apprentissage par renforcement en langage.

Principe fondamental : La diversité dans la co-évolution linguistique ne peut pas être garantie uniquement par la conception de la récompense. Elle nécessite des contraintes structurelles sur l'espace d'actions, analogues aux règles d'un jeu.
Innovation : Le Vocabulary Dropout est une implémentation simple de ce principe. Il agit comme un régularisateur qui empêche la co-adaptation des séquences de tokens, forçant le modèle à maintenir un curriculum informatif.
Perspectives : Cette approche ouvre la voie à des systèmes d'auto-évolution plus robustes, capables de maintenir des curricula diversifiés et difficiles sans supervision humaine, en combinant VD avec des vérificateurs plus forts (ex: exécution de code).

En résumé, les auteurs montrent qu'en restreignant aléatoirement les choix de mots d'un générateur de problèmes, on force paradoxalement une plus grande créativité et une meilleure performance d'apprentissage pour le modèle qui résout ces problèmes.