Résumé Technique : RLVE – Passer à l'échelle l'apprentissage par renforcement pour les modèles de langage avec des environnements vérifiables adaptatifs

1. Énoncé du problème

Le passage à l'échelle de l'apprentissage par renforcement (RL) pour les modèles de langage (LM) fait face à deux goulots d'étranglement principaux lorsqu'il repose sur des distributions de données statiques :

1. Coût de la collecte de données : L'acquisition de jeux de données à grande échelle avec des réponses de vérité terrain pour le calcul de récompenses vérifiables est coûteuse et finie.
2. Disparition des signaux d'apprentissage : Les distributions de problèmes statiques mènent souvent à une stagnation de l'entraînement. Si les problèmes sont trop faciles, ils ne fournissent aucun signal d'apprentissage significatif ; s'ils sont trop difficiles, ils génèrent des récompenses systématiquement médiocres qui entravent les mises à jour basées sur le gradient. À mesure que le modèle de politique s'améliore, une distribution statique devient éventuellement soit trivialement facile, soit inappropriée en termes de difficulté, ce qui provoque une chute ou un arrêt complet de l'efficacité de l'apprentissage.

Les approches existantes reposent généralement sur des jeux de données fixes où la distribution des problèmes est prédéterminée et statique, empêissant ainsi l'adaptation aux capacités évolutives du modèle de politique.

2. Méthodologie : RLVE et RLVE-GYM

Le document présente RLVE (Reinforcement Learning with Adaptive Verifiable Environments), un cadre conçu pour passer à l'échelle l'entraînement par RL des LM en utilisant des environnements vérifiables générés de manière procédurale qui adaptent dynamiquement leur difficulté aux capacités actuelles de la politique.

2.1 Environnements vérifiables

Un environnement vérifiable est défini par un tuple $E = (I, P, R)$ :

• Modèle de template d'entrée ($I$) : Un format de prompt structuré.
• Générateur de problèmes ($P$) : Un programme qui échantillonne procéduralement des paramètres pour instancier des problèmes spécifiques à partir du template.
• Vérificateur ($R$) : Une fonction algorithmique qui calcule une récompense en vérifiant la sortie du modèle par rapport aux contraintes du problème, plutôt qu'en la comparant à une solution pré-calculée.

Crucialement, ces environnements exploitent l'asymétrie résolution-vérification. L'environnement peut exécuter des programmes pour vérifier les sorties (par exemple, vérifier si une grille de Sudoku est valide ou si un résultat de tri est correct) même lorsque le LM ne peut pas exécuter de code. Dans certains cas (par exemple, les problèmes NP-complets), la vérification est informatiquement plus facile que la résolution, ce qui permet d'obtenir des récompenses sans avoir besoin d'implémenter des solveurs complexes.

2.2 Mécanisme de difficulté adaptative

RLVE maintient une plage de difficulté dynamique $[\ell_\pi, h_\pi]$ pour chaque environnement.

• Initialisation : La plage commence au niveau de difficulté le plus simple ($\ell_\pi = h_\pi = 0$).
• Échantillonnage : Pendant l'entraînement, un niveau de difficulté $d$ est échantillonné uniformément dans $[\ell_\pi, h_\pi]$.
• Adaptation : Le système suit la précision du modèle sur les problèmes générés au niveau de la limite supérieure actuelle $h_\pi$. Si la précision dépasse un seuil $\tau_{acc}$ (par exemple, 90 %) sur une taille d'échantillon minimale $\tau_{num}$, la limite supérieure est incrémentée ($h_\pi \leftarrow h_\pi + 1$).
• Fenêtre glissante : Pour éviter que la plage ne devienne trop large (exposant le modèle uniquement à des problèmes trivialement faciles ou impossibles à résoudre), une limite inférieure $\ell_\pi$ est ajustée à l'aide d'une taille de fenêtre glissante $d_\Delta$. Cela garantit que le modèle est constamment exposé à des problèmes qui sont « appropriés en termes de difficulté ».

2.3 RLVE-GYM

Pour implémenter cela, les auteurs ont construit RLVE-GYM, une suite de 400 environnements vérifiables développés par ingénierie d'environnement manuelle. Ces environnements sont conçus comme des outils pédagogiques pour développer des capacités de raisonnement (par exemple, le tri, l'intégration, les puzzles logiques) plutôt que pour imiter directement des tâches spécifiques du monde réel. La suite comprend diverses sources telles que des problèmes de compétitions de programmation, des opérations mathématiques, des problèmes d'optimisation, des algorithmes classiques et des puzzles logiques.

2.4 Algorithme d'entraînement

Le cadre est agnostique à l'algorithme de RL spécifique utilisé. Les auteurs emploient DAPO (une variante de GRPO) avec un échantillonnage dynamique. Ils définissent un « ratio de prompt effectif » pour mesurer l'efficacité de l'apprentissage : le pourcentage de prompts conservés après l'échantillonnage dynamique qui produisent des récompenses non identiques. Un ratio élevé indique que la difficulté est bien adaptée à la politique.

3. Contributions clés

1. Environnements vérifiables adaptatifs : La proposition d'une méthode où les distributions de difficulté des problèmes se déplacent dynamiquement en fonction de la performance de la politique, évitant ainsi le problème de la « disparition du signal » inhérent aux jeux de données statiques.
2. RLVE-GYM : La création d'une suite à grande échelle de 400 environnements vérifiables, conçue manuellement, servant de source évolutive de données d'entraînement.
3. Mise à l'échelle de l'environnement : La démonstration que l'expansion de la collection d'environnements d'entraînement (augmenter la dimension de l'environnement) est plus critique pour le raisonnement généralisable que l'augmentation du simple volume de données provenant d'un seul environnement.
4. Mise à l'échelle rentable : Un cadre qui atteint une performance supérieure avec des coûts de calcul et financiers nettement inférieurs par rapport à l'entraînement sur de massifs jeux de données statiques et curatés par l'humain.

4. Résultats expérimentaux

Les auteurs ont évalué RLVE à travers deux scénarios en utilisant six benchmarks de raisonnement (couvrant les mathématiques, la génération de code et le raisonnement logique).

4.1 Scénario de saturation des données

• Configuration : Partant de ProRL-1.5B-v2, un modèle de raisonnement 1.5B puissant déjà saturé sur un large jeu de données RLVR (ProRL) après environ 20 000 heures GPU H100.
• Comparaison : Continuer l'entraînement RL sur le jeu de données ProRL original vs un entraînement conjoint sur les 400 environnements RLVE-GYM.
• Résultat : RLVE a obtenu une amélioration absolue moyenne de 3,37 % sur les six benchmarks. En revanche, la poursuite de l'entraînement RL original n'a produit qu'un gain de 0,49 %, malgré l'utilisation de plus de 3 fois plus de calcul (3 600 contre ~1 100 heures GPU H100).

4.2 Scénario contraint par le calcul

• Configuration : Partant de OpenThinker3-1.5B, un modèle SFT fort sans raisonnement RL préalable.
• Comparaison : Entraînement avec RLVE (400 environnements) vs entraînement sur DeepMath-103K, un jeu de données RLVR de haute qualité, spécifique aux mathématiques.
• Résultat : RLVE a systématiquement surpassé DeepMath-103K, atteignant une performance plus élevée sur les benchmarks non mathématiques (LiveCodeBench, BBEH) et sur la plupart des benchmarks mathématiques. Notamment, RLVE n'a nécessité aucune donnée spécifique au benchmark, alors que DeepMath-103K était explicitement conçu pour les mathématiques.
• Efficacité du coût : Les auteurs notent que la construction de DeepMath-103K a nécessité environ 138 000 USD et 127 000 heures GPU, tandis que RLVE-GYM offre une voie plus rentable vers un raisonnement généralisable plus fort.

4.3 Analyse des composants

• Adaptativité vs Statique : Les expériences ont montré que les distributions de difficulté statiques mènent soit à une saturation précoce (si la difficulté maximale est trop basse), soit à un apprentissage inefficace (si la plage est trop large mais non adaptée). La difficulté adaptative a maintenné un ratio de prompt effectif élevé et une performance supérieure.
• Mise à l'échelle de l'environnement : L'augmentation du nombre d'environnements d'entraînement (de 1 à 4, 16 et 256) a systématiquement amélioré la performance hors distribution (OOD), confirmant que la diversité de l'environnement est un moteur clé du raisonnement généralisable.

5. Signification et affirmations

L'article affirme que l'ingénierie d'environnement devient aussi fondamentale pour le développement des LM que l'ingénierie des caractéristiques, des données et des prompts. La signification de RLVE réside dans sa capacité à :

• Passer à l'échelle le RL au-delà de la saturation des données : Il permet une amélioration continue même lorsqu'un modèle a déjà saturé sur un jeu de données statique massif et de haute qualité.
• Fournir des signaux d'apprentissage continus : En ajustant dynamiquement la difficulté, il garantit que le modèle opère toujours à la limite de ses capacités, évitant les inefficacités des distributions statiques.
• Offrir une alternative évolutive et rentable : Il démontre que des environnements générés de manière procédurale et adaptative peuvent surpasser des jeux de données curatés manuellement et coûteux, offrant une voie pour entraîner des modèles sur des tâches de raisonnement diversifiées et illimitées sans le coût prohibitif de la collecte de réponses de vérité terrain pour chaque problème.

Les auteurs positionnent ce travail comme une étape vers un effort plus large de mise à l'échelle de l'entraînement par RL via des environnements adaptatifs, appelant à de futures recherches sur les environnements non vérifiables et l'ingénierie automatique d'environnements.