🤖 machine learning

Contextual Rollout Bandits for Reinforcement Learning with Verifiable Rewards

Ce papier propose des « Bandits de Déroulement Contextuels », un cadre d'ordonnancement neuronal unifié qui traite les déroulements comme des bras de bandits contextuels pour sélectionner et réutiliser de manière adaptative des données historiques à haute valeur, améliorant ainsi l'efficacité de l'échantillonnage et les performances dans l'apprentissage par renforcement avec récompenses vérifiables (RLVR) pour les grands modèles de langage.

Auteurs originaux : Xiaodong Lu, Xiaohan Wang, Jiajun Chai, Guojun Yin, Wei Lin, Zhijun Chen, Yu Luo, Fuzhen Zhuang, Yikun Ban, Deqing Wang

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaodong Lu, Xiaohan Wang, Jiajun Chai, Guojun Yin, Wei Lin, Zhijun Chen, Yu Luo, Fuzhen Zhuang, Yikun Ban, Deqing Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entraîniez un étudiant très intelligent mais légèrement chaotique (un Modèle de Langage à Grande Échelle) à résoudre des problèmes mathématiques difficiles. Vous donnez un problème à l'étudiant, et il écrit une longue chaîne de pensées pour parvenir à une réponse. Cette chaîne de pensées est appelée un « rollout ».

Dans l'état actuel de l'entraînement des IA, l'enseignant (l'algorithme d'entraînement) traite généralement chaque tentative unique de l'étudiant comme également importante. Si l'étudiant essaie 8 façons différentes de résoudre un problème, l'enseignant examine les 8, même si 5 d'entre elles sont du non-sens, 2 sont des devinettes qui se sont révélées correctes par chance, et une seule est une solution brillante et logique. L'enseignant jette également les tentatives passées de l'étudiant immédiatement après les avoir utilisées une fois, sans jamais revenir en arrière.

L'article que vous avez fourni, « Contextual Rollout Bandits », propose une méthode plus intelligente pour gérer ce processus d'entraînement. Il introduit un système appelé CBS (Contextual Bandit Scheduler). Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : La « Classe Bruyante »

Actuellement, le processus d'entraînement ressemble à une classe où l'enseignant note chaque tentative de devoir de la même manière, indépendamment de sa qualité.

Le Bruit : Certaines réponses d'élèves sont « devinées-correctes » (ils ont trouvé le bon nombre mais la logique était erronée) ou « redondantes » (ils ont tourné en rond). Ce sont comme des « pommes pourries » qui confondent l'enseignant et ralentissent l'apprentissage.
Le Gaspillage : L'enseignant jette les bons devoirs après les avoir examinés une seule fois. Si l'étudiant a écrit une solution parfaite mardi, l'enseignant l'ignore mercredi, même si elle pourrait encore être utile.

2. La Solution : Le « Coach Intelligent » (CBS)

Les auteurs traitent la sélection des devoirs à étudier comme un jeu appelé « Contextual Bandit ». Imaginez cela comme un coach intelligent qui doit décider sur quelles tentatives de pratique de l'étudiant se concentrer.

Au lieu d'examiner chaque tentative aveuglément, le coach utilise une « fiche de notes » à 10 dimensions pour chaque tentative. Cette fiche de notes suit des éléments tels que :

Quelle était la confiance de l'étudiant ? (Entropie)
Dans quelle mesure cette réponse a-t-elle aidé à améliorer le score ? (Avantage)
Quelle était la longueur de la réponse ?
Avons-nous déjà examiné cette tentative spécifique ? (Compteur d'utilisation)

Sur la base de cette fiche de notes, le coach utilise une petite IA rapide (un réseau de neurones) pour prédire : « Si nous étudions cette tentative spécifique, l'étudiant s'améliorera-t-il ? »

3. Deux Superpouvoirs du Coach

Superpouvoir A : Le « Filtre de Qualité » (Sélection Intra-Groupe)
Lorsque l'étudiant génère 8 réponses pour un problème mathématique, le coach n'examine pas les 8. Au lieu de cela, il scanne rapidement les « fiches de notes » et ne sélectionne que les 3 ou 4 meilleures.

Analogie : Imaginez un concours de talents. Au lieu de regarder chaque audition et de les critiquer toutes, le coach repère instantanément les 3 meilleurs chanteurs et demande aux juges de se concentrer uniquement sur eux. Cela fait gagner du temps et empêche les juges d'être confus par les mauvais chanteurs.

Superpouvoir B : Le « Voyageur dans le Temps » (Réutilisation Globale)
La plupart des méthodes d'entraînement ne regardent que le dernier lot de devoirs. CBS est différent. Il conserve un tampon de replay — un immense classeur numérique des tentatives passées de l'étudiant.

Analogie : Imaginez un coach qui ne regarde pas seulement la pratique d'aujourd'hui, mais qui conserve également un film des meilleurs moments de l'étudiant de la semaine dernière, du mois dernier et de l'année dernière. Lorsque l'étudiant est bloqué, le coach sort un excellent ancien exemple pour lui montrer : « Souviens-toi comment tu as résolu ce type de problème avant ? » Cela aide l'étudiant à apprendre plus vite car il n'oublie pas ses meilleurs moments.

4. Les Résultats : Plus Rapide et Plus Intelligent

L'article a testé ce « Coach Intelligent » sur six références mathématiques différentes (comme AIME et MATH).

Meilleures Notes : Les modèles entraînés avec CBS ont obtenu systématiquement des scores plus élevés sur les problèmes mathématiques.
Apprentissage Plus Rapide : Parce que le coach a filtré les « pommes pourries » et réutilisé les « bonnes pommes », le processus d'entraînement a pris environ 50 % de temps en moins. L'ordinateur n'a pas eu à gaspiller de l'énergie à traiter des données inutiles.
Stabilité : Le système a empêché l'étudiant d'être confus par des réponses de « devinette » ou de répéter les mêmes erreurs, maintenant ainsi un chemin d'apprentissage stable.

Résumé

En bref, cet article dit : Ne traitez pas toutes les données d'entraînement d'IA de la même manière.
Au lieu d'utiliser aveuglément chaque réponse générée et de la jeter immédiatement, utilisez un système intelligent et adaptatif pour filtrer le bruit et réutiliser les meilleurs exemples. C'est comme passer d'un enseignant qui note chaque gribouillis sur une serviette en papier à un coach qui curationne un film des meilleurs moments parfait pour enseigner à l'étudiant comment gagner.

Résumé Technique : Bandits Contextuels de Déploiement pour l'Apprentissage par Renforcement avec Récompenses Vérifiables

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu un paradigme critique pour améliorer les capacités de raisonnement des modèles de langage de grande taille (LLM), en particulier dans des domaines tels que les mathématiques et la génération de code. Cependant, les méthodes RLVR existantes souffrent de deux limitations fondamentales qui entraînent une supervision bruyante, une faible efficacité d'échantillonnage et des mises à jour de politique sous-optimales :

Utilisation indiscriminée au sein du groupe : Les approches actuelles, telles que l'optimisation de politique relative par groupe (GRPO), génèrent plusieurs réponses (déploiements) pour un seul prompt mais les traitent de manière uniforme lors du calcul du gradient. Cela ignore l'hétérogénéité significative de la qualité au sein d'un groupe, où de nombreuses réponses peuvent être peu utiles, bruyantes ou trompeuses (par exemple, des solutions devinées correctement ou des trajectoires avec des étapes de raisonnement redondantes).
Horizons de données restreints : La plupart des méthodes s'appuient exclusivement sur le dernier lot de déploiements pour l'optimisation, jetant les trajectoires historiques après une seule utilisation. Ce paradigme d'entraînement myope empêche la réutilisation de données historiques à haute valeur, limitant ainsi les performances de politique atteignables et l'efficacité d'échantillonnage.

Les tentatives existantes pour résoudre ces problèmes reposent souvent sur des heuristiques statiques et conçues à la main, qui manquent d'adaptabilité face à l'évolution des dynamiques d'entraînement.

Méthodologie : Bandits Contextuels de Déploiement (CBS)

Les auteurs proposent CBS, un cadre unifié de planification neuronale qui formule la planification des déploiements comme un problème de bandit contextuel. Dans cette formulation, chaque déploiement est traité comme un « bras », et la récompense est définie par le gain de performance induit entre les étapes d'optimisation consécutives.

Composants Principaux

Architecture du Planificateur Neuronale :
- Représentation du Bras : Chaque déploiement est encodé dans un vecteur compact de 10 dimensions capturant les dynamiques d'entraînement. Ces caractéristiques incluent :
  - Signaux liés à la récompense : Récompense brute, avantage, récompense moyenne du groupe et écart-type de la récompense du groupe.
  - Signaux liés à la longueur : Longueur normalisée de la réponse et drapeaux de troncature.
  - Métriques de perception de la politique : Entropie et ratios de clipping.
  - Historique d'interaction des données : Nombre d'utilisations et âge de l'échantillon (fraîcheur).
- Modèle du Planificateur : Un Perceptron Multicouche (MLP) prédit l'utilité future de chaque déploiement en fonction de sa représentation et des retours en ligne.
- Stratégie de Sélection : Le planificateur emploie une stratégie $\epsilon$ -gloutonne pour équilibrer exploration et exploitation, sélectionnant les déploiements les mieux notés tout en échantillonnant occasionnellement des données plus récentes.
Deux Régimes de Planification :
- Planification Intra-Groupe (CBS) :* Traite l'hétérogénéité de la qualité des réponses en effectuant une sélection fine au sein de chaque groupe de déploiements. Le planificateur sélectionne un sous-ensemble des $p\%$ meilleurs déploiements de haute valeur de chaque groupe, filtrant les échantillons bruyants ou peu utiles avant l'optimisation de la politique.
- Réutilisation Globale Adaptative (CBS) : Traite la contrainte d'horizon limité en maintenant un tampon de lecture FIFO (First-In, First-Out) des déploiements historiques (des $L$ dernières itérations). Le planificateur effectue une sélection globale sur ce tampon pour réutiliser les trajectoires à haute valeur au cours des tours d'entraînement, améliorant considérablement l'efficacité d'échantillonnage.
Définition et Mise à Jour de la Récompense :
- Récompense de Gain de Performance : La fonction de récompense est définie comme le gain de métrique entre les données de déploiement consécutives, incorporant les changements de récompense moyenne ( $V$ ) et d'entropie ( $E$ ). Un terme de pénalité d'entropie empêche l'effondrement de l'entraînement en pénalisant les augmentations d'entropie au-delà d'un seuil.
- Adaptation en Ligne : Les paramètres du planificateur sont mis à jour en ligne en utilisant des récompenses au niveau de l'échantillon dérivées du gain de performance au niveau du groupe. Pour assurer la stabilité, les récompenses de groupe sont normalisées à l'aide d'une Moyenne Mobile Exponentielle (EMA) et mises à l'échelle via une fonction Sigmoïde.

Contributions Clés

Cadre Unifié de Bandit Contextuel de Déploiement : L'article formule la planification des déploiements en RLVR comme un problème de bandit contextuel, fournissant un cadre unique et fondé sur des principes qui soutient à la fois la sélection intra-groupe consciente du bruit et la réutilisation globale adaptative des déploiements historiques.
Garanties Théoriques :
- Les auteurs établissent un lien formel entre la planification des données RLVR et les bandits contextuels.
- Ils dérivent des bornes de regret sous-linéaires ( $\tilde{O}(\sqrt{T})$ ) pour le planificateur neuronal proposé dans un cadre simplifié de sélection d'un seul échantillon, en s'appuyant sur le cadre du Noyau Tangent Neuronale (NTK).
- Ils prouvent que l'élargissement du tampon de lecture améliore la borne supérieure atteignable des performances de la politique, fournissant une justification théorique pour la réutilisation globale des déploiements.
Efficacité Empirique : Des expériences extensives démontrent que CBS améliore constamment à la fois les performances finales et l'efficacité de l'entraînement à travers plusieurs méthodes d'optimisation de politique RLVR (GRPO, DAPO, GSPO) et tailles de modèles.

Résultats Expérimentaux

La méthode a été évaluée sur six benchmarks de raisonnement mathématique (AIME24, AIME25, AMC23, MATH500, Minerva, Olympiad) en utilisant des modèles Qwen3 (1.7B, 4B, 8B).

Gains de Performance : L'intégration de CBS a entraîné des améliorations relatives constantes à travers différentes méthodes d'optimisation de politique. Par exemple, sur le modèle Qwen3-1.7B, CBS a amélioré GRPO de 4,4 % et DAPO de 15,7 % en moyenne.
Efficacité de l'Entraînement : CBS a considérablement réduit le temps moyen d'optimisation de la politique (jusqu'à une réduction de 50,4 %) en nécessitant moins de trajectoires d'entraînement par mise à jour de l'acteur.
Surcharge Computationnelle : Le coût computationnel du planificateur est négligeable, représentant moins de 4 % du temps total d'entraînement, et ce ratio diminue à mesure que la taille du modèle augmente.
Études d'Ablation : La suppression de composants tels que le planificateur neuronal (remplacé par une sélection aléatoire), la normalisation des récompenses EMA ou le terme de pénalité d'entropie a conduit à une dégradation des performances ou à une instabilité de l'entraînement (par exemple, une croissance incontrôlée de l'entropie), validant la nécessité de chaque composant.

Importance et Revendications

L'article revendique que CBS offre une solution fondée sur des principes aux problèmes d'inefficacité des données et de bruit inhérents aux pipelines RLVR actuels. En traitant la sélection des déploiements comme un problème d'apprentissage adaptatif plutôt que comme une heuristique statique, CBS permet :

Filtrage fin de la supervision : Prioriser automatiquement les réponses informatives tout en supprimant les bruyantes.
Réutilisation des données à long horizon : Exploiter systématiquement les trajectoires historiques à haute valeur pour affiner les politiques au fil du temps.

Les auteurs soulignent que leur approche fournit un paradigme d'auto-amélioration évolutif qui ne repose pas sur des heuristiques manuelles spécifiques à la méthode. Bien que l'implémentation actuelle utilise une représentation légère de 10 dimensions pour l'efficacité, le cadre est conçu pour être extensible, permettant potentiellement l'intégration de représentations sémantiques plus profondes dans les travaux futurs. Ce travail se positionne comme une étape vers un entraînement RLVR plus efficace et robuste pour les modèles de raisonnement de grande taille.