🤖 machine learning

Not only where, But when: Temporal Scheduling for RLVR

Ce papier introduit la « planification temporelle » pour l'apprentissage par renforcement avec récompenses vérifiables (RLVR), une méthode qui ajuste dynamiquement les critères d'allocation de crédit au cours de l'entraînement pour privilégier des comportements de politique spécifiques avant de passer à une optimisation générale, permettant ainsi d'obtenir des dynamiques d'apprentissage plus stables et efficaces tout en préservant l'entropie de la politique.

Auteurs originaux : Jinghao Zhang, Ruilin Li, Feng Zhao, Jiaqi Wang

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jinghao Zhang, Ruilin Li, Feng Zhao, Jiaqi Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous formez un étudiant très intelligent (l'IA) à résoudre des problèmes mathématiques complexes. Dans l'ancienne méthode (appelée RLVR), vous attribuez une seule note à la toute fin de sa dissertation. S'il obtient un « A », vous lui dites : « Excellent travail ! » et il tente de se souvenir de chaque mot qu'il a écrit pour s'assurer d'obtenir un « A » la prochaine fois.

Le problème est que l'étudiant a écrit des milliers de mots. Certains étaient des moments cruciaux de « eureka ! » où il a compris la logique. D'autres n'étaient que des mots de remplissage comme « et ensuite », « par conséquent » ou « en conclusion ». L'ancienne méthode traite chaque mot comme également important, ce qui revient à donner à l'étudiant une étoile dorée pour avoir écrit « le » tout autant que pour avoir résolu l'équation elle-même.

L'ancienne méthode : un projecteur statique

Les chercheurs précédents ont tenté de corriger cela en utilisant un « projecteur ». Ils ont créé des outils pour déterminer quels mots étaient importants (comme les étapes de la logique) et ont éclairé ces derniers plus intensément pendant l'entraînement. C'est ce qu'on appelle l'Allocation de Crédits.

Cependant, l'article soutient qu'il y a un défaut dans cette approche : Le projecteur ne bouge jamais. Une fois que l'outil a décidé que « le mot n°500 est important », il continue d'éclairer le mot n°500 pendant toute la durée de l'entraînement, du premier jour au dernier. C'est comme un entraîneur qui ne crie qu'au quarterback, en ignorant le reste de l'équipe, même lorsque le quarterback a déjà maîtrisé son rôle et doit se concentrer sur autre chose. Cette focalisation rigide finit par empêcher l'étudiant de progresser davantage.

La nouvelle idée : un calendrier dynamique (Planification Temporelle)

Les auteurs proposent une nouvelle idée : Ce n'est pas seulement où vous éclairez, mais quand.

Ils suggèrent de traiter le processus d'entraînement comme un scénario de film plutôt que comme une photo statique.

Au début du film (Entraînement) : L'étudiant commence tout juste. Il doit apprendre à mettre en place la scène (l'« échafaudage de raisonnement »). L'article suggère de concentrer l'entraînement sur la fin des réponses de l'étudiant en premier, car ce sont les parties les plus fiables (la réponse finale).
Plus tard dans le film (Entraînement) : Une fois que l'étudiant est bon pour terminer la réponse, vous déplacez lentement le focus vers le début de la dissertation. Vous l'entraînez alors à construire de meilleurs arguments et une meilleure logique dès le départ.

C'est ce qu'on appelle la Planification Temporelle. Au lieu d'un projecteur statique, vous avez un réalisateur qui change le point de focalisation de la caméra au fur et à mesure que la scène progresse.

L'astuce des « Percentiles de Trajectoire »

Comment savent-ils quelle partie de la dissertation cibler ? Ils utilisent une astuce simple appelée Percentiles de Trajectoire.

Imaginez que la réponse de l'étudiant est une piste de course de 100 mètres.

Le 95e percentile est la ligne d'arrivée (la réponse finale).
Le 50e percentile est le milieu de la course (le raisonnement).
Le 5e percentile est les starting-blocks (l'introduction).

L'article a découvert que si vous commencez par entraîner uniquement l'étudiant sur les parties de ses réponses correspondant à la « ligne d'arrivée », puis élargissez progressivement l'entraînement pour inclure le « milieu » et enfin le « départ », l'étudiant apprend beaucoup plus vite et de manière plus stable. C'est comme apprendre à conduire : vous maîtrisez d'abord le stationnement (l'objectif final), puis la conduite sur une route droite, et enfin la navigation dans des intersections complexes (le début du processus de pensée).

Que s'est-il passé lors des expériences ?

Les chercheurs ont testé cette méthode sur de grands modèles d'IA (comme Qwen) en utilisant des énigmes mathématiques et de raisonnement.

Meilleures notes : Les modèles utilisant cette méthode de « calendrier » ont obtenu de meilleures notes aux tests de mathématiques (comme AIME et HMMT) et aux tests de raisonnement général que les modèles standards.
Apprentissage plus sain : Ils ont constaté que les anciennes méthodes rigides faisaient « paniquer » l'IA et lui faisaient perdre sa créativité (appelée entropie). L'IA devenait trop rigide et cessait d'explorer de nouvelles façons de résoudre les problèmes. La nouvelle méthode de « calendrier » a maintenu le processus d'apprentissage de l'IA sain et flexible, lui permettant de continuer à progresser sans se bloquer.
Compatible avec les anciens outils : Cette nouvelle méthode de planification fonctionne même si vous la combinez avec les anciens outils de « projecteur ». C'est comme ajouter une nouvelle couche de coaching par-dessus celle qui existe déjà.

La conclusion

L'article affirme que pour rendre l'IA plus intelligente, nous ne devons pas seulement décider quels mots entraîner ; nous devons décider quand les entraîner. En commençant par les parties les plus fiables de la réponse et en remontant progressivement vers les parties complexes du raisonnement, l'IA apprend plus efficacement, reste plus créative et obtient de meilleurs résultats. Cela transforme une session d'entraînement rigide et uniforme en une session de coaching dynamique et bien calibrée.

Résumé Technique : Non Seulement Où, Mais Quand : Planification Temporelle pour l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR)

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu un paradigme dominant pour l'entraînement postérieur des grands modèles de langage (LLM), en particulier pour les tâches de raisonnement. Cependant, les approches RLVR standard, telles que l'optimisation de politique relative par groupes (GRPO), diffusent généralement une récompense scalaire unique sur l'ensemble de la séquence générée. Cela résulte en un signal d'optimisation uniforme où tous les tokens échantillonnés participent de manière égale aux mises à jour de la politique, négligeant les comportements de politique hétérogènes manifestés le long d'une trajectoire (par exemple, l'échafaudage du raisonnement, les connexions logiques, la réflexion et la convergence vers la réponse).

Les solutions existantes tentent de remédier à cela en introduisant des mécanismes d'allocation de crédit pour déterminer où les signaux d'apprentissage devraient être distribués. Ceux-ci incluent :

Modèles de récompense de processus (PRM) : Fournissant un feedback au niveau des étapes (coût d'annotation élevé).
Proxies au niveau des tokens : Utilisant des métriques telles que l'entropie des tokens, la vraisemblance ou la divergence KL pour répondérer les avantages ou sélectionner des sous-ensembles clairsemés de tokens pour l'optimisation.

La Limite Principale : Bien que ces méthodes identifient des tokens spécifiques à prioriser, les critères d'allocation restent stagnants tout au long du processus d'entraînement. Une fois un proxy (par exemple, une entropie élevée) sélectionné, le comportement de politique correspondant est continuellement mis en avant. Les auteurs soutiennent que cette approche statique limite l'évolution résiliente de la politique et peut conduire au sacrifice de l'entropie de la politique lors de la tentative d'accommoder simultanément des comportements diversifiés. L'article postule que la dimension temporelle — spécifiquement quand les signaux d'apprentissage sont planifiés — a été sous-explorée et est aussi critique que où ils sont alloués.

Méthodologie

L'article propose la Planification Temporelle, un cadre qui ajuste dynamiquement les critères d'allocation de crédit au cours de l'entraînement plutôt que de les fixer.

1. Les Percentiles de Trajectoire comme Perspective Naturelle

Au lieu de s'appuyer uniquement sur des proxies de politique complexes, les auteurs introduisent le Score de Percentile de Trajectoire (TP-Score) pour distinguer les comportements de politique basés sur la position du token.

Analyse : Une analyse empirique révèle des distributions de tokens et des profils d'entropie distincts à travers les positions de la trajectoire.
- Percentiles Tôt : Associés à l'échafaudage du raisonnement et à des modèles contraints ; présentent une entropie plus faible.
- Percentiles Intermédiaires : Associés à la réflexion et au raisonnement critique ; présentent l'entropie la plus élevée et un comportement exploratoire.
- Percentiles Tardifs : Associés à la réalisation de la réponse et à la synthèse ; présentent une entropie intermédiaire.
Insight : Les percentiles de trajectoire fournissent un ancrage naturel et simple pour distinguer les comportements hétérogènes sans nécessiter de calculs de proxy complexes.

2. Le Mécanisme de Planification Temporelle

L'innovation centrale consiste à planifier le facteur d'allocation de crédit, $\hat{f}_t(\tau)$ , en fonction de la progression de l'entraînement $\tau$ .
$\hat{f}_t(\tau) = S(\tau) \hat{f}_t$
Où :

$\hat{f}_t$ est le facteur d'allocation de crédit original dérivé des méthodes existantes (par exemple, le répondérage basé sur l'entropie ou la sélection clairsemée).
$S(\tau)$ est une fonction de planification décroissante monotone variant de 1 à 0.
Stratégie : L'optimisation commence par prioriser les tokens les plus ciblés (par exemple, ceux identifiés par le proxy spécifique ou les positions de trajectoire tardives) pour renforcer des comportements spécifiques. À mesure que l'entraînement progresse, les critères s'atténuent progressivement, élargissant la portée de l'optimisation pour inclure des tokens plus généraux.

3. Intégration avec les Paradigmes Existants

La méthode est conçue comme un remplacement « plug-and-play » pour les stratégies d'allocation de crédit existantes :

Répondérage Continu des Avantages : Le poids $\psi(\mu_t)$ est mis à l'échelle par $S(\tau)$ .
Optimisation Discrete Clairsemée : Le seuil de sélection $\epsilon$ est dynamiquement assoupli : $\mu_t \geq S(\tau) \cdot \epsilon$ . Cela inclut progressivement plus de tokens dans l'ensemble d'optimisation au fil du temps.

4. Planification par Percentiles de Trajectoire (TP-Schedule)

Les auteurs proposent une instance spécifique utilisant directement les percentiles de trajectoire :

Initialisation : Se concentrer exclusivement sur les tokens tardifs (percentiles élevés) responsables d'une continuation fiable.
Progression : Intégrer progressivement les tokens plus tôt (percentiles inférieurs) responsables de l'échafaudage du raisonnement.
Formule : $\hat{f}_t(\tau) = \mathbb{I}[t/T \geq S(\tau) \cdot 1]$ , où $t/T$ est la position normalisée. Cela crée un décalage structuré où l'optimisation se propage de la fin de la séquence vers le début.

Contributions Clés

Identification de la Dimension Temporelle : L'article soutient que le moment de l'allocation de crédit est une dimension d'optimisation critique et sous-explorée. Il remet en question le paradigme d'allocation stagnante, proposant que la planification des critères sur les étapes d'entraînement conduit à une évolution de politique plus résiliente.
Cadre de Planification Temporelle : Une méthode générale pour compléter les techniques d'allocation de crédit existantes (à la fois le répondérage continu et l'optimisation clairsemée) en priorisant les tokens ciblés tôt et en s'atténuant progressivement vers une optimisation générale.
Percentiles de Trajectoire comme Proxy Efficace : Les auteurs identifient que de simples percentiles de trajectoire servent de critère naturel et efficace pour distinguer les comportements de politique, fonctionnant de manière synergique avec la planification temporelle pour éviter l'effondrement de l'entropie observé dans les méthodes standard.
Validation Empirique : Des améliorations cohérentes ont été démontrées à travers plusieurs échelles de modèles (Qwen3-4B, Qwen3-8B), algorithmes RL (GRPO, GSPO) et benchmarks (raisonnement mathématique et général).

Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur les modèles Qwen3-4B et Qwen3-8B en utilisant des ensembles de données provenant d'OpenMathReasoning et DeepMath-103K. Les benchmarks comprenaient des tâches mathématiques en distribution (AIME, HMMT, Minerva) et des tâches de raisonnement hors distribution (Winogrande, GPQA, MuSR).

Gains de Performance :
- TP-Schedule (utilisant les percentiles de trajectoire) a surpassé le GRPO standard de 2,2 % sur les benchmarks mathématiques et de 2,7 % sur les benchmarks de raisonnement général pour le modèle 4B.
- L'application de la planification temporelle à des méthodes stagnantes existantes (par exemple, Entropy-Adv, Forking-Tok) a produit des améliorations cohérentes, la planification discrète (élargissant les sous-ensembles de tokens) montrant un potentiel particulièrement fort.
- Des améliorations ont été observées à travers différentes tailles de modèles et algorithmes RL (y compris GSPO).
Dynamiques d'Entraînement :
- Préservation de l'Entropie : L'optimisation standard sacrifie souvent l'entropie de la politique pour accommoder des comportements hétérogènes. La planification temporelle a préservé une entropie de politique significativement plus élevée (plus de 33,9 % de plus dans certaines comparaisons) tout au long de l'entraînement, conduisant à des dynamiques plus saines.
- Alignement Structuré : L'analyse de la divergence KL a montré que la planification temporelle induit un décalage progressif dans les mises à jour de politique, commençant par les percentiles de trajectoire tardifs et se propageant progressivement vers les plus tôt, plutôt que de mettre à jour uniformément.

Signification et Revendications

L'article revendique que la planification temporelle constitue une dimension d'optimisation prometteuse pour le RLVR. Sa signification réside dans :

Le Changement de Paradigme : Passer d'un focus statique sur le « où » (sélection de tokens) à un focus dynamique sur le « quand » (planification).
Atténuation de l'Effondrement de l'Entropie : En évitant l'accommodation simultanée de tous les comportements hétérogènes, la méthode empêche l'effondrement rapide de l'entropie de la politique souvent observé dans le RLVR standard.
Simplicité et Compatibilité : L'approche repose sur de simples percentiles de trajectoire et est compatible avec les stratégies d'allocation de crédit existantes, ne nécessitant aucun nouveau modèle de récompense complexe ni coûts d'annotation.

Les auteurs concluent que bien que le cadre soit actuellement appliqué à des critères d'allocation spécifiques, les travaux futurs consistent à orchestrer divers critères d'allocation de crédit au sein de ce cadre temporel. Les résultats suggèrent que le moment des signaux d'apprentissage est aussi crucial que leur distribution spatiale à travers les tokens.