🤖 AI

Where Rollouts Begin: Low-Load, High-Leverage First-Token Diversification for RLVR

Le papier présente REFT, une méthode légère qui améliore l'apprentissage par renforcement avec récompenses vérifiables (RLVR) en diversifiant le premier token après le marqueur de raisonnement pour élargir l'exploration des déroulements, améliorant ainsi les performances du modèle à travers différentes tailles et niveaux de difficulté sans modifier le pipeline d'entraînement principal.

Auteurs originaux : Soeun Kim, Albert No

Publié 2026-05-28

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Soeun Kim, Albert No

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

) est presque toujours la même.

L'analogie : Imaginez demander à un groupe d'élèves de résoudre un problème de mathématiques. Même s'ils sont intelligents, ils commencent tous instinctivement leur phrase par « Premièrement, considérons... » ou « Pour résoudre ceci... ».
Le problème : Le robot est si confiant dans ces mots d'ouverture qu'il n'essaie presque jamais de commencer par « Considérons... », « Étant donné que... » ou « Initialement... ». Il reste coincé dans une routine, répétant indéfiniment la même phrase d'introduction.

Les auteurs ont découvert quelque chose de surprenant : le premier mot ne modifie pas réellement les mathématiques.

L'analogie : C'est comme un voyageur choisissant entre un bus rouge, un bus bleu ou un bus vert pour se rendre dans la même ville. La couleur du bus (le premier mot) ne change ni la destination ni l'itinéraire suivi à l'intérieur du bus. Cependant, si vous ne laissez le robot prendre que le bus rouge, vous ne verrez jamais à quoi ressemblent les bus bleu ou vert.
La découverte : Même si le robot pense que le « bus rouge » (le mot d'ouverture le plus courant) est le meilleur choix, les « bus bleu » et « vert » (les mots d'ouverture moins courants) ont tout autant de chances de mener à la bonne réponse. Le robot est simplement trop exigeant concernant la couleur du bus.

La solution : REFT (Rollout Exploration with First-Token Diversification)

Les auteurs ont créé une solution simple appelée REFT. Au lieu de laisser le robot choisir le premier mot naturellement (ce qui conduit généralement au même mot), REFT force le robot à essayer délibérément quelques mots d'ouverture différents.

Fonctionnement :
1. Le robot examine ses 20 mots d'ouverture préférés.
2. REFT en sélectionne 4 différents dans cette liste (par exemple : « Premièrement », « Considérons », « Étant donné », « Initialement »).
3. Il envoie ensuite le robot sur 4 chemins différents, un pour chaque mot d'ouverture.
4. Une fois le premier mot fixé, le robot continue de résoudre le reste du problème exactement comme il le ferait normalement.
L'analogie : Imaginez un entraîneur disant à une équipe de coureurs : « Au lieu de tous commencer avec la même chanson d'échauffement, faisons en sorte que quatre groupes commencent avec quatre chansons différentes. » Une fois la musique lancée, ils courent tous la même course. L'entraîneur ne change pas la course ; il s'assure simplement que l'équipe explore différentes ambiances de départ pour voir si l'une d'elles conduit à une meilleure arrivée.

Pourquoi cela compte

L'article montre qu'en forçant le robot à essayer ces différentes « lignes d'ouverture », il découvre plus de solutions correctes sans avoir besoin de plus de puissance de calcul ni de modifier les mathématiques complexes sous-jacentes à l'entraînement.

Meilleurs résultats : Le robot s'est amélioré dans la résolution de problèmes mathématiques (mesuré par la fréquence à laquelle il trouvait la bonne réponse en 1 tentative, 8 tentatives ou 64 tentatives).
Aucun coût supplémentaire : L'entraînement n'a pas pris plus de temps. En fait, parce que le robot trouvait la bonne réponse plus rapidement, il terminait parfois les tâches légèrement plus vite.
Éviter les groupes « tous faux » : Parfois, un groupe entier de tentatives échoue parce qu'ils ont tous commencé avec le même « état d'esprit » erroné. En diversifiant le départ, REFT garantit qu'au moins un groupe trouve le bon chemin.

Résumé

L'article soutient que dans le raisonnement de l'IA, nous cherchons souvent de la diversité au milieu du processus de réflexion (les étapes mathématiques difficiles). Mais les auteurs ont découvert que le tout premier mot est un endroit « à faible charge, à fort levier ». Il est facile à modifier (ce n'est qu'un mot), mais il a un effet énorme sur la variété des solutions que l'IA explore. En secouant simplement le premier mot, l'IA devient un meilleur résolveur de problèmes.

Résumé Technique : REFT – Exploration par Déploiement avec Diversification du Premier Token

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) s'est imposé comme une méthode principale pour améliorer les capacités de raisonnement des grands modèles de langage (LLM) sans recourir à des trajectoires de raisonnement étiquetées. Dans les méthodes de RLVR groupées comme GRPO et DAPO, une politique génère un ensemble fini de déploiements (traces de raisonnement) pour une seule invite, lesquels sont notés par un vérificateur automatique. Le signal d'apprentissage est dérivé des récompenses relatives au sein de ce groupe.

Un goulot d'étranglement critique dans ce paradigme est la diversité des déploiements. Si tous les déploiements d'un groupe suivent des chemins de raisonnement similaires ou reçoivent des récompenses identiques, le groupe fournit peu de signal contrastif pour les mises à jour de la politique. Les approches existantes tentent d'élargir l'exploration en augmentant la température d'échantillonnage, en bifurquant aux pivots de raisonnement à haute entropie, ou en sélectionnant des réponses finales diversifiées. Cependant, ces méthodes supposent souvent que les premiers tokens de préfixe sont des échafaudages fixes ou que l'exploration précieuse réside uniquement dans les étapes de raisonnement substantielles à forte incertitude.

Les auteurs identifient une inefficacité structurelle : le premier token généré après le marqueur de raisonnement (<thought>) est typiquement un introducteur de discours à faible contenu (par exemple, "Premièrement", "Lais", "Pour"). Les politiques d'échantillonnage standard présentent une distribution fortement picée sur ces tokens, biaisant fortement le groupe de déploiements vers un seul introducteur. Crucialement, les auteurs observent que, bien que la probabilité de ces premiers tokens soit fortement concentrée, la correction des déploiements résultants est presque plate parmi les 20 meilleurs candidats. Cela crée une opportunité de "faible charge, fort levier" : le premier token a une charge sémantique minimale mais exerce un fort levier distributionnel, acheminant l'ensemble de la continuation subséquente vers différentes régions sémantiques.

Méthodologie : REFT

L'article présente REFT (Rollout Exploration with First-Token Diversification), une intervention minimale dans le pipeline RLVR qui diversifie le premier token sans modifier l'architecture du modèle, le vérificateur, la fonction de récompense ou l'objectif RL.

Mécanisme Central

REFT remplace l'échantillonnage stochastique standard du premier token par une stratégie d'échantillonnage stratifié :

Sélection des Candidats : Pour une invite donnée $x$ , la distribution de la politique à la position du premier token est évaluée. Les $N$ meilleurs tokens sémantiques valides (excluant les espaces blancs et les tokens spéciaux) sont identifiés comme l'ensemble candidat $F_N(x)$ .
Échantillonnage Uniforme : À partir de $F_N(x)$ , $K$ premiers tokens distincts sont échantillonnés uniformément sans remise pour former un ensemble $S_K(x)$ .
Allocation du Budget : La taille totale du groupe de déploiements $G$ est divisée équitablement entre les $K$ tokens sélectionnés. Pour chaque premier token sélectionné $f \in S_K(x)$ , le modèle génère $G/K$ continuations conditionnées par $f$ , en utilisant le décodeur de base inchangé pour le reste de la séquence.
Entraînement : Le groupe diversifié résultant est traité par l'algorithme RLVR standard (par exemple, GRPO ou DAPO) sans corrections de pondération d'importance pour le décalage d'échantillonnage du premier token.

Choix de Conception Clés

Faible Charge, Fort Levier : La méthode cible une position où le modèle est "artificiellement certain" (probabilité élevée pour un introducteur spécifique) mais où la correction est stable parmi les alternatives.
Pas de Bruit Global : Contrairement à l'augmentation de la température, qui aplatit les distributions sur toute la trajectoire (potentiellement nuisible aux étapes de raisonnement critiques ultérieures), REFT injecte de la diversité uniquement au premier token, préservant l'intégrité de la chaîne de raisonnement subséquente.
Remplacement Direct : REFT ne nécessite aucune modification de l'objectif RL sous-jacent, de l'estimation d'avantage ou de la logique du vérificateur.

Contributions Clés

Insight Diagnostique : Les auteurs démontrent que la distribution du premier token dans les modèles de raisonnement est fortement concentrée mais découplée de la correction. Ils montrent que les premiers tokens à faible probabilité parmi les 20 meilleurs peuvent conduire à des déploiements corrects aussi souvent que le token le plus probable, à condition que la continuation soit échantillonnée normalement.
Effet de Routage : Les expériences confirment que différents premiers tokens acheminent le modèle vers des régions de continuation sémantique distinctes. L'échantillonnage uniforme des 20 meilleurs premiers tokens produit une diversité sémantique significativement plus élevée dans la continuation restante (après retrait du premier token) par rapport à l'échantillonnage standard.
Algorithme REFT : Une méthode simple et computationnellement efficace pour diversifier les groupes de déploiements en réallouant le budget fixe de déploiements entre des introducteurs de premier token plausibles.
Atténuation du Sur-Crédit : L'article montre que les mises à jour GRPO standard ont tendance à affiner la préférence pour le premier token de rang 1 au fil des étapes d'entraînement, même lorsque le vérificateur ne soutient pas fortement cette préférence. REFT atténue cela en assurant la couverture de plusieurs introducteurs plausibles, empêchant la politique de sur-créer une préférence de discours spécifique.

Résultats Expérimentaux

Les auteurs ont évalué REFT sur quatre modèles de base (Qwen2.5-0.5B, 3B, 7B et Llama3.2-3B) et deux objectifs RLVR (GRPO et DAPO) sur trois jeux de données (GSM8K, BigMath-Easy, BigMath).

Gains de Performance : REFT améliore systématiquement les performances agrégées sur les métriques Pass@1, Pass@8 et Pass@64.
- Sur GSM8K, les GRPO et DAPO augmentés par REFT surpassent leurs bases.
- Sur la "Moyenne Math" (moyenne de MATH-500, AIME 2024/2025, AMC 2023), les gains sont particulièrement prononcés, suggérant que REFT est efficace lorsque l'exploration plus large est critique.
- Des améliorations sont observées même à la plus petite échelle (0,5 milliard de paramètres), indiquant que la méthode ne dépend pas d'une grande capacité de modèle.
Analyse de la Diversité :
- Diversité d'Entraînement : REFT produit les groupes de déploiements les plus sémantiquement diversifiés pendant l'entraînement.
- Concentration à l'Inférence : Paradoxalement, les modèles entraînés avec REFT produisent des sorties plus concentrées au moment de l'inférence, suggérant que la méthode aide la politique à apprendre à converger vers des modèles réussis plus efficacement après avoir exploré des chemins diversifiés.
- Décomposition à Variance Nulle : REFT réduit la fraction de groupes "tous faux" (groupes à variance nulle où aucune trajectoire correcte n'est trouvée) sans augmenter la saturation "tous corrects", indiquant une exploration plus utile.
Efficacité : REFT introduit une surcharge d'exécution négligeable. Dans certains cas, il réduit légèrement les heures GPU en raison de longueurs de complétion moyennes plus courtes résultant d'une précision accrue.

Signification et Revendications

L'article revendique que REFT offre une "inversion simple de l'intuition d'exploration habituelle". Au lieu de chercher de la diversité dans des fourches de raisonnement incertaines à haute entropie, une diversité utile peut être récupérée à partir de choix de préfixes à faible charge qui sont fortement biaisés mais faiblement liés à la correction.

Les auteurs soulignent que REFT n'est pas un nouvel algorithme RL mais un remplacement ciblé de la première décision de l'échantillonneur de déploiements. Sa signification réside dans :

Efficacité : Il élargit le signal d'entraînement sans augmenter le budget de déploiements ou le coût computationnel.
Robustesse : Il améliore à la fois la précision d'échantillon unique (Pass@1) et la probabilité de trouver une solution correcte dans un budget fini (Pass@8/64), abordant le compromis souvent observé en RLVR où l'amélioration du Pass@1 rétrécit la distribution accessible.
Généralisabilité : La méthode fonctionne à travers différentes échelles de modèles et objectifs RLVR, suggérant que le phénomène de "routage du premier token" est une caractéristique fondamentale des modèles de raisonnement actuels qui peut être exploitée pour un meilleur entraînement.

L'article conclut que le premier token après le marqueur de raisonnement est un point d'intervention inattendu, peu coûteux et efficace pour l'exploration RLVR, permettant aux modèles d'explorer des régions de continuation plus larges tout en maintenant la stabilité de la trace de raisonnement.