💬 NLP

You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories

Ce papier présente RELEX, une méthode efficace en calcul qui exploite la découverte que les trajectoires de poids RLVR sont hautement prévisibles et de faible rang pour extrapoler les futurs points de contrôle du modèle par régression linéaire, atteignant des performances comparables ou supérieures à un entraînement complet avec seulement une fraction des étapes en filtrant le bruit de l'optimisation stochastique.

Auteurs originaux : Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

Publié 2026-05-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhepei Wei, Xinyu Zhu, Wei-Lin Chen, Chengsong Huang, Jiaxin Huang, Yu Meng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Entraîner une IA, c'est comme grimper une montagne

Imaginez que vous voulez enseigner à un grand modèle de langage (une IA) à résoudre des problèmes mathématiques complexes. Actuellement, la meilleure façon de faire cela est un processus appelé RLVR (Apprentissage par Renforcement avec Récompenses Vérifiables).

Considérez le RLVR comme l'envoi de l'IA dans une randonnée très longue et coûteuse vers le sommet d'une montagne pour atteindre le pic du « génie mathématique ».

Le Coût : Cette randonnée prend des jours de puissance informatique (heures de GPU).
Le Processus : L'IA effectue des milliers de petits pas, vérifiant son travail à chaque point de contrôle.
L'Objectif : Vous voulez que l'IA atteigne le tout sommet (la meilleure performance), mais la randonnée est si longue et coûteuse que vous aimeriez vous arrêter à mi-chemin et simplement « deviner » où se trouve le sommet.

La Découverte : La Randonnée est Étonnamment Droite

Les chercheurs de ce papier ont remarqué quelque chose d'étrange sur la façon dont l'IA apprend. Ils ont examiné les « empreintes » (les changements dans les poids du cerveau de l'IA) laissées derrière lors de cette randonnée.

Ils ont découvert deux choses étonnantes :

Le Chemin est une Ligne Droite : Même si l'IA se déplace dans un espace 3D massif et complexe, son chemin réel d'amélioration est incroyablement simple. C'est comme marcher dans une forêt dense mais ne se déplacer que dans une seule et unique direction droite.
Le Rythme est Prévisible : La vitesse à laquelle l'IA s'améliore le long de cette ligne droite est presque parfaitement linéaire. Si vous tracez un graphique de ses progrès, cela ressemble à une ligne droite de règle, pas à une courbe ondulée et chaotique.

L'Analogie : Imaginez que vous conduisez une voiture dans une ville brumeuse. Habituellement, vous vous attendez à ce que la route tourne et sinue. Mais les chercheurs ont découvert que pour ce type spécifique d'entraînement d'IA, la route est en fait une autoroute parfaitement droite, et la voiture accélère à un rythme constant et prévisible.

La Solution : RELEX (La Méthode de la « Boule de Cristal »)

Sur la base de cette découverte, les auteurs ont créé une méthode appelée RELEX (Extrapolation par Apprentissage par Renforcement).

Au lieu de faire terminer à l'IA toute la randonnée de 500 étapes, RELEX dit : « Observons simplement les 75 premières étapes (environ 15 % du trajet). Puisque nous savons que le chemin est une ligne droite et que la vitesse est constante, nous pouvons prédire mathématiquement exactement où sera la voiture à l'étape 500, 1 000, ou même 2 000. »

Comment cela fonctionne (L'astuce du « Débruitage ») :
Le processus d'apprentissage de l'IA est un peu bruyant, comme un crépitement sur une radio.

Le Bruit : La plupart des petits tremblements aléatoires dans le cerveau de l'IA ne sont que du « crépitement » ou des erreurs qui ne l'aident pas réellement à devenir plus intelligente.
Le Signal : Le vrai « génie » est caché dans cette seule ligne droite (appelée une trajectoire de rang 1).
La Magie : RELEX utilise un filtre mathématique (SVD) pour ignorer tout le bruit statique et ne regarder que cette ligne droite. Il trace ensuite une ligne droite à travers les premières étapes et l'étend vers l'avant.

Les Résultats : Plus Rapide, Moins Cher, et Tout Aussi Bon

Les chercheurs ont testé cela sur trois modèles d'IA différents (Qwen2.5-Math, Qwen3-4B et Qwen3-8B).

L'Affirmation : En n'entraînant que pendant 15 % à 20 % du temps habituel, RELEX peut prédire un point de contrôle qui fonctionne aussi bien, voire parfois mieux, que le modèle entièrement entraîné.
La Preuve : Ils ont testé ces modèles « prédits » sur des tests de mathématiques. Les modèles prédits ont obtenu des scores presque exactement identiques à ceux des modèles qui ont réellement terminé la randonnée complète et coûteuse.
Le Bonus : Parce que la méthode filtre le « bruit », les modèles prédits se généralisent parfois mieux à de nouveaux problèmes mathématiques non vus (benchmarks hors domaine) que les modèles entièrement entraînés.

Pourquoi Cela Compte (Selon le Papier)

Aucun Nouvel Apprentissage Requis : RELEX n'a pas besoin d'entraîner une nouvelle IA pour prédire l'avenir. Il effectue simplement un calcul mathématique simple (régression linéaire) sur les données qu'il possède déjà.
C'est « Minimaliste » : Le papier prouve que vous n'avez pas besoin de prédictions complexes et fancy. Une simple ligne droite suffit, car le chemin d'apprentissage de l'IA est naturellement aussi simple.
Débruitage Spectral : La méthode fonctionne si bien car elle agit comme un casque à réduction de bruit. Elle élimine les parties aléatoires et chaotiques de l'entraînement qui perturbent habituellement les prédictions, ne laissant que le pur signal d'amélioration.

Résumé

Imaginez que vous regardez un lancement de fusée. Habituellement, vous devez la regarder jusqu'à l'espace pour savoir si cela a fonctionné. Ce papier dit : « Attendez, la fusée vole dans une ligne parfaitement droite à une vitesse constante. Si nous l'observons pendant seulement la première minute, nous pouvons calculer exactement où elle sera dans une heure, et ce sera tout aussi réussi que si nous avions attendu tout le temps. »

RELEX est cette calculatrice. Il économise d'énormes quantités de temps et d'argent en réalisant que l'entraînement de l'IA, bien qu'il semble chaotique, suit en réalité un chemin très simple et prévisible.

Résumé technique : Vous n'avez besoin que d'un entraînement RLVR minimal : Extrapolation des LLM via des trajectoires de rang 1

Énoncé du problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu un paradigme dominant pour améliorer les capacités de raisonnement des grands modèles de langage (LLM), en particulier dans des domaines comme les mathématiques. Cependant, le pipeline RLVR standard est computationnellement prohibitif, nécessitant souvent plusieurs jours de temps GPU pour atteindre des plateaux de performance. Le processus implique la génération d'une trajectoire de points de contrôle sur des centaines d'étapes d'optimisation, avec des coûts évoluant linéairement avec le nombre d'étapes. Bien que des travaux antérieurs suggèrent que le RLVR amplifie des comportements latents plutôt qu'il n'enseigne des capacités entièrement nouvelles, la structure géométrique sous-jacente de ces trajectoires de paramètres reste peu explorée. La question centrale abordée est de savoir si les futurs points de contrôle RLVR peuvent être prédits à partir d'un court préfixe de dynamiques d'entraînement, évitant ainsi le besoin d'un entraînement supplémentaire étendu.

Méthodologie : RELEX

Les auteurs proposent RELEX (REinforcement Learning EXtrapolation), une méthode sans entraînement qui exploite la régularité géométrique des mises à jour de poids RLVR pour prédire les futurs points de contrôle. La méthode repose sur l'hypothèse que les trajectoires RLVR sont de très faible rang et quasi linéaires.

Le pipeline RELEX se compose de trois étapes, appliquées aux premiers $T_{cut}$ points de contrôle observés (par exemple, les 15–20 % premiers des étapes d'entraînement) :

Estimation du sous-espace de rang 1 :
Pour chaque tenseur de poids $W^{(\ell)}$ , la méthode calcule les deltas de paramètres $\Delta \theta_t = \theta_t - \theta_0$ par rapport au modèle de base. Ces deltas sont aplatis et empilés dans une matrice de trajectoire $M^{(\ell)}$ . Une décomposition en valeurs singulières (SVD) est effectuée sur $M^{(\ell)}$ , et le vecteur singulier top-droit $v_1^{(\ell)}$ est extrait. Ce vecteur définit la direction dominante du changement de paramètres sur la fenêtre d'observation.
Extrapolation linéaire des coefficients :
Les deltas observés sont projetés sur le vecteur singulier dominant pour obtenir une trajectoire de coefficient scalaire $c_t = \langle \text{aplatis}(\Delta \theta_t), v_1 \rangle$ . L'analyse empirique montre que ces coefficients évoluent de manière quasi linéaire avec l'étape d'entraînement ( $R^2 > 0,98$ ). Une régression linéaire simple ($c(t) = at + b$) est ajustée à ces coefficients en utilisant le préfixe observé.
Prédiction des poids futurs :
Pour prédire un point de contrôle à une étape cible $T$ , la méthode extrapole le coefficient $\hat{c}_T = aT + b$ et reconstruit le tenseur de poids comme $\hat{W}_T = W_0 + \hat{c}_T \cdot v_1$ . Ce processus est répété pour tous les tenseurs afin d'assembler le point de contrôle prédit complet $\hat{\theta}_T$ .

Crucialement, RELEX ne nécessite ni prédicteurs appris, ni entraînement RLVR supplémentaire, et n'implique que des opérations sous forme fermée (SVD tronquée et ajustement par moindres carrés).

Contributions clés

Découverte empirique de la linéarité de faible rang : Les auteurs démontrent que les trajectoires de mise à jour des poids RLVR sont extrêmement de faible rang et prévisibles. Plus précisément, une approximation SVD de rang 1 capture la vaste majorité des changements de paramètres pertinents pour les tâches en aval, et les coefficients scalaires correspondants évoluent de manière quasi linéaire avec les étapes d'entraînement sur plusieurs familles de modèles (Qwen2.5-Math-1.5B, Qwen3-4B-Base, Qwen3-8B-Base).
Cadre RELEX : L'introduction d'une méthode d'extrapolation simple et économe en calcul qui prédit les futurs points de contrôle en utilisant uniquement le préfixe précoce d'entraînement.
Mécanisme de débruitage spectral : L'article identifie que la projection de rang 1 agit comme un « débruiteur spectral ». En projetant les mises à jour sur le sous-espace dominant, la méthode élimine le bruit stochastique de l'optimisation (capturé par les composantes de rang supérieur) qui dégraderait autrement les performances lors de l'extrapolation.
Suffisance minimaliste : Les études d'ablation confirment que l'augmentation du rang du sous-espace (par exemple, jusqu'au rang 5 ou rang 10) ou l'utilisation d'une modélisation non linéaire (polynômes, réseaux de neurones) n'apporte aucun gain supplémentaire et dégrade souvent les performances, validant ainsi la suffisance de l'approche linéaire de rang 1.

Résultats expérimentaux

La méthode a été évaluée sur trois modèles basés sur Qwen, couvrant des benchmarks en domaine (MATH) et cinq benchmarks hors distribution (OOD) (AIME 2025/2026, HMMT 2025, OlympiadBench, AMC 2023).

Performance vs Coût : En utilisant seulement 15–20 % du coût total d'entraînement RLVR (en observant les 75–125 premières étapes), RELEX produit des points de contrôle qui égalent ou dépassent les performances des modèles RLVR entièrement entraînés.
- Qwen2.5-Math-1.5B : RELEX a atteint 71,6 % sur MATH (contre 71,5 % pour le RLVR complet) et a surpassé le RLVR sur 4 des 5 benchmarks OOD.
- Qwen3-4B-Base : RELEX a atteint 85,6 % sur MATH (contre 85,5 % pour le RLVR complet).
- Qwen3-8B-Base : RELEX a atteint 87,4 % sur MATH (contre 88,5 % pour le RLVR complet), restant à moins de 1,1 % de la performance d'entraînement complet.
Extrapolation à long horizon : RELEX extrapole avec succès bien au-delà de la fenêtre d'observation. Par exemple, l'observation des 50 premières étapes uniquement a permis des prédictions stables jusqu'à 1000 étapes (20 fois la fenêtre d'observation), avec une amélioration continue des performances.
Comparaison avec les références : RELEX a uniformément surpassé d'autres références d'extrapolation, notamment l'Extrapolation des poids (interpolation linéaire dans l'espace des poids bruts), l'Extrapolation des logits, ExPO et AlphaRL. La supériorité sur l'Extrapolation des poids met en évidence l'importance de l'étape SVD pour filtrer le bruit.

Signification et affirmations

L'article affirme que l'entraînement par RL, malgré son caractère stochastique et non convexe, trace des chemins étonnamment simples dans l'espace des paramètres de faible rang. La signification de ce travail réside dans :

Efficacité : Il offre un moyen d'atteindre des performances RLVR quasi optimales avec une fraction du coût computationnel, permettant d'« ignorer » efficacement la majorité des étapes d'entraînement sans réentraînement.
Insight théorique : Il fournit des preuves que le « signal » de l'apprentissage RLVR est concentré dans une seule direction dominante, tandis que les composantes de rang supérieur représentent principalement du bruit d'optimisation.
Généralisation : La méthode démontre que les points de contrôle extrapolés capturent des gains de raisonnement transférables, comme en témoigne la forte performance sur les benchmarks OOD, suggérant que le modèle ne fait pas simplement du surapprentissage de la distribution d'entraînement.

Les auteurs notent des limites, reconnaissant que l'étude actuelle est restreinte au GRPO sur des tâches de raisonnement mathématique avec des modèles Qwen. Ils suggèrent que la fenêtre d'observation optimale ( $T_{cut}$ ) dépend du modèle et qu'une sélection adaptative du rang pourrait être nécessaire pour une généralisation plus large à d'autres algorithmes (par exemple, PPO) ou familles de modèles.