🤖 machine learning

ISO: An RLVR-Native Optimization Stack

Ce document introduit ISO, un nouveau cadre d'optimisation pour l'apprentissage par renforcement avec récompenses vérifiables (RLVR) qui exploite l'héritage spectral pour optimiser uniquement les cadres singuliers des poids du modèle tout en maintenant le spectre de base fixe, permettant ainsi un entraînement en ligne hautement efficace et une fusion hors ligne efficace de modèles spécialistes sans nécessiter de données supplémentaires ou de mises à jour de gradients.

Auteurs originaux : Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

Publié 2026-07-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent à mieux réfléchir. Vous ne lui donnez pas simplement un manuel ; vous le laissez essayer des choses, et quand il trouve la bonne réponse, vous lui donnez un "tape dans la main" (une « récompense »). Ce processus est appelé l'Apprentissage par Renforcement avec Récompenses Vérifiables, ou RLVR pour faire court. C'est comme un jeu vidéo où le robot apprend en jouant, et le jeu ne lui dit « bon travail » ou « réessaie » qu'à la toute fin d'un niveau.

Pendant longtemps, les scientifiques ont utilisé les mêmes vieux outils pour mettre à jour le cerveau du robot après ces tapes dans la main. Ils traitent le cerveau du robot comme un immense tableur de chiffres désordonné et ajustent simplement chaque chiffre un tout petit peu. Mais il y a un pièque : le cerveau du robot est déjà plutôt bon dans les bases avant qu'il ne commence à jouer au jeu. Peut-être que les vieux outils sont trop maladroits, changeant des choses qui n'ont pas besoin de l'être, ou manquant les parties spécifiques qui ont réellement besoin d'un petit coup de pouce. La grande question est : existe-t-il une façon plus intelligente, plus précise, de mettre à jour le cerveau du robot tout en respectant ce qu'il sait déjà tout en lui apprenant de nouveaux tours ?

Cet article, intitulé « ISO : Une pile d'optimisation native du RLVR », explore précisément cette question. Les auteurs ont découvert un motif caché dans la façon dont ces robots apprennent. Ils ont découvert que lorsqu'un robot apprend une nouvelle compétence grâce au RLVR, il ne réécrit pas en fait tout son cerveau. Au lieu de cela, il garde les « boutons de volume » (les valeurs mathématiques qui contrôlent la force de ses connexions) exactement tels qu'ils étaient auparavant. Il ne change que les « directions » (les angles et les orientations de ces connexions).

Imaginez cela comme une troupe de danseurs. Les « boutons de volume » sont le nombre de danseurs et leurs niveaux d'énergie, qui restent les mêmes. Les « directions » sont la chorégraphie. L'article montre que pour apprendre une nouvelle danse, la troupe n'a pas besoin d'embaucher de nouvelles personnes ou de changer leur niveau d'énergie ; elle doit juste réorganiser les pas. Les auteurs appellent cela l'« Héritage Spectral ». Ils ont prouvé que vous pouvez garder les niveaux d'énergie (le spectre) fixes et obtenir tout de même des résultats incroyables simplement en ajustant la chorégraphie (les cadres).

Sur la base de cette découverte, ils ont construit un nouvel ensemble d'outils appelé ISO (Optimisation Isospétrale). Il possède deux astuces principales. Premièrement, l'« ISO-Merger », qui est comme un mélangeur magique. Si vous avez trois robots différents, chacun étant un maître dans une compétence différente (l'un est un sorcier du codage, l'autre un génie des mathématiques et le troisième un expert en outils), vous pouvez les fusionner en un seul super-robot sans avoir besoin de les réentraîner ou de leur donner de nouvelles données. Il suffit de mélanger leur chorégraphie tout en gardant leurs niveaux d'énergie originaux intacts.

Deuxièmement, l'« ISO-Optimizer », qui est une façon plus rapide d'entraîner un robot à partir de zéro. Au lieu de modifier aveuglément tout le cerveau, il ajuste uniquement la chorégraphie tout en gardant les niveaux d'énergie verrouillés. L'article montre que c'est un gain de temps énorme. Par exemple, sur un modèle spécifique de 8 milliards de paramètres, la nouvelle méthode a atteint le même score élevé que l'ancienne méthode en seulement 100 étapes, alors que l'ancienne méthode avait besoin de 270 étapes pour y parvenir. Mieux encore, elle a continué à s'améliorer et a obtenu un score encore plus élevé à l'étape 210.

Les auteurs précisent très prudemment qu'il ne s'agit pas de magie, mais de mathématiques. Ils l'ont testé rigoureusement. Ils ont montré que si vous essayez de changer uniquement les niveaux d'énergie (les boutons de volume) sans changer la chorégraphie, le robot n'apprend pas grand-chose. Mais si vous gardez les niveaux d'énergie fixes et que vous changez la chorégraphie, le robot apprend vite. Ils ont également vérifié que ce motif reste vrai même lorsqu'un robot apprend une seconde compétence, totalement différente, plus tard.

Ainsi, la conclusion principale est simple : lorsque vous enseignez de nouvelles capacités de raisonnement à ces modèles d'IA, n'essayez pas de reconstruire toute leur fondation. Contentez-vous d'hériter de la fondation solide qu'ils possèdent déjà et concentrez-vous sur la réorganisation des pas. C'est une façon plus efficace, plus rapide et étonnamment efficace d'apprendre à l'IA comment réfléchir.

Résumé Technique : ISO : Une pile d'optimisation native du RLVR

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est devenu un mécanisme primaire pour l'échelle des capacités de raisonnement des grands modèles de langage (LLM). Cependant, la couche d'optimisation responsable de la conversion du feedback de récompense en mises à jour de l'espace des poids reste mal comprise. Les implémentations actuelles de RLVR héritent largement des stratégies d'optimisation (ex. : AdamW, Muon) et des paramétrages du pré-entraînement, malgré les différences structurelles fondamentales entre les deux régimes. Le pré-entraînement repose sur une supervision dense au niveau du jeton (token), tandis que le RLVR adapte des politiques capables à l'aide de récompenses éparses basées sur les résultats.

Des analyses récentes suggèrent que les mises à jour RLVR sont éparses et hors-principale (off-principal), pourtant les cadres existants ne séparent pas explicitement ce qui est réutilisé de ce qui est réécrit lors de l'adaptation. Ce document étudie la « couche manquante » de l'optimisation du RLVR en analysant la structure singulière des poids du modèle afin de déterminer si les propriétés spectrales du modèle de base sont fonctionnellement nécessaires ou simplement accidentelles.

Méthodologie : Héritage Spectral et Optimisation Isospectrale (ISO)

Le document introduit l'Optimisation Isospectrale (ISO), un cadre fondé sur le principe de l'héritage spectral. Ce principe postule que le RLVR peut acquérir de nouveaux comportements en modifiant les cadres d'entrée et de sortie ( $U, V$ ) des matrices de poids tout en réutilisant le spectre des valeurs singulières du modèle de base ( $\Sigma$ ).

1. Analyse de l'Héritage Spectral

Les auteurs formalisent l'observation selon laquelle les points de contrôle (checkpoints) RLVR non contraints restent proches de la « famille à spectre fixe » de leurs poids de base.

Proximité Isospectrale : L'analyse empirique montre que la distance entre les poids appris par RLVR et la famille à spectre fixe du modèle de base est minimale (environ 3 % du déplacement total du checkpoint), ce qui est nettement inférieur au Fine-Tuning Supervisé (SFT).
Réutilisabilité Fonctionnelle : À travers des interventions, les auteurs démontrent que les faibles changements spectraux observés dans le RLVR non contraint ne sont pas fonctionnellement nécessaires.
- Restauration : Restaurer le spectre de base ( $\Sigma_0$ ) après l'entraînement tout en conservant les cadres appris préserve la majeure partie des performances acquises.
- Entraînement à Spectre Fixe : Maintenir $\Sigma_0$ fixe pendant l'entraînement et n'optimiser que les cadres ( $U, V$ ) produit des gains importants, surpassant souvent les optimiseurs standards dans l'espace des poids.
- Contrôle par le Spectre Seul : Inversement, mettre à jour uniquement le spectre en gelant les cadres produit une amélioration limitée.
Adaptabilité des Cadres : L'analyse structurelle révèle que, bien que le spectre puisse rester fixe, les deux cadres singuliers d'entrée ( $V$ ) et de sortie ( $U$ ) doivent rester adaptables. Restreindre l'adaptation à un seul sous-espace ou remixer uniquement au sein des étendues existantes laisse une part substantielle du changement de checkpoint inexpliquée.

2. Le Cadre ISO

ISO opérationnalise ces découvertes sous la forme d'une pile d'optimisation comprenant deux instanciations complémentaires :

A. ISO-Merger (Hors-ligne)

Une méthode sans données pour composer des experts de base partagée.

Mécanisme : Au lieu d'utiliser des vecteurs de tâches euclidiens ou de la distillation on-policy, ISO-Merger aligne les cadres singuliers de multiples experts sur un spectre de base partagé. Il projette les changements de cadres des experts sur l'espace tangent de Stiefel de la base, masque les modes traînants instables, et les agrège via une combinaison linéaire stabilisée par régularisation (ridge) pour cibler une auto-rétention unitaire.
Processus : Projection $\to$ Masquage $\to$ Fusion $\to$ Rétraction. Le modèle final est reconstruit comme $W^* = U^* \Sigma_0 (V^*)^\top$ , garantissant qu'il appartient à la famille à spectre fixe.
Exigence : Ne nécessite aucune donnée post-fusion, aucun déroulement (rollout), aucune mise à jour de gradient, ni distillation.

B. ISO-Optimizer (En ligne)

Une méthode pour l'entraînement RLVR en ligne qui applique des optimiseurs standards aux variables de cadres.

Mécanisme : Étant donné un optimiseur de base (ex. : AdamW, Muon), ISO-Optimizer applique la règle de mise à jour aux variables de cadres singuliers ( $U, V$ ) tout en maintenant le spectre de base $\Sigma_0$ fixe.
Flux de Gradient : Les gradients sont calculés par rapport à la matrice de poids reconstruite $W = U \Sigma_0 V^\top$ et rétropropagés vers $U$ et $V$ via la règle de la chaîne.
Faisabilité : Après chaque mise à jour, les facteurs sont projetés de nouveau sur la variété de Stiefel via une rétraction polaire (basée sur la SVD) pour assurer l'orthonormalité.
Surcharge : La rétraction polaire ajoute environ 7 % au temps de l'étape de bout en bout, ce qui est non dominant dans les systèmes RLVR où la génération de rollouts est le goulot d'étranglement.

Résultats Clés

1. Composition d'Experts Hors-ligne (ISO-Merger)

Les expériences sur Qwen2.5-7B et DeepSeek-R1-Distill-Qwen-1.5B fusionnant des experts de codage, d'utilisation d'outils et de mémoire montrent :

ISO-Merger atteint la meilleure performance agrégée parmi les méthodes de fusion sans données (ex. : Task Arithmetic, TIES, OrthoMerge).
Sur Qwen2.5-7B, il atteint un score moyen de 63,80, surpassant la meilleure base de référence (62,88).
Sur DeepSeek-R1-Distill-Qwen-1.5B, il atteint 44,38, surpassant la meilleure base de référence (43,52).
Il récupère des capacités complémentaires sans nécessiter de données d'entraînement ou de rollouts supplémentaires.

2. Entraînement RLVR en Ligne (ISO-Optimizer)

Les expériences sur le raisonnement mathématique (AIME, AMC, Olympiad) et le codage (LiveCodeBench) à travers différentes échelles de modèles (1,5B à 8B) montrent :

Gains de Précision : ISO-AdamW atteint systématiquement une précision agrégée plus élevée que les bases de référence AdamW et Muon.
Efficacité d'Entraînement : ISO-Optimizer atteint des scores équivalents avec beaucoup moins d'étapes d'entraînement.
- Sur Qwen3-4B-Base, ISO-AdamW égale la précision finale de la meilleure exécution AdamW avec 2,2 $\times$ moins d'étapes.
- Sur Qwen3-8B-Base, ISO-AdamW atteint une précision de 0,495 en 100 étapes, alors que le standard AdamW nécessite 270 étapes pour atteindre le même niveau (soit une réduction de 2,7 $\times$ ).
Généralisation : Les bénéfices persistent à travers différents optimiseurs (ISO-Muon) et tâches (codage vs mathématiques), confirmant que la contrainte de spectre fixe est un biais inductif robuste pour le RLVR.

Signification et Revendications

Le papier prétend fournir une réponse concrète à la « couche d'optimisation manquante » dans le RLVR. Plutôt que d'hériter intégralement de l'optimisation du pré-entraînement, les auteurs soutiennent qu'il faut concevoir le post-entraînement autour de la structure de l'adaptation pilotée par la récompense : hériter du spectre, optimiser les cadres.

Les principales contributions incluent :

Formalisation de l'Héritage Spectral : Démontrer que le RLVR réutilise fonctionnellement les spectres de poids du modèle de base, une propriété distincte du SFT.
Pile Native du RLVR : Présentation d'ISO comme un cadre qui unifie la composition de l'expert hors-ligne et l'entraînement en ligne sous un principe unique de spectre fixe.
Efficacité Pratique : Montrer que la restriction de l'optimisation à la famille à spectre fixe améliore la vitesse de convergence et la précision finale sans étendre la classe de modèles faisable, agissant de fait comme un biais inductif fort pour le RLVR.

Les auteurs soulignent que ISO n'est pas simplement un nouvel optimiseur, mais un re-paramétrage structurel qui aligne la trajectoire d'optimisation avec la géométrie intrinsèque de l'adaptation par RLVR, offrant une voie vers un post-entraînement plus efficace et stable pour les modèles de raisonnement.