🤖 machine learning

On the Implicit Reward Overfitting and the Low-rank Dynamics in RLVR

Ce papier révèle que l'apprentissage par renforcement avec récompenses vérifiables (RLVR) présente un surajustement implicite des récompenses et fonctionne selon des dynamiques de faible rang, où les capacités de raisonnement améliorées sont concentrées dans des composantes de rang 1 qui optimisent un spectre singulier à queue lourde spécifique tout en écartant les autres connaissances du modèle.

Auteurs originaux : Hao Ye, Jisheng Dang, Junfeng Fang, Bimei Wang, Yizhou Zhang, Ning Lv, Wencan Zhang, Hong Peng, Bin Hu, Tat-Seng Chua

Publié 2026-05-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hao Ye, Jisheng Dang, Junfeng Fang, Bimei Wang, Yizhou Zhang, Ning Lv, Wencan Zhang, Hong Peng, Bin Hu, Tat-Seng Chua

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Image : La « Magie » de l'Apprentissage par Renforcement

Imaginez que vous avez un étudiant très intelligent (un Grand Modèle de Langage) qui est bon dans de nombreux domaines, mais qui n'est pas excellent pour résoudre des énigmes mathématiques complexes. Vous décidez d'utiliser une méthode d'entraînement spéciale appelée Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR). Imaginez cela comme un entraîneur strict qui donne une étoile dorée à l'étudiant chaque fois qu'il trouve la bonne réponse à un problème de mathématiques.

Après l'entraînement, l'étudiant devient un génie des mathématiques. Mais les chercheurs de ce papier se sont posé une question piège : L'étudiant a-t-il réellement appris une nouvelle logique, ou a-t-il simplement appris à tricher le système de notation de l'entraîneur ?

1. Le Génie « Une Seule Note » (Dominance de Rang 1)

Les chercheurs ont découvert quelque chose de surprenant : presque toute l'amélioration du « génie des mathématiques » se produit dans une seule minuscule tranche du cerveau de l'étudiant.

L'Analogie : Imaginez que le cerveau de l'étudiant est une immense bibliothèque contenant des millions de livres. Lorsqu'il devient bon en mathématiques, ce n'est pas parce qu'il a lu plus de livres. C'est parce qu'il a trouvé un seul marque-page magique spécifique (appelé le « composant de Rang 1 ») qui pointe instantanément vers la bonne réponse.
La Découverte : Si vous prenez le modèle entraîné et que vous jetez tout sauf ce seul marque-page magique, le modèle reste tout aussi bon en mathématiques que la version entièrement entraînée. Le reste des « mises à jour du cerveau » (les autres millions de pages) semble faire très peu pour les compétences en mathématiques.

2. Le Problème « Fais-le semblant jusqu'à ce que tu y arrives » (Surajustement de la Récompense Implicite)

Voici la partie contre-intuitive. Les chercheurs ont créé une méthode d'entraînement où ils ont forcé l'étudiant à ne garder que ce « seul marque-page magique » et à jeter le reste des mises à jour tous les quelques étapes.

Le Résultat : Le score de l'étudiant sur le test d'entraînement (les problèmes pratiques donnés par l'entraîneur) a baissé. L'entraîneur était mécontent car l'étudiant ne gagnait pas autant d'étoiles dorées pendant l'entraînement.
La Surprise : Cependant, lorsque l'étudiant a passé le examen final (un nouvel ensemble de problèmes qu'il n'avait jamais vus), il s'est comporté aussi bien que l'étudiant qui avait gardé toutes les mises à jour supplémentaires.
Le Sens : Les « mises à jour supplémentaires » que l'étudiant apprend habituellement sont en réalité du bruit. Ce sont des tentatives de l'étudiant pour mémoriser les questions d'entraînement spécifiques afin d'obtenir plus d'étoiles dorées, plutôt que d'apprendre la logique réelle. Les chercheurs appellent cela le « Surajustement de la Récompense Implicite ». Le modèle « fait semblant » d'obtenir un score élevé sur les données d'entraînement sans réellement devenir plus intelligent.

3. Le « Filet de Sécurité » (Pourquoi Nous Avons Besoin du Reste)

Si les « mises à jour supplémentaires » ne sont que du bruit pour les mathématiques, pourquoi les garder ? Les chercheurs ont découvert que ces mises à jour supplémentaires sont en réalité la personnalité et le sens commun de l'étudiant.

L'Analogie : Si vous retirez les « mises à jour supplémentaires » et ne gardez que le « marque-page des mathématiques », l'étudiant devient un génie des mathématiques mais perd sa capacité à suivre les instructions, à rester en sécurité ou à connaître des faits généraux sur le monde.
La Découverte : La partie « Rang 1 » sert au raisonnement. Les parties « Non-Rang 1 » servent à la sécurité, aux connaissances du monde et au respect des règles. Si vous les jetez, le modèle peut résoudre des problèmes de mathématiques parfaitement mais commencer à dire des choses grossières ou oublier comment parler aux humains.

4. La Forme de l'Apprentissage (La Distribution à Queue Lourde)

Les chercheurs ont examiné la « forme » des changements dans le cerveau du modèle en utilisant un outil mathématique appelé SVD (qui décompose des données complexes en lignes simples).

Le Modèle : Ils ont trouvé un modèle cohérent : un pic géant (le marque-page des mathématiques) suivi d'une longue traînée lente de changements plus petits.
La Métaphore : Imaginez une chaîne de montagnes. Il y a un pic haut et pointu (le raisonnement mathématique). Derrière lui, il y a une longue pente vallonnée (la sécurité et les connaissances). Le pic est ce qui fait du modèle un magicien des mathématiques, mais la pente est ce qui maintient le modèle ancré et en sécurité.

5. La « Rue à Sens Unique » (Asymétrie Géométrique)

Enfin, le papier explique comment le modèle apprend cela. Ils ont découvert que le processus d'apprentissage est déséquilibré.

L'Analogie : Imaginez que le modèle est une usine.
- La Sortie (La Réponse) : L'usine apprend à modifier le produit final (la réponse) très facilement. C'est comme avoir un convoyeur qui peut être rapidement ajusté pour emballer le bon article. C'est le « côté gauche » des mathématiques, et il s'aligne parfaitement avec le « marque-page » de Rang 1.
- L'Entrée (La Question) : L'usine peine à modifier la façon dont elle lit les questions entrantes. Les questions sont désordonnées et complexes. Le modèle ne peut pas facilement réorganiser sa compréhension de l'entrée avec un simple « marque-page ».
La Conclusion : Le RLVR concerne principalement l'optimisation de la sortie (comment le modèle choisit la bonne réponse), et non pas la réécriture fondamentale de la façon dont le modèle comprend le monde. C'est comme enseigner à un étudiant à deviner la bonne réponse à un test sans nécessairement lui apprendre à mieux lire la question.

Résumé

Ce papier nous dit que lorsque les modèles d'IA deviennent « plus intelligents » en mathématiques grâce à l'Apprentissage par Renforcement :

La plupart de la magie est concentrée dans un minuscule marque-page unidimensionnel (Rang 1).
Le reste de l'entraînement mémorise souvent simplement le test d'entraînement (Surajustement) sans ajouter de valeur réelle à l'examen final.
Nous avons besoin du « bruit » (les parties non-Rang 1) pour maintenir le modèle en sécurité et informé, même si cela n'aide pas pour les mathématiques.
Le modèle apprend à produire de meilleures réponses, pas nécessairement à mieux comprendre l'entrée.

Les chercheurs suggèrent qu'en comprenant cela, nous pouvons entraîner les modèles plus efficacement, en nous concentrant sur le « marque-page » pour le raisonnement tout en protégeant la « pente » pour la sécurité et les connaissances.

Résumé Technique : Surajustement de la Récompense Implicite et Dynamiques de Faible Rang en RLVR

Énoncé du Problème

Malgré le succès technique du Renforcement par Apprentissage avec Récompenses Vérifiables (RLVR) dans le renforcement des capacités de raisonnement des Grands Modèles de Langage (LLM), les mécanismes microscopiques par lesquels le RL modifie les paramètres du modèle restent mal compris. La recherche existante se concentre largement sur la dynamique macroscopique de l'entraînement ou la conception des récompenses, laissant un vide dans la compréhension de la structure spécifique et de la signification physique des mises à jour de paramètres ( $\Delta W$ ).

Des observations récentes suggèrent que les améliorations apportées par le RLVR sont concentrées au sein des composantes de faible rang, spécifiquement les mises à jour de Rang-1. Cependant, une découverte perturbante indique que le RL n'imprime peut-être pas de nouvelle logique de raisonnement sous-jacente, mais optimise plutôt les stratégies d'échantillonnage pour faire émerger des réponses correctes latentes. Cela soulève des questions critiques : le RLVR apprend-il véritablement le raisonnement, ou surajuste-t-il la fonction de récompense ? De plus, quel est le rôle fonctionnel des composantes non-Rang-1 dans la matrice de mise à jour des paramètres ?

Méthodologie

Les auteurs emploient une combinaison d'études empiriques et d'analyses théoriques centrées sur les propriétés spectrales des mises à jour de poids.

Substitution Périodique de Rang-1 : Pour étudier la contribution des composantes non-Rang-1, les auteurs introduisent une technique où, à intervalles fixes (par exemple, tous les 10 pas), la mise à jour de poids accumulée est décomposée par Décomposition en Valeurs Singulières (SVD). Seule la composante de Rang-1 (associée à la plus grande valeur singulière) est conservée et ajoutée aux paramètres du modèle de base, tandis que les composantes résiduelles non-Rang-1 sont rejetées. Le modèle poursuit ensuite l'entraînement à partir de cet état « purifié en Rang-1 ».
Analyse Spectrale : Les auteurs effectuent une SVD sur les matrices de différence de poids ( $\Delta W$ ) des modèles entraînés par RLVR pour analyser la distribution des valeurs singulières (spectres singuliers) à travers les couches linéaires.
Analyse d'Alignement LoRA : En utilisant LoRA avec un rang $r=1$ , les auteurs comparent l'alignement géométrique entre les adaptateurs LoRA et le véritable sous-espace de Rang-1 de la mise à jour complète des poids. Ils utilisent la Similarité Cosinus de Frobenius et les Angles Principaux (Gauche et Droit) pour quantifier l'alignement dans les espaces d'entrée et de sortie.
Analyse Théorique du Gradient : L'article dérive la structure du gradient des objectifs RL (GRPO, DAPO, GSPO), montrant qu'ils peuvent être formulés comme des sommes pondérées de matrices de rang 1, ce qui soutient l'observation empirique de la dominance du Rang-1.

Résultats et Constatations Clés

1. Surajustement de la Récompense Implicite

L'étude révèle un phénomène contre-intuitif : le Surajustement de la Récompense Implicite. Les modèles entraînés avec Substitution Périodique de Rang-1 atteignent des performances sur l'ensemble de test comparables à celles des modèles entièrement affinés (RL Complet), malgré l'exhibition de récompenses d'entraînement significativement plus faibles.

Observation : L'entraînement standard RLVR fait augmenter les récompenses d'entraînement de manière constante, mais cela ne se traduit pas par une généralisation supérieure.
Implication : Les composantes non-Rang-1 augmentent considérablement les récompenses d'entraînement mais échouent à améliorer la généralisation. Le modèle semble sur-optimiser sa stratégie d'échantillonnage pour s'adapter à la distribution de récompense des données d'entraînement plutôt que d'apprendre une logique de raisonnement robuste.

2. Rôle Fonctionnel des Composantes Non-Rang-1

Bien que les composantes de Rang-1 capturent les capacités de raisonnement, les composantes non-Rang-1 ne sont pas fonctionnellement redondantes.

Préservation des Capacités Générales : La suppression des composantes non-Rang-1 via l'extraction de Rang-1 entraîne une dégradation significative des capacités hors domaine, notamment le suivi d'instructions (IF-Eval), la connaissance du monde (MMLU, MMLU-Pro) et la sécurité (SafetyBench).
Oubli Catastrophique : Les composantes non-Rang-1 sont cruciales pour maintenir la connaissance générale du modèle et son alignement de sécurité, empêchant l'oubli catastrophique souvent observé dans l'affinage supervisé (SFT).

3. Pattern Spectral Universel

Les spectres singuliers des mises à jour de paramètres dans les modèles entraînés par RLVR suivent un pattern cohérent :

Pic Dominant : Une première valeur singulière dominante ( $\sigma_1$ ) correspondant à la composante de Rang-1.
Distribution à Queue Lourde : Après le pic initial, les valeurs singulières restantes exhibent une décroissance uniforme, quasi-linéaire, formant une queue lourde.
Distribution de l'Énergie : Bien que la composante de Rang-1 pilote le raisonnement, la queue non-Rang-1 contient la majorité de l'« énergie » (norme de Frobenius) de la mise à jour, codant la sécurité, la robustesse et l'alignement de caractéristiques subtiles.

4. Asymétrie Géométrique dans la Dynamique LoRA

L'analyse de la dynamique d'entraînement LoRA révèle une Asymétrie Géométrique entre les sous-espaces d'entrée et de sortie :

Alignement de l'Espace de Sortie : Les vecteurs singuliers gauches (espace de sortie) de la composante de Rang-1 montrent un fort alignement avec les adaptateurs LoRA. Cela correspond à la découverte selon laquelle le RLVR optimise principalement la stratégie d'échantillonnage (représentation de sortie).
Désalignement de l'Espace d'Entrée : Les vecteurs singuliers droits (espace d'entrée) montrent un alignement plus faible. Les mises à jour d'entrée impliquent une réorganisation complexe des caractéristiques contextuelles difficile à capturer avec de simples matrices de faible rang.
Base Théorique : L'analyse du gradient montre que la direction de mise à jour pour le vecteur de sortie est déterminée par l'erreur rétropropagée (qui s'aligne bien), tandis que la mise à jour du vecteur d'entrée est déterminée par des activations hautement dépendantes du contexte, rendant l'alignement difficile.

Importance et Contributions

L'article prétend offrir une compréhension mécaniste plus profonde du RLVR, remettant en question l'hypothèse selon laquelle le RL « apprend » intrinsèquement le raisonnement au sens traditionnel.

Recadrage du RLVR : Les résultats suggèrent que le RLVR agit davantage comme un mécanisme pour optimiser l'efficacité de l'échantillonnage et faire émerger des capacités de raisonnement latentes plutôt que d'altérer fondamentalement la logique de raisonnement sous-jacente du modèle. Cela explique pourquoi l'augmentation de $k$ dans les métriques pass@k peut parfois amener les modèles RL standards à sous-performer par rapport aux modèles de base.
Découplage des Capacités : Le travail découple avec succès la capacité de raisonnement (Rang-1) de la connaissance générale et de la sécurité (Non-Rang-1), fournissant une base théorique expliquant pourquoi le « surajustement » aux récompenses peut se produire sans nuire à la généralisation si la composante de Rang-1 est préservée.
Insights Spectraux : L'identification du pattern spectral « pic dominant + queue lourde » offre une nouvelle lentille pour analyser les mises à jour RL, suggérant que le RL induit une forme spectrale hautement structurée plutôt qu'une mise à jour strictement de faible rang.
Implications Pratiques : Les résultats offrent des perspectives potentielles pour l'amélioration des paradigmes RL, tels que la conception de stratégies d'entraînement qui atténuent le surajustement implicite aux récompenses tout en préservant les composantes non-Rang-1 nécessaires à la sécurité et à la connaissance générale.

Les auteurs reconnaissent les limites, notant que leurs observations sont basées sur des tailles et architectures de modèles spécifiques, et qu'une recherche supplémentaire est nécessaire pour déterminer l'universalité de ces résultats à travers différentes échelles de paramètres et familles de modèles.