💬 NLP

Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

Cet article révèle que l'apprentissage par renforcement avec récompenses vérifiables (RLVR) peut induire un « paradoxe de la perplexité » chez les LLM en activant un circuit caché « Ancre-Adaptateur » qui contourne le raisonnement au profit de la mémorisation de solutions spécieuses, offrant ainsi un cadre mécaniste pour détecter et atténuer une telle contamination des données.

Auteurs originaux : Lecheng Yan, Ruizhe Li, Guanhua Chen, Qing Li, Jiahui Geng, Wenxi Li, Longyue Wang, Chenyang Lyu

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lecheng Yan, Ruizhe Li, Guanhua Chen, Qing Li, Jiahui Geng, Wenxi Li, Longyue Wang, Chenyang Lyu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le « tour de magie » d'un étudiant en mathématiques

Imaginez que vous avez un étudiant brillant en mathématiques (le modèle d'IA, spécifiquement Qwen2.5). Vous voulez lui apprendre à résoudre des problèmes difficiles. Habituellement, vous lui donnez un problème, il réfléchit aux étapes, et vous lui donnez une étoile d'or s'il trouve la bonne réponse. C'est ce qu'on appelle l'Apprentissage par renforcement avec récompenses vérifiables (RLVR).

Récemment, des chercheurs ont remarqué quelque chose de bizarre. Même lorsqu'ils donnaient à l'étudiant de fausses étoiles d'or (des récompenses aléatoires, ou des récompenses pour avoir simplement écrit la réponse dans le bon format, même si la réponse était fausse), les scores de l'étudiant aux examens augmentaient de manière spectaculaire sur des examens spécifiques.

Le paradoxe : Comment un étudiant peut-il devenir plus intelligent en étant récompensé pour être faux ou aléatoire ?

L'article soutient que l'étudiant ne devient pas réellement plus intelligent en mathématiques. Au lieu de cela, il réalise un tour de magie : il mémorise secrètement les réponses aux questions spécifiques des tests qu'il a déjà vus et se contente de les réciter, ignorant les mathématiques réelles.

Le « Paradoxe de la Perplexité » : Le signe révélateur

Comment savoir s'ils trichent (mémorisation) ou s'ils apprennent vraiment ? Les chercheurs ont observé la « confiance » de l'étudiant de deux manières différentes :

L'invite (La question) : L'étudiant commençait à paraître confus et incohérent lors de la lecture de la question.
La réponse : L'étudiant devenait hyper-confiant et parfait au moment de donner le chiffre final.

L'analogie : Imaginez une personne essayant de réciter un discours qu'elle a mémorisé. Si vous lui demandez : « De quoi parle le discours ? », elle bafouille et semble nerveuse (confusion élevée). Mais dès qu'elle commence le discours, elle parle parfaitement sans hésitation (confusion faible).

Dans le monde de l'IA, c'est ce qu'on appelle le Paradoxe de la Perplexité. L'IA sacrifie sa capacité à comprendre la question pour réciter parfaitement la réponse.

Le travail de détective : Trouver la « fiche de triche »

Les chercheurs n'ont pas seulement deviné ; ils ont utilisé des outils d'« interprétabilité mécaniste ». Considérez cela comme des lunettes de rayons X qui leur permettent de regarder à l'intérieur du cerveau de l'IA (ses couches) pour voir exactement où la magie opère.

Ils ont découvert un circuit spécifique en deux parties à l'intérieur de l'IA qui agit comme un Système de Fiche de Triche :

1. L'Ancre (Le déclencheur)

Emplacement : Le milieu du cerveau (Couches 18–20).
Ce qu'elle fait : C'est l'interrupteur. Lorsque l'IA voit une question qu'elle a déjà vue (une question « fuitée » ou contaminée), cette partie du cerveau s'illumine et dit : « Arrête de réfléchir ! Je connais celle-là ! Sors la mémoire ! »
L'analogie : C'est comme un bibliothécaire qui, en voyant un titre de livre spécifique, arrête immédiatement de chercher dans les rayons et court vers un tirot caché pour attraper le résumé pré-écrit.

2. L'Adaptateur (Le traducteur)

Emplacement : La partie tardive du cerveau (Couches 21+).
Ce qu'il fait : Une fois que l'Ancre a extrait la réponse, le travail de l'Adaptateur est de remodeler les pensées internes de l'IA pour qu'elles correspondent à cette réponse mémorisée. Il force le reste du cerveau à accepter le raccourci.
L'analogie : C'est comme un traducteur qui prend la note cachée du bibliothécaire et force l'orateur à la dire d'une manière qui ressemble à une phrase normale, même si l'orateur essayait de dire autre chose.

La preuve : Activer et désactiver l'interrupteur

Pour prouver qu'il ne s'agissait pas d'une simple coïncidence, les chercheurs ont effectué une « chirurgie » sur le cerveau de l'IA :

La Réinitialisation : Ils ont pris les couches de l'« Ancre » (18–20) et les ont remplacées par le cerveau original, non entraîné.
- Résultat : L'IA a immédiatement oublié les réponses mémorisées et ses scores sur les tests « trichés » ont chuté.
Le Contrôle : Ils ont fait la même chose sur un nouveau test que l'IA n'avait jamais vu (LiveMathBench).
- Résultat : La performance de l'IA n'a pas changé. Elle peut toujours résoudre de nouveaux problèmes car ses véritables capacités de raisonnement sont réparties partout, et non seulement dans ce point précis de l'« Ancre ».

Le « Bouton de Volume » : Contrôler la triche

La partie la plus fascinante est que les chercheurs ont trouvé des neurones spécifiques (de minuscules interrupteurs) à l'intérieur de l'Ancre qui agissent comme un bouton de volume pour la fiche de triche.

Monter le volume : Si on augmentait le signal dans ces neurones, l'IA devenait plus dépendante de la mémorisation, devenant encore meilleure sur les anciens tests mais moins bonne en raisonnement.
Baisser le volume : Si on supprimait le signal, l'IA arrêtait de tricher. Elle cessait de mémoriser et recommençait à essayer de résoudre réellement le problème.

La Conclusion

L'article conclut que lorsque les modèles d'IA sont entraînés avec des récompenses « fallacieuses » (signaux faux ou aléatoires), ils n'apprennent pas à mieux raisonner. Au lieu de cela, ils apprennent à exploiter leur mémoire. Ils trouvent un raccourci : « Si je vois cette question spécifique, j'ignore les mathématiques et je recrache simplement la réponse dont je me souviens. »

Les chercheurs ont désormais cartographié exactement où cela se produit dans le cerveau de l'IA et ont trouvé un moyen de détecter et même de désactiver ce comportement de « triche », garantissant que lorsque nous voyons des scores élevés, c'est réellement parce que l'IA est intelligente et non parce qu'elle récite simplement un script mémorisé.

Résumé Technique : Le Paradoxe des Récompenses Spacieuses : Comprendre Mécanistiquement comment le RLVR Active les Raccourcis de Mémorisation dans les LLM

Énoncé du Problème
L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est devenu un paradigme dominant pour améliorer les capacités de raisonnement des grands modèles de langage (LLM), particulièrement dans les domaines déterministes comme les mathématiques. L'hypothèse prédominante est que les gains de performance proviennent de l'optimisation de politiques de raisonnement robustes via une supervision basée sur la vérité de terrain (ground-truth). Cependant, des observations empiriques récentes remettent en question ce récit. Des modèles tels que Qwen2.5-Math ont démontré des améliorations de performance significatives sur des benchmarks standards (ex. : MATH-500, AIME), même lorsqu'ils sont entraînés avec des « récompenses spacieuses » — des signaux qui sont aléatoires, basés sur le format ou entièrement incorrects. Alors que des travaux antérieurs suggéraient que ces gains pourraient résulter d'une contamination des données (mémorisation des ensembles de test lors du pré-entraînement), une lacune critique subsistait : si les données étaient déjà présentes, pourquoi la précision initiale était-elle limitée, et comment l'entraînement avec des récompenses incorrectes débloque-t-il paradoxalement cette performance ? Cet article étudie les mécanismes internes par lesquels le RLVR spécieux déclenche une transition du raisonnement général vers une « mémorisation obstinée ».

Méthodologie
Les auteurs utilisent une suite d'outils d'interprétabilité mécaniste pour disséquer la dynamique d'apprentissage du modèle Qwen2.5-Math-7B sous un entraînement RLVR spécieux. La méthodologie combine des analyses statiques et dynamiques :

Analyse de la Perplexité : L'étude suit la perplexité des jetons de réponse (answer tokens) par rapport aux jetons d'invite (prompt tokens) afin d'identifier des anomalies d'apprentissage macroscopiques.
Patching de Chemin (Path Patching) : Pour attribuer causalement les sorties à des composants spécifiques du modèle, les auteurs échangent les activations entre des échantillons de « Fuite » (Leakage — où la mémorisation est active) et des échantillons « Stables » (où le raisonnement est maintenu) à travers différentes couches. Cela isole les arêtes du graphe de calcul responsables du déclenchement de la récupération de la mémoire.
Logit Lens & Divergence de Jensen-Shannon (JSD) : Ces outils sont utilisés pour surveiller l'émergence des jetons couche par couche et quantifier l'alignement entre les états cachés intermédiaires et la distribution de sortie finale. Des scores JSD élevés indiquent qu'un calcul important subsiste avant que le modèle ne s'engage sur une réponse.
Équations Différentielles Neurales (NDE) : Les mises à jour du flux résiduel sont modélisées comme une trajectoire continue ( $dx(t)/dt = F_\theta(x(t))$ ). Cela permet l'identification mathématique de « points de bifurcation » où les trajectoires de mémorisation et de raisonnement divergent dans l'espace latent.
Intervention Mécaniste : Les auteurs effectuent un pilotage causal en modifiant l'échelle des clés (keys) de neurones MLP spécifiques identifiés comme critiques pour le circuit de mémorisation. Cela teste la suffisance causale de ces neurones pour activer ou supprimer le raccourci.

Contributions Clés et Résultats

1. Le Paradoxe de la Perplexité
L'étude identifie un « Paradoxe de la Perplexité » propre aux modèles présentant des gains de RLVR spécieux. Sur des jeux de données contaminés, la perplexité du modèle sur les jetons de réponse diminue de manière significative, tandis que la perplexité sur le côté de l'invite (cohérence) se dégrade. Cette divergence suggère que le modèle contourne le raisonnement général pour récupérer directement des solutions mémorisées, sacrifiant la qualité du modèle de langage sur l'entrée pour minimiser la perte sur la sortie.

2. Découverte du Circuit Ancre–Adaptateur (Anchor–Adapter)
À travers l'analyse mécaniste, les auteurs localisent un circuit auparavant inconnu responsable de ce comportement, composé de deux composants distincts :

Ancre Fonctionnelle (Couches 18–20) : Ces couches intermédiaires agissent comme le déclencheur décisif. Le path patching et l'analyse NDE révèlent que la « force de séparation » entre les échantillons de fuite et les échantillons stables culmine ici. C'est là que le modèle décide causalement de récupérer une réponse mémorisée et injecte un jeton de déclenchement à haute probabilité.
Adaptateurs Structurels (Couches 21+) : Les couches suivantes subissent une réorganisation drastique des poids (JSD élevée dans $W_{up}$ et $W_{gate}$ ) non pas pour stocker de nouvelles connaissances, mais pour transformer la représentation interne afin d'accompagner le signal de l'Ancre Fonctionnelle. Ces couches agissent comme des adaptateurs qui font pivoter l'espace des caractéristiques pour l'aligner avec la solution mémorisée.

3. Validation Empirique de la Contamination
Les études d'ablation confirment que ce circuit dépend du jeu de données. Réinitialiser les couches de l'Ancre Fonctionnelle aux poids du modèle de base provoque une chute significative de la précision sur les benchmarks contaminés (ex. : MATH-500) tout en laissant les performances sur les jeux de données propres et sans fuite (ex. : LiveMathBench) largement inchangées. Inversement, manipuler ces couches a un impact minimal sur les échantillons « Stables » qui reposent sur un raisonnement authentique, indiquant que les capacités de raisonnement général sont distribuées à travers le réseau et ne dépendent pas de manière critique de ce circuit spécifique.

4. Pilotage Causal via l'Intervention MLP
Les auteurs démontrent que modifier l'échelle des clés de neurones MLP spécifiques au sein du circuit identifié permet un pilotage causal bidirectionnel.

Amplification : Augmenter le facteur d'échelle booste artificiellement la dépendance du modèle aux données contaminées, récupérant la performance même sur les échantillons où le modèle de base a échoué.
Suppression : Diminuer le facteur d'échelle supprime le raccourci, révélant la performance de base sous-jacente du modèle.
Cela fournit une preuve causale définitive que ces neurones sont le mécanisme d'activation du raccourci. De plus, une intervention par « porte de sondage » (probe-gated) est proposée, qui supprime sélectivement le circuit uniquement lorsqu'une sonde de fuite détecte une haute probabilité de contamination, permettant ainsi d'auditer les gains suspects sans nuire aux performances sur les nouveaux benchmarks.

Signification et Revendications
L'article affirme fournir la première explication mécaniste de la manière dont les signaux RLVR spécieux reconfigurent physiquement l'architecture interne d'un LLM pour favoriser la mémorisation plutôt que le raisonnement. En identifiant le circuit « Ancre–Adaptateur » et le « Paradoxe de la Perplexité », les auteurs proposent une feuille de route pour :

Distinguer Capacité et Contamination : Fournir des outils pour différencier la généralisation du raisonnement authentique de la récupération de données pré-mémorisées.
Atténuer la Contamination des Données : Démontrer que des interventions spécifiques peuvent supprimer la performance tirée de la contamination sans réentraînement, offrant une méthode pour « décontaminer » les modèles post-hoc.
Améliorer la Sécurité du RLVR : Souligner la vulnérabilité du RLVR face à l'optimisation par raccourcis, suggérant la nécessité de fonctions de récompense plus sophistiquées et de benchmarks d'évaluation résistants aux fuites.

Les auteurs maintiennent une position modeste, présentant leurs conclusions comme la preuve d'un mécanisme spécifique au sein de la famille Qwen opérant sur des données contaminées, plutôt que comme une loi universelle pour tous les LLM. Ils soulignent que leur travail sert d'outil de diagnostic pour améliorer la transparence et la sécurité des systèmes d'IA déployés dans des domaines critiques.