🤖 machine learning

reward-lens: A Mechanistic Interpretability Library for Reward Models

L'article présente « reward-lens », une bibliothèque open source qui adapte les outils d'interprétabilité mécaniste aux modèles de récompense en exploitant le vecteur de poids de la tête de récompense comme axe central, révélant que les méthodes d'attribution linéaire échouent à prédire les effets de patching causal et motivant ainsi un cadre qui traite cette divergence comme une propriété fondamentale plutôt que comme un bug.

Auteurs originaux : Mohammed Suhail B Nadaf

Publié 2026-04-30

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohammed Suhail B Nadaf

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez construit un robot très intelligent qui apprend à être utile en écoutant les retours humains. Pour enseigner à ce robot, vous ne lui dites pas simplement « bien joué » ou « mal joué ». À la place, vous utilisez un Modèle de Récompense. Imaginez ce Modèle de Récompense comme un juge strict et invisible qui attribue à chaque réponse un seul nombre (un score) basé sur la façon dont elle correspond aux préférences humaines. Si le robot obtient un score élevé, il continue de faire ce qu'il a fait ; s'il obtient un score faible, il essaie autre chose.

Le problème est le suivant : Nous ne savons pas vraiment comment ce juge pense.

Pendant des années, les scientifiques ont disposé d'une boîte à outils pour窥er dans les cerveaux des modèles d'IA générative (ceux qui écrivent des histoires ou du code). Ils peuvent voir quels neurones s'illuminent pour décider du mot suivant. Mais cette boîte à outils a été conçue pour des modèles qui produisent une liste de mots. Le Modèle de Récompense, en revanche, ne produit pas de mots ; il produit un seul nombre. C'est comme essayer d'utiliser un microscope conçu pour un tableau pour examiner une seule goutte d'encre. Les outils ne correspondaient pas.

La Solution : « Reward-Lens »

Ce papier présente reward-lens, une nouvelle bibliothèque (un ensemble d'outils logiciels) conçue spécifiquement pour regarder à l'intérieur de ces juges à « un seul nombre ».

Voici l'idée centrale, expliquée par une analogie :

Imaginez le cerveau de l'IA comme un long couloir comportant 32 pièces (couches). Dans chaque pièce, l'information est traitée et transmise à la suivante. Tout au bout du couloir, il y a un Bureau du Juge (la tête de récompense). Le Juge examine le message final et note un score.

Les auteurs ont réalisé que le Bureau du Juge a une « direction » spécifique qui l'intéresse. C'est comme si le Juge possédait un vecteur spécifique (une flèche) pointant dans la direction du « Bien ».

L'Ancienne Méthode : Les scientifiques tentaient d'examiner le couloir en demandant : « Quel mot viendrait ensuite ? » (ce qui n'a pas de sens pour un score).
La Nouvelle Méthode (Reward-Lens) : La bibliothèque demande : « Dans quelle mesure le message dans cette pièce spécifique fait-il monter ou descendre le score final ? »

Elle procède en projetant chaque étape du couloir sur la « Flèche du Bien » du Juge. Cela permet aux scientifiques de voir exactement où, dans le cerveau, la « bonté » est calculée.

Ce que fait la Bibliothèque (La Boîte à Outils)

Le papier décrit plusieurs outils au sein de cette bibliothèque, chacun ayant un but simple :

Le Reward Lens (Le Rayon X) :
- Analogie : Imaginez regarder un film image par image pour voir quand le héros décide de combattre le méchant.
- Fonction : Il montre exactement quand, dans le traitement de l'IA (quelle couche), la décision d'attribuer un score élevé ou faible est prise. Les auteurs ont découvert que pour certains modèles, cette décision intervient très tard (dans les dernières pièces), tandis que pour d'autres, elle se produit plus tôt et de manière plus chaotique.
Attribution des Composantes (La Fiche de Notes) :
- Analogie : Décomposer une note d'examen final pour voir combien de points proviennent de la dissertation, des mathématiques et des questions à choix multiples.
- Fonction : Il calcule dans quelle mesure chaque partie spécifique du cerveau de l'IA a contribué au score final.
- La Grande Surprise : Les auteurs ont découvert un décalage majeur. Les parties du cerveau qui semblaient faire le plus de travail (selon la fiche de notes) n'étaient pas celles qui étaient réellement nécessaires pour obtenir la bonne réponse. Si vous désactiviez les parties « supérieures », le score changeait à peine. Si vous désactiviez les parties « inférieures », le score s'effondrait. Cela signifie que se fier uniquement à la fiche de notes est trompeur.
Patchage d'Activation (Le Test d'Échange) :
- Analogie : Prendre une cellule cérébrale d'une réponse « bonne » et la remplacer dans une réponse « mauvaise » pour voir si cela corrige la mauvaise.
- Fonction : Il s'agit d'un test de « cause à effet ». Il remplace physiquement des parties du traitement de l'IA entre une réponse préférée et une réponse non préférée pour voir ce qui modifie réellement le score. C'est la seule façon de savoir avec certitude ce qui compte.
Le Détecteur de Piratage (Le Détecteur de Mensonge) :
- Analogie : Tester si le juge est facilement trompé par la flatterie, les mots longs ou la mise en forme sophistiquée.
- Fonction : Il vérifie si l'IA récompense la « sycophancie » (être d'accord avec l'utilisateur même lorsqu'il a tort) ou le « biais de longueur » (penser que les réponses plus longues sont meilleures).
- Résultat : Deux modèles différents se sont comportés de manière très différente. L'un détestait la flatterie et les réponses longues ; l'autre les récompensait en réalité.
Analyse des Concepts (Le Détecteur d'Idées) :
- Analogie : Vérifier si l'IA possède une « idée » spécifique pour « être poli » ou « être confiant » intégrée dans son cerveau.
- Fonction : Il détecte si l'IA possède un « vecteur » linéaire pour des concepts comme « l'accord » ou la « verbosité » et vérifie si le Juge récompense ces concepts.

La Conclusion Principale

La découverte la plus importante de ce papier est une mauvaise nouvelle, mais c'est une mauvaise nouvelle honnête : Vous ne pouvez pas faire confiance à la « fiche de notes » (attribution) pour vous dire ce qui est réellement important.

Dans le monde de l'IA générative (écriture d'histoires), la fiche de notes et le test de cause à effet étaient généralement d'accord. Mais pour les Modèles de Récompense, ils ne sont pas d'accord. Les parties du cerveau qui semblaient porter le poids du travail étaient souvent simplement « redondantes » (elles pouvaient être supprimées sans changer le score), tandis que les parties qui semblaient calmes étaient en réalité les piliers critiques « porteurs ».

Pourquoi cela compte

Les auteurs ont construit cette bibliothèque pour empêcher les scientifiques de faire de fausses hypothèses. Avant cela, les gens pouvaient regarder un Modèle de Récompense, voir une partie spécifique du cerveau s'illuminer, et dire : « Aha ! C'est là que réside la logique de sécurité ! » et tenter de la corriger. Ce papier dit : « Attendez, cela pourrait être un faux indice. Vous devez effectuer le « Test d'Échange » (patchage) pour être sûr. »

La bibliothèque est désormais ouverte à tous pour :

Voir quand les préférences se forment dans le cerveau de l'IA.
Découvrir si l'IA est trompée par la flatterie ou la mise en forme.
Comprendre pourquoi différents modèles d'IA prennent des décisions de sécurité différentes.

En bref, reward-lens est la première paire de lunettes qui nous permet de voir clairement comment le « Juge » à l'intérieur de notre IA pense réellement, révélant que le cerveau est plus complexe et trompeur que nous ne le pensions auparavant.

1. Énoncé du problème

L'apprentissage par renforcement à partir de retours humains (RLHF) repose sur des modèles de récompense (RM) pour façonner le comportement des grands modèles de langage (LLM). Si un modèle de récompense encode des préférences incorrectes, la politique résultante hérite et amplifie ces erreurs. Bien que l'évaluation comportementale des RM (par exemple, RewardBench) soit mature, l'interprétabilité mécaniste pour les RM est pratiquement inexistante.

Les outils d'interprétabilité existants (par exemple, TransformerLens, Logit Lens, Attribution directe des logits) sont conçus pour les LLM génératifs. Ils reposent sur la projection des états intermédiaires du modèle sur la matrice de déembedding du vocabulaire ( $W_U$ ) pour analyser les distributions de tokens. Cependant, les modèles de récompense remplacent $W_U$ par une tête de régression scalaire ( $w_r$ ). Cette différence structurelle rend les primitives standard inapplicables, créant un « fossé structurel » où la mécanique interne des modèles de récompense critiques pour la sécurité reste une boîte noire.

2. Méthodologie : La perspective centrée sur $w_r$

Le papier présente reward-lens, une bibliothèque open-source qui adapte les primitives d'interprétabilité mécaniste pour les modèles de récompense. L'insight théorique central est que le vecteur de poids de la tête de récompense, $w_r$ , sert d'axe naturel pour toutes les questions d'interprétabilité.

La bibliothèque est construite sur l'observation que la récompense finale $r$ est une fonctionnelle linéaire du flux résiduel final $h_{final}$ :
$r = w_r^\top h_{final} + b_r$
Puisque le flux résiduel se décompose de manière additive à travers les couches ( $h_{final} = h_{embed} + \sum (attn^{(\ell)} + mlp^{(\ell)})$ ), la récompense peut être décomposée exactement comme suit :
$r = w_r^\top h_{embed} + \sum (w_r^\top attn^{(\ell)} + w_r^\top mlp^{(\ell)}) + b_r$

Sur cette base, la bibliothèque implémente les primitives suivantes en remplaçant $W_U$ par $w_r$ :

Reward Lens : Projette les flux résiduels intermédiaires à la couche $\ell$ sur $w_r$ pour suivre la « cristallisation » des signaux de préférence à travers les couches.
Attribution de composantes : Calcule la contribution de chaque sous-couche (Attention/MLP) à la récompense scalaire finale via $w_r^\top \cdot \text{contribution}$ .
Patching d'activation contrastif : Échange les activations entre les complétions préférées et non préférées et mesure le changement dans $w_r^\top h_{final}$ . Ceci est natif aux RM en raison de la structure contrastive inhérente aux données de préférence.
Attribution de caractéristiques SAE : Utilise des Autoencodeurs Creux (SAE) pour décomposer les flux résiduels en caractéristiques, calculant l'alignement des caractéristiques comme $w_r^\top d_i$ (où $d_i$ est un vecteur de dictionnaire).

Agnosticisme architectural : La bibliothèque utilise une approche native HuggingFace avec un protocole d'adaptateur à 10 méthodes. Cela lui permet d'envelopper des modèles standards (Llama, Mistral, Gemma-2) et des modèles complexes multi-objectifs (comme ArmoRM avec commutation MoE) sans chirurgie des poids.

Extensions fondées sur la théorie : La bibliothèque opérationnalise les résultats récents de la théorie de l'alignement en code :

Indice de distorsion : Prédit quelles dimensions de qualité sont sous-couvertes par les sondes d'évaluation (risque de piratage de la récompense).
Patching conscient de la divergence : Détecte lorsque le patching induit des activations hors distribution.
Détecteur de cascade de désalignement : Identifie les modes de défaillance corrélés à travers différentes dimensions de désalignement.
Analyseur de conflit de termes de récompense : Vérifie si différents objectifs de récompense sont alignés, orthogonaux ou en conflit.
Analyse des vecteurs de concepts : Extrait des directions de concepts linéaires et mesure leur réponse dose-effet causale sur la récompense.

3. Contributions clés

La bibliothèque (reward-lens) : La première boîte à outils installable et agnostique à l'architecture pour l'interprétabilité mécaniste des modèles de récompense. Elle unifie les vues observationnelles (attribution) et causales (patching) sous un seul cadre algébrique.
Cadre unificateur : Elle établit que toute primitive d'interprétabilité utile pour un RM est une projection sur ou une décomposition le long de $w_r$ .
Validation empirique : Application systématique à deux modèles de production : Skywork-Reward-Llama-3.1-8B-v0.2 (tête scalaire unique) et ArmoRM-Llama3-8B-v0.1 (tête multi-objectifs).
Résultat empirique négatif : Le papier rapporte explicitement que l'attribution linéaire ne prédit pas l'importance causale dans les modèles de récompense.

4. Résultats et découvertes clés

Les auteurs ont évalué la bibliothèque sur environ 695 paires de préférences RewardBench par modèle.

Profondeur de cristallisation :
- Skywork : Les préférences se cristallisent uniformément tardivement (profondeur de couche fractionnaire $\approx 0,90$ ), suggérant un mécanisme unifié assemblé près de la sortie.
- ArmoRM : Les préférences se cristallisent plus tôt et avec une variance plus élevée, reflétant son architecture multi-objectifs avec commutation MoE.
Attribution vs Causalité (Le fossé de la fidélité) :
- Attribution observationnelle : Les dernières couches MLP (spécifiquement mlp_L31) dominent le signal de récompense dans les deux modèles.
- Patching causal : Les composants des premières couches (par exemple mlp_L0, attn_L0) sont souvent les plus critiques pour la récompense finale.
- Corrélation : La corrélation de rang de Spearman entre l'ampleur de l'attribution et l'effet de patching est négative ou proche de zéro (Skywork : $\rho = -0,256$ ; ArmoRM : $\rho = -0,027$ ).
- Interprétation : Ce n'est pas un bug mais une caractéristique des flux résiduels redondants. Les couches tardives peuvent être ablatées car des chemins parallèles compensent, tandis que les couches précoces sont « porteuses de charge ».
Profils de piratage de récompense :
- Skywork pénalise la longueur, la confiance et les biais de formatage (contrairement aux modèles RLHF typiques qui les récompensent).
- ArmoRM récompense la confiance et le formatage mais pénalise la sycophancie.
Alignement des concepts :
- Skywork montre un fort alignement linéaire avec des concepts comme « accord » (pente $\approx 1,0$ ).
- ArmoRM montre un faible alignement (magnitude $\approx 1\%$ ) avec des concepts linéaires, suggérant une géométrie de récompense plus complexe et non linéaire.

5. Importance

Changement de paradigme : Le papier soutient que les chercheurs doivent cesser de traiter l'attribution observationnelle comme un proxy de l'importance causale dans les modèles de récompense. L'écart entre les deux est structurel et doit être mesuré, et non ignoré.
Outils de sécurité : En fournissant des outils pour détecter la « distorsion » (dimensions sous-couvertes) et les « cascades de désalignement », la bibliothèque permet une surveillance pendant l'entraînement. Cela déplace l'audit des modèles de récompense d'une activité a posteriori vers une sauvegarde en temps réel pendant la boucle d'entraînement RLHF.
Éditabilité : Le cadre identifie des caractéristiques et des concepts spécifiques qui génèrent des signaux de récompense, ouvrant la voie à l'édition de modèles de récompense guidée par l'interprétabilité (par exemple, supprimer un concept de « sycophancie » de la tête de récompense) avant l'entraînement de la politique en aval.
Science ouverte : En publiant reward-lens, les auteurs démocratisent l'accès à la mécanique interne des modèles de récompense, une étape cruciale pour assurer la sécurité des systèmes d'IA de pointe.

En conclusion, reward-lens comble un vide critique dans la sécurité de l'IA en adaptant l'interprétabilité mécaniste à la nature de sortie scalaire des modèles de récompense, révélant que leur logique interne est souvent contre-intuitive (attribution tardive $\neq$ causalité précoce) et fournissant les outils nécessaires pour diagnostiquer et corriger les défaillances d'alignement avant qu'elles ne se propagent aux modèles de politique.