🤖 AI

Beyond Routing Weights: Faithful Response-Level Interpretation of Mixture-of-Experts Reward Models via Contribution Contrast

Cet article introduit Contribution-Contrast (CoCo), une nouvelle méthode d'interprétation au niveau de la réponse pour les modèles de récompense de type Mixture-of-Experts qui surmonte les limites de l'analyse basée sur les poids de routage en identifiant le rôle des experts à travers les paires de réponses choisies-rejetées présentant les contrastes de contribution les plus importants, délivrant ainsi des interprétations plus fidèles et spécialisées tout en maintenant une précision compétitive.

Auteurs originaux : Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Soyoung Oh, Isabel Valera, Vera Demberg

Publié 2026-08-10

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yifan Wang, Jinyi Mu, Mayank Jobanputra, Yu Wang, Soyoung Oh, Isabel Valera, Vera Demberg

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à être utile, gentil et intelligent. Vous ne pouvez pas simplement le programmer avec un carnet de règles rigide car les préférences humaines sont désordonnées et complexes. Au lieu de cela, vous montrez au robot des milliers d'exemples de "bonnes" réponses par rapport de "mauvaises" réponses, le laissant apprendre ce que les humains apprécient. C'est le monde de l'Apprentissage par Renforcement à partir du Feedback Humain (RLHF), une technique qui aide les géants chatbots d'IA à s'aligner sur nos valeurs. Pour ce faire, l'IA utilise un "Modèle de Récompense", qui agit comme un professeur sévère corrigeant les devoirs du robot. Mais voici la partie délicate : parfois, ce professeur est une "boîte noire". Nous savons qu'il donne une note élevée à une bonne réponse, mais nous ne savons pas pourquoi il a décidé cela. Est-ce parce que la réponse était drôle ? Parce qu'elle était polie ? Ou parce qu'elle suivait un format spécifique ?

Pour résoudre cela, des chercheurs ont récemment tenté de construire un modèle de récompense de type "Mélange d'Experts" (MoE). Imaginez cela non pas comme un seul et immense professeur, mais comme une salle de classe composée de 20 spécialistes différents. Lorsqu'une question arrive, un "routeur" (comme un directeur d'école) examine la question et décide quel spécialiste doit la noter. Peut-être qu'un expert est excellent en mathématiques, un autre en écriture créative, et un troisième pour donner des conseils juridiques. L'objectif était de rendre ces experts faciles à comprendre en observant les questions qu'ils recevaient. Mais, comme le suggère le papier que nous allons explorer, le simple fait de savoir qui a reçu la question ne vous dit pas comment ils ont noté la réponse.

Ce document, intitulé « Beyond Routing Weights », introduit une nouvelle façon de jeter un coup d'œil dans l'esprit de ces spécialistes de l'IA. Les auteurs, une équipe de l'Université de la Sarre et d'autres institutions, soutiennent que regarder simplement quelles questions un spécialiste reçoit revient à juger un chef uniquement par les ingrédients qu'on lui a donnés, sans goûter le plat. Pour cela, ils proposent une méthode appelée Contribution-Contrast (CoCo). CoCo observe les moments spécifiques où l'opinion d'un expert a fait la plus grande différence entre une "bonne" réponse et une "mauvaise" réponse. En comparant ces paires, CoCo révèle exactement ce que l'expert privilégie — qu'il s'agisse d'être "concis" ou d'utiliser une "logique étape par étape" — plutôt que de simplement indiquer le sujet qu'il traite habituellement. Les chercheurs ont testé cela sur deux grands ensembles de données et ont découvert que CoCo offre une image beaucoup plus claire, plus honnête et plus détaillée de ce que font réellement ces experts de l'IA, sans rendre l'IA moins précise dans son travail.

Le Problème : Le "Directeur" vs Le "Chef"

Dans le monde des modèles de récompense de l'IA, la configuration "Mélange d'Experts" est comme une école avec un directeur et de nombreux enseignants. Le directeur (le routeur) lit la question d'un élève et décide quel enseignant est le mieux adapté pour la noter. Si la question porte sur la cuisine, le directeur l'envoie à l'« Expert Culinaire ». S'il s'agit de codage, elle va à l'« Expert en Programmation ».

Pendant un certain temps, les chercheurs ont pensé qu'ils pouvaient comprendre ces experts simplement en regardant les notes du directeur. Ils disaient : « Ah, l'Expert Culinaire reçoit principalement des questions sur la pâtisserie, donc il doit être l'expert en pâtisserie ». C'est ce qu'on appelle observer les poids de routage (routing weights).

Mais les auteurs de ce papier ont réalisé que c'était un peu comme juger un chef par les ingrédients qu'on lui a donnés, plutôt que par le repas qu'il a cuisiné. Le simple fait que l'Expert Culinaire ait reçu une question sur la pâtisserie ne vous dit pas comment il a jugé la réponse. A-t-il préféré des recettes détaillées ? A-t-il détesté les explications trop longues ? S'est-il soucié des consignes de sécurité ? Les poids de routage ne disent que qui a reçu le travail, pas comment il l'a fait. C'est un récit partiel qui manque la partie la plus importante : le processus de décision réel.

La Solution : CoCo (Contribution-Contrast)

Pour corriger cela, l'équipe a inventé CoCo, qui signifie Contribution-Contrast. Au lieu de simplement demander : « Quel expert a reçu cette question ? », CoCo demande : « Quel expert a fait la plus grande différence dans la décision selon laquelle cette réponse était meilleure que celle-là ? »

Imaginez que vous soyez un juge dans un concours de cuisine. Vous avez deux plats : l'un est une lasagne parfaite, et l'autre est une lasagne légèrement brûlée.

L'ancienne méthode (Poids de routage) : Vous regardez la fiche de notation et voyez que l'« Expert Italien » a été assigné pour juger ce tour. Vous concluez : « L'Expert Italien aime les pâtes ». Mais vous ne savez pas s'il a aimé la lasagne parce qu'elle était pleine de fromage, parce qu'elle était chaude, ou parce qu'elle avait du basilic.
La méthode CoCo : Vous regardez la fiche de notation et voyez que l'« Expert Italien » a donné un énorme coup de pouce aux points de la lasagne par rapport au plat brûlé, tandis que les autres experts étaient plutôt neutres. CoCo dit alors : « Aha ! L'Expert Italien aime spécifiquement les pâtes chaudes, avec du fromage et du basilic ».

CoCo fonctionne en trouvant les paires de réponses où l'opinion d'un expert a été le facteur décisif. Il multiplie deux éléments ensemble :

La probabilité que l'expert reçoive la question (le poids de routage).
À quel point le score de l'expert a changé le résultat final (la différence entre la "bonne" réponse et la "mauvaise" réponse).

En se concentrant sur ces moments à fort impact, CoCo peut générer une description de l'expert qui est fidèle à son comportement réel. Il ne se contente pas de dire « Cet expert traite des questions de cuisine » ; il dit « Cet expert préfère des instructions de cuisine détaillées, étape par étape, plutôt que des suggestions vagues ».

Ce Qu'Ils Ont Trouvé : Une Image Plus Claire

Les chercheurs ont testé CoCo par rapport à d'autres méthodes, y compris l'ancienne méthode des « poids de routage » et certaines autres techniques sophistiquées utilisant ce qu'on appelle des « Autoencodeurs Creux » (Sparse Autoencoders), qui reviennent à essayer de trouver des motifs cachés dans un immense tas de données. Ils ont testé cela sur deux vastes ensembles de données : l'un comprenant 700 000 exemples et un autre provenant de Reddit.

Les résultats ont été très clairs. CoCo a produit des interprétations qui étaient :

Plus Fidèles : Les descriptions correspondaient à ce que les experts faisaient réellement dans le processus de décision de l'IA. Lorsque les chercheurs ont retiré l'expert de l'IA, le comportement de l'IA a changé exactement comme CoCo l'avait prédit.
Plus Spécialisées : Les experts décrits par CoCo possédaient des personnalités très distinctes. L'un pourrait être la « police de la grammaire stricte », tandis qu'un autre serait le « conteur créatif ». Les autres méthodes produisaient souvent des descriptions vagues ou répétitives.
Tout aussi Précises : Crucialement, utiliser CoCo pour comprendre les experts n'a pas rendu l'IA moins performante dans son travail. Le modèle de récompense est resté tout aussi efficace pour choisir les meilleures réponses.

Lors de tests humains, où des personnes ont lu les descriptions des experts, elles ont jugé les descriptions de CoCo comme étant les plus cohérentes et les plus utiles. Elles pouvaient réellement comprendre ce que chaque « enseignant » dans la classe était capable de faire.

Pourquoi Cela Importe

Ce papier suggère que si nous voulons vraiment comprendre comment l'IA prend des décisions, nous devons regarder au-delà de la surface. Savoir simplement quel sujet un expert d'IA traite ne suffit pas ; nous devons savoir comment il évalue la qualité d'une réponse. CoCo offre un moyen de le faire sans avoir besoin de réentraîner l'IA ou d'ajouter des couches complexes. C'est un outil d'« audit » pour l'IA, nous aidant à voir si nos enseignants numériques enseignent réellement ce que nous pensons qu'ils enseignent.

Les auteurs précisent avec prudence que ce n'est pas une baguette magique qui révèle les « véritables » pensées cachées de l'IA. La qualité de l'explication dépend de la qualité de l'entraînement initial de l'IA. Si les données d'entraînement sont désordonnées, les experts pourraient l'être aussi. Cependant, dans les limites de la technologie actuelle, CoCo fournit la fenêtre la plus honnête et la plus détaillée que nous ayons sur l'esprit de ces modèles de récompense spécialisés de l'IA. Cela nous fait passer du fait de deviner ce que font les experts en fonction de qui ils contactent, à la compréhension exacte de la manière dont ils jugent le travail qu'ils accomplissent.

Résumé Technique : Au-delà des poids de routage : Interprétation fidèle au niveau de la réponse des modèles de récompense Mixture-of-Experts par contraste de contribution

1. Énoncé du problème

Les modèles de récompense sont centraux pour l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) et l'alignement des grands modèles de langage (LLM) avec les préférences humaines. Cependant, comprendre les propriétés spécifiques qui pilotent leurs prédictions reste un défi. Bien que les récents modèles de récompense à mélange d'experts (MoE) clairsemés tentent d'améliorer l'interprétabilité en routant les requêtes vers des experts spécialisés, les méthodes d'interprétation actuelles sont insuffisantes.

Les approches existantes, telles que celles de Wang et al. (2026), caractérisent les experts à l'aide d'exemples ayant les poids de routage les plus élevés. Cette méthode révèle quels prompts un expert reçoit (domaines au niveau du prompt) mais échoue à expliquer comment l'expert juge les réponses. Par conséquent, ces interprétations ne fournissent qu'un compte partiel du comportement de l'expert, capturant le contexte de l'assignation d'entrée plutôt que les dimensions de préférence au niveau de la réponse qui expliquent directement les décisions du modèle. De plus, des méthodes alternatives comme le classement basé sur le score ignorent les poids de routage, mettant potentiellement en évidence des exemples où un expert présente une forte variance de score mais une influence globale faible sur la récompense finale.

2. Méthodologie : Contraste de Contribution (CoCo)

Les auteurs proposent Contribution-Contrast (CoCo), une méthode d'interprétation au niveau de la réponse conçue pour caractériser fidèlement les rôles des experts dans les modèles de récompense MoE.

Concept Central

CoCo va au-delà des poids de routage ou des simples différences de scores bruts. Au lieu de cela, il utilise le contraste de contribution comme signal d'interprétation primaire. Pour une paire de préférences donnée $(x, y_w, y_l)$ et un expert $k$ , le contraste de contribution signé est défini comme :
$\Delta c_k(x, y_w, y_l) = \pi_{\phi,k}(x) [r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$
où $\pi_{\phi,k}(x)$ est le poids de routage et $[r_{\theta_k}(x, y_w) - r_{\theta_k}(x, y_l)]$ est la différence de score entre les réponses choisie et rejetée. La magnitude $c_k$ mesure la force avec laquelle l'expert distingue les réponses, tandis que le signe indique quelle réponse l'expert soutient.

Extraction de l'Interprétation

Pour interpréter un expert, CoCo sélectionne les 10 exemples de validation ayant les plus grandes magnitudes de contraste de contribution. Un LLM est ensuite sollicité pour résumer les motifs contrastifs partagés dans ces paires, en identifiant si le motif se rapporte à un contexte partagé, une dimension de préférence cohérente, ou les deux.

Régularisation

Pour encourager des motifs de contribution clairsemés et diversifiés, les auteurs adaptent les régularisateurs d'interprétabilité existants (clarté locale, équilibre global et diversité des experts) de Wang et al. (2026). Au lieu de les appliquer aux poids de routage, ils les appliquent aux profils de contraste de contribution des paires de préférences. Cette adaptation légère aligne les contraintes d'interprétabilité sur le signal de contribution contrastive sans modifier l'architecture MoE sous-jacente.

Baselines

Le papier compare CoCo à :

Basé sur le routeur (Router-based) : Classe les exemples par poids de routage (capture les domaines au niveau du prompt).
Basé sur le score (Score-based) : Classe les exemples par différence de score absolue de l'expert (capture les dimensions au niveau de la réponse mais ignore l'influence du routage).
Basé sur les SAE : Méthodes comme SARM et WIMHF qui utilisent des auto-encodeurs clairsemés (Sparse Autoencoders) pour extraire des caractéristiques.

3. Contributions Clés

Signal d'Interprétation Novateur : Le papier introduit le contraste de contribution comme un signal qui capture conjointement le comportement de routage et le comportement de préférence, comblant la lacune où les poids de routage seuls échouent à expliquer les décisions au niveau de la réponse.
Caractérisation au Niveau de la Réponse : Contrairement aux méthodes basées sur le routeur qui identifient les domaines de prompts, CoCo identifie les dimensions de préférence au niveau de la réponse (ex: "recommandations concises plutôt que des listes interminables") qui sont fidèles au processus de décision réel du modèle.
Étude Systématique : Ce travail présente la première étude systématique des méthodes d'interprétation spécifiquement pour les modèles de récompense MoE, comparant les alternatives basées sur le routeur, le score et les SAE.
Adaptation de la Régularisation : Les auteurs démontrent comment adapter les régulariseurs de parcimonie et de diversité pour opérer sur les contrastes de contribution plutôt que sur les poids de routage, améliền l'aspect distinctif des rôles d'experts.

4. Résultats Expérimentaux

Les auteurs ont évalué CoCo sur deux jeux de données : 700K (Dong et al., 2024) et Reddit (Ethayarajh et al., 2022), en utilisant un modèle de récompense MoE de 3 milliards de paramètres.

Évaluation Automatique

CoCo a surpassé les baselines existantes (SARM, WIMHF, SMoE) et les signaux alternatifs (basés sur le routeur, basés sur le score) sur plusieurs métriques :

Qualité de l'Interprétation : CoCo a obtenu la Fidélité la plus élevée (corrélation entre le signal et les jugements de l'LLM sur le respect des exemples par l'interprétation). Bien que SMoE ait obtenu une redondance plus faible sur le jeu de données 700K, CoCo a démontré une forte interprétabilité globale, équilibrant distinction et haute fidélité et fidélité (faithfulness).
Fidélité de la Décision : CoCo a montré une Accord Expert-Modèle supérieur (proportion d'exemples top où l'expert et le modèle complet sont d'accord) et un Taux de Retournement par Suppression (proportion où la suppression de l'expert change la prédiction du modèle) supérieur.
Spécialisation de l'Expert : Les experts de CoCo ont démontré une Précision de l'Expert et un Avantage Relatif de l'Expert plus élevés sur leurs exemples les mieux classés par rapport aux autres méthodes.

Évaluation Humaine

Cinq annotateurs ont évalué les 10 meilleurs exemples pour cinq experts par méthode sur le jeu de données Reddit. CoCo a reçu les évaluations les plus élevées tant pour la Cohérence des Motifs que pour la Qualité de la Description, indiquant que ses interprétations étaient plus cohérentes et décrivaient mieux le rôle de l'expert que les méthodes basées sur le routeur ou les SAE.

Études d'Ablation

Les comparaisons au sein d'un même modèle MoE entraîné avec différents objectifs de régularisation ont confirmé que le signal de Contraste de Contribution est le plus efficace pour sélectionner des ensembles d'exemples informatifs. Même appliqué à des modèles entraînés avec des objectifs basés sur le routeur ou le score, les interprétations de CoCo sont restées plus fidèles et spécialisées que les interprétations dérivées des autres signaux.

5. Signification et Revendications

Le papier affirme que CoCo fournit une interprétation plus cohérente, fidèle et spécialisée des experts de modèles de récompense MoE que les alternatives existantes. En capturant conjointement le comportement de routage et de préférence, CoCo offre une base plus informative pour comprendre les décisions du modèle que les poids de routage ou les scores d'experts isolés.

Les auteurs maintiennent une position modeste concernant leurs affirmations :

Ils reconnaissent que Coço dépend de la structure apprise par le modèle MoE sous-jacent et ne peut garantir que les experts appris correspondent à des dimensions de préférence "propres" ou sémantiquement significatives.
Ils notent qu'en tant qu'approche centrée sur les données, CoCo peut échouer à récupérer des motifs absents ou faiblement représentés dans les données d'entraînement.
Ils précisent que leurs métriques (fidélité, fidélité de décision, etc.) servent de preuve de cohérence comportementale et d'alignement de décision, et non de preuve de désenchevêtrement de la vérité terrain.
Sur le plan éthique, ils positionnent CoCo comme un outil d'audit plutôt que comme un validateur de valeurs humaines désirables, notant que les interprétations peuvent refléter les biais présents dans les ensembles de données sous-jacents.

En conclusion, ce papier établit le contraste de contribution comme un signal supérieur pour interpréter les modèles de récompense MoE, offrant une voie vers des informations plus transparentes et exploitables sur la manière dont ces modèles s'alignent avec les préférences humaines.