💬 NLP

From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models

Cet article démontre, à travers un audit interventionnel au niveau du jeton de trois modèles de type Mixture-of-Experts, que les métriques de routage observationnelles courantes échouent à prédire l'importance causale des experts, révélant que les méthodes d'élagage existantes réussissent en raison de la redondance des couches précoces plutôt que par l'identification précise d'experts dispensables.

Auteurs originaux : Leonard Engmann, Christian Medeiros Adriano, Holger Giese

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leonard Engmann, Christian Medeiros Adriano, Holger Giese

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une cuisine technologique massive avec 64 chefs différents (les « experts ») travaillant ensemble pour cuisiner un seul repas (la sortie du modèle). Cependant, à n'importe quel moment donné, seuls quelques chefs cuisinent réellement, tandis que les autres sont en attente. C'est ainsi que fonctionnent les modèles d'IA de type Mixture-of-Experts (MoE).

Pour rendre ces modèles plus rapides et moins coûteux, les ingénieurs essaient souvent de licencier les chefs « inutiles ». Ils ont besoin d'un moyen de décider qui garder et qui laisser partir.

L'ancienne méthode : Deviner en observant

Actuellement, les ingénieurs utilisent une méthode qui revient à regarder un match de sport depuis les tribunes. Ils observent les statistiques :

« Le Chef A a été appelé à cuisiner 50 fois aujourd'hui. » (Taux d'utilisation)
« Le Chef B a cuisiné avec beaucoup d'énergie. » (Norme d'activation)
« Le chef de cuisine choisit habituellement le Chef C. » (Poids de routage)

Sur la base de ces observations, ils supposent : « Si le Chef A est rarement appelé ou cuisine faiblement, c'est qu'il fait un travail peu important. Licions-le. »

L'article soutient que c'est un saut dangereux. C'est comme supposer que, parce qu'un joueur n'a pas touché le ballon pendant un match, il n'était pas important. Peut-être attendait-il simplement le moment parfait pour faire un geste décisif. L'article pose la question suivante : Le fait de regarder les statistiques nous dit-il réellement qui est important lorsque nous essayons de les supprimer ?

L'expérience : Le test « Feu et Voyons »

Les chercheurs ont décidé d'arrêter de deviner et de commencer à tester. Ils ont mis en place un « audit causal » (une expérience scientifique) en utilisant trois modèles d'IA différents.

Au lieu de simplement observer les chefs, ils ont réalisé une intervention contrôlée :

Ils ont choisi un moment spécifique dans le processus de cuisine (un « token » ou mot spécifique).
Ils ont identifié les chefs actuellement en train de travailler.
Ils ont silencié (ablé) le chef qui semblait le « moins important » selon les anciennes statistiques.
Ils ont vérifié : Le repas a-t-il moins bon goût ? (La prédiction du modèle a-t-elle changé ?)

Ils ont fait cela des milliers de fois, comparant les chefs « les moins importants » aux chefs « les plus importants » selon les statistiques.

Les résultats : Les statistiques se sont trompées

Les résultats ont été surprenants et clairs : les statistiques ont échoué.

Aucun lien : Dans presque tous les cas, licencier le chef à « faible statistique » n'a eu aucun effet sur le repas. Le modèle s'en fichait.
Le résultat « nul » : La différence entre licencier un chef à « faible statistique » et un chef à « haute statistique » était si infime qu'elle était pratiquement nulle. Les anciennes méthodes ne trouvaient pas les chefs « inutiles » ; elles choisissaient simplement des chefs au hasard pour les licencier.
Pourquoi cela fonctionne quand même (Le secret de la redondance) : L'article explique que ces modèles sont construits avec une redondance massive. Dans les premières couches du modèle, il y a tellement de chefs faisant un travail similaire que vous pourriez en licencier presque n'importe lequel, et la cuisine continuer_rait à fonctionner normalement. Les méthodes de pruning (élagage) fonctionnent non pas parce qu'elles sont intelligentes pour identifier les bonnes personnes à licencier, mais parce que la cuisine est tellement sur-dotée en personnel que presque n'importe quelle stratégie de licenciement fonctionne par accident.

La seule exception : Le signal « en direct »

Il y a eu une seule petite exception. Dans un modèle spécifique (OLMoE) et uniquement dans la toute dernière couche de la cuisine, les chercheurs ont trouvé un signal.

Le piège : Ce signal ne fonctionnait que s'ils regardaient le moment exact et en direct où un chef travaillait.
Le problème : Ce signal est inutile pour le monde réel car vous ne pouvez pas savoir qui licencier avant de commencer à cuisiner. Vous devez voir l'ingrédient spécifique (le token) d'abord pour savoir quel chef est important. Puisque vous ne pouvez pas voir l'avenir, cette métrique « parfaite » ne peut pas être utilisée pour élaguer le modèle à l'avance.

La vue d'ensemble : Observation vs Intervention

L'article utilise un concept célèbre du philosophe Judea Pearl pour expliquer l'erreur :

Échelon 1 (Observation) : « Je vois que le Chef A cuisine rarement. »
Échelon 2 (Intervention) : « Si je licencie le Chef A, le repas sera correct. »

L'article montre que passer de l'Échelon 1 à l'Échelon 2 est invalide dans ce contexte. Ce n'est pas parce que vous voyez un schéma que vous pouvez agir dessus.

Résumé

La thèse : La méthode courante consistant à utiliser les « statistiques d'utilisation » pour décider quels experts d'IA supprimer est scientifiquement non prouvée et probablement erronée.
La réalité : Ces modèles fonctionnent après l'élagage non pas parce que les statistiques étaient bonnes pour trouver les parties inutiles, mais parce que les modèles sont si redondants que vous ne pouvez pas vraiment les briser en licenciant des gens au hasard.
La leçon : Nous ne pouvons pas supposer que ce que nous voyons se passer dans un modèle (statistiques) nous indique ce qui se passera si nous changeons le modèle (interventions). Nous devons tester les changements directement, et non simplement deviner en se basant sur les chiffres.

Résumé Technique : De l'Observation à l'Intervention

Énoncé du Problème
Les méthodes d'interprétabilité en apprentissage automatique reposent fréquemment sur un saut logique : traiter les statistiques de synthèse de la population du comportement observé des modèles comme des prédicteurs valides pour les résultats d'interventions ciblées. Dans le contexte des modèles Mixture-of-Experts (MoE), cela se manifeste dans les pipelines d'élagage (pruning) où les métriques observationnelles — telles que les taux d'utilisation des experts, les normes d'activation et les distributions de poids de routage — sont utilisées pour classer les experts destinés à être supprimés. L'hypothèse implicite est que les experts ayant des scores observationnels plus élevés accomplissent un travail plus critique, et que la suppression des experts aux scores faibles ne dégradera pas la fonctionnalité du modèle. Cependant, comme l'ont noté des travaux antérieurs sur les poids d'attention (Jain & Wallace, 2019) et les cartes de saillance (Adebayo et al., 2020), les preuves associatives (le « palier 1 » de Pearl) ne soutiennent pas automatiquement les conclusions interventionnelles (« palier 2 »). Cet article examine si les statistiques de routage observationnelles dans les modèles MoE prédisent réellement l'importance causale des experts au niveau du jeton (token).

Méthodologie
Les auteurs mènent un « audit causal » sur trois architectures MoE à haute redondance : OLMoE-1B-7B-0924, Qwen1.5-MoE-A2.7B et DeepSeek-V2-Lite. Ces modèles couvrent diverses dimensions de conception, notamment différents types de stratégies d'équilibrage de charge, des ratios d'activation top-k (6,7 % – 12,5 %) et des paradigmes d'entraînement (partant de zéro vs upcyclé).

Le protocole d'audit comprend les étapes suivantes :

Sélection des Métriques : Quatre métriques observationnelles canoniques sont testées : le taux d'utilisation, la norme d'activation, le poids de routage moyen lorsqu'ils sont actifs, et l'écart-type d'activation.
Vérité de Terrain Interventionnelle : Pour chaque métrique, les auteurs effectuent des expériences d'ablation par jeton. Sur 200 positions de jetons échantillonnées par couche, ils identifient l'ensemble des experts actifs, les classent selon la métrique cible, et ablent (annulent) les experts les mieux classés et les moins bien classés.
Mesure Causale : L'« importance fonctionnelle » d'un expert est mesurée par le changement de perte ( $\Delta L$ ) et le déplacement du flux résiduel (écart de norme) résultant de l'ablation.
Tests Statistiques : Un test t apparié et un test de Wilcoxon pour les rangs signés sont utilisés pour déterminer si l'ablation des experts les mieux classés provoque des changements de perte significativement plus importants que l'ablation des experts les moins bien classés. Les tailles d'effet sont mesurées via le $d$ de Cohen.
Contrôles :
- Correction des Comparaisons Multiples : La correction de Bonferroni est appliquée sur les 60 combinaisons métrique-couche testées (4 métriques $\times$ 5 couches $\times$ 3 modèles).
- Contrôle du Poids de Routage : Une expérience parallèle utilise les poids de routage par jeton ( $g_i(x_t)$ ) directement comme critère de classement. Cela sert de borne supérieure sur le signal prédictif, car il est conditionné par le jeton plutôt que moyenné au niveau de la population.
- Ablation Progressive : Une expérience sur OLMoE supprime $k$ experts aux poids les plus élevés pour évaluer le tampon de redondance dans les couches précoces.

Résultats Clés
L'étude produit un « nul absolu sur les trois modèles » concernant les métriques observationnelles :

Absence de Pouvoir Prédictif : Aucune des quatre métriques observationnelles n'a atteint la signification après correction de Bonferroni ( $p < 0,0025$ ) dans l'une des 60 cellules métrique-couche. Les tailles d'effet sont restées inférieures à $d$ de Cohen $= 0,17$ pour toutes les combinaisons.
Incohérence des Signes : La direction des effets (positifs ou négatifs) était incohérente entre les couches au sein d'une même métrique, un motif caractéristique des distributions nulles plutôt que de faibles effets réels.
Contrôle du Poids de Routage : L'expérience de contrôle utilisant les poids de routage directs par jeton a récupéré un signal unique significatif après correction de Bonferroni dans OLMoE, à la dernière couche MoE (Couche 15, $d = +0,231, p = 0,0013$ ). Cela indique que le dispositif expérimental possède une puissance suffisante pour détecter des signaux, mais que de tels signaux sont absents pour les statistiques de niveau population.
Régime de Redondance : L'ablation progressive sur OLMoE a révélé que dans les couches précoces (0–9), supprimer jusqu'à sept des huit experts actifs entraînait des changements de perte négligeables. Cela confirme que la redondance des couches précoces rend la plupart des critères de sélection interchangeables ; l'élagage réussit non pas parce que les métriques identifient des experts dispensables, mais parce que presque tous les experts dans ces couches sont dispensables.
Anomalie de la Couche Tardive d'OLMoE : Le signal significatif unique dans la couche 15 d'OLMoE coïncide avec une augmentation de 41 $\times$ du déplacement du flux résiduel par rapport aux couches précoces. Cependant, ce signal est propre à OLMoE et n'apparaît pas dans Qwen ou DeepSeek, suggérant qu'il ne s'agit pas d'une propriété générale des MoE à haute redondance.

Signification et Revendications
L'article formule une affirmation modeste mais rigoureuse : il fournit un contre-exemple explicite à l'étape inférentielle courante passant des résumés observationnels de niveau population aux revendications interventionnelles de niveau jeton concernant l'importance des experts.

Échec de l'Inférence : Les résultats démontrent que les statistiques de routage observationnelles ne permettent pas de prédire les résultats interventionnels au niveau du jeton. Le succès des méthodes d'élagage existantes est attribué à la redondance structurelle des couches précoces plutôt qu'à la validité des métriques utilisées pour la sélection.
Hiérarchie Causale : Le travail illustre un échec à la frontière entre le palier 1 (association) et le palier 2 (intervention) de Pearl. Tout comme les poids d'attention et les cartes de saillance ont échoué à prédire les résultats d'intervention dans des études antérieures, les statistiques de routage MoE échouent également à servir de proxys valides pour l'importance causale.
Limites de Portée : Les auteurs précisent que l'audit est centré sur le jeton et focalisé sur l'ablation simple. Il ne falsifie pas le pipeline d'élagage déployé (qui implique souvent un fine-tuning), mais il supprime la justification mécaniste par jeton que de tels pipelines supposent. Les conclusions sont spécifiques aux architectures à haute redondance ; la validité des métriques dans les modèles à faible redondance (ex: Switch, Mixtral) reste une question ouverte.

En conclusion, l'article soutient que les revendications d'interprétabilité nécessitant une généralisation doivent être soutenues par des preuves interventionnelles, et que dans le cas spécifique de l'élagage des MoE, les proxys observationnels standards échouent à ce test.