Does Role Specialization Matter for Explanation Faithfulness in Mixture-of-Experts?

Résumé Technique : La spécialisation des rôles est-elle importante pour la fidélité des explications dans les architectures Mixture-of-Experts ?

Énoncé du problème
Les architectures Mixture-of-Experts (MoE) ont récemment été étendues avec des mécanismes basés sur des rôles pour améliorer l'interprétabilité dans les contextes multimodaux. Ces approches assignent des rôles sémantiques (par exemple, unicité, redondance, synergie) à des composants experts individuels afin de décomposer les interactions cross-modales. Cependant, les auteurs observent une lacune critique : bien que la décomposition structurelle des rôles soit explicitement définie, il reste incertain de savoir si cette structure préserve la fidélité des explications (explanation faithfulness). En pratique, les experts assignés à différents rôles sémantiques apprennent souvent des représentations hautement chevauchantes en raison de codeurs partagés et d'objectifs de tâche identiques. Ce chevauchement de représentation entre experts affaiblit la séparation effective des rôles, rendant potentiellement les assignations de rôles purement nominales et provoquant l'échec des attributions de caractéristiques à refléter l'évidence réelle utilisée pour les prédictions. Cet article étudie si la réduction de ce chevauchement de représentation améliore la fidélité des explications sans compromettre la performance de la tâche.

Méthodologie
Les auteurs proposent une étude contrôlée utilisant une extension au niveau des caractéristiques de l'Interpretable Multimodal Interaction-aware MoE (I2MoE), nommée FL-I2MoE, comme squelette de base. Au lieu de redessiner l'architecture, ils traitent le chevauchement de représentation entre experts comme un facteur contrôlable.

1. Cadre (Framework) : Le modèle traite les entrées multimodales via des codeurs partagés, injectant des représentations au niveau des caractéristiques dans $E$ experts ($M$ unicité, 1 synergie, 1 redondance). Chaque expert produit des logits de classe et une représentation latente ($z_e$).
2. Stratégie de régularisation : Pour réduire le chevauchement sans modifier le mécanisme de routage ou la procédure d'attribution, les auteurs introduisent une régularisation de décorrélation au niveau de la représentation. Ils définissent une représentation latente ancre pour chaque expert (la sortie sur l'entrée originale) et appliquent trois objectifs distincts pour minimiser la similitude entre les paires d'experts :
   • Rep-Cos : Minimise la similitude cosinus au carré entre les vecteurs latents normalisés en $L_2$ (alignement directionnel au niveau de l'instance).
   • Rep-CKA : Minimise l'alignement de noyau centré (Centered Kernel Alignment - CKA) entre les matrices de représentation centrées (similitude structurelle au niveau de la population).
   • Rep-Barlow : Minimise les entrées hors diagonale de la matrice de corrélation croisée entre les dimensions latentes standardisées (redondance cross-feature).
3. Objectif d'entraînement : La perte totale combine la perte de tâche ($L_{task}$), les pertes d'interaction spécifiques aux rôles dérivées de la Décomposition de l'Information Partielle ($L_{interaction}$), et la perte de décorrélation choisie ($L_{decor}$) :
   $$L = L_{task} + \alpha L_{interaction} + \lambda L_{decor}$$
   L'hyperparamètre $\lambda$ est balayé pour identifier les régimes qui réduisent le chevauchement tout en préservant la performance prédictive (dans une marge de 2 %).

Principales contributions

• Identification d'une lacune : L'article identifie que la décomposition structurelle des rôles est insuffisante pour garantir des explications fidèles si les représentations entre experts restent chevauchantes.
• Mécanisme de décorrélation : Il introduit la décorrélation au niveau de la représentation comme un mécanisme pour imposer une spécialisation plus claire entre les experts tout en conservant l'architecture et la logique de routage originales.
• Généralisabilité : L'étude démontre que les bénéfices de la séparation des représentations s'étendent au-delà des architectures explicites basées sur les rôles (comme I2MoE) aux modèles MoE creux standards (ex: GShardGate), suggérant un mécanisme général pour améliorer la fidélité des explications.

Résultats expérimentaux
Les auteurs ont évalué leur approche sur trois benchmarks multimodaux : ENRICO (classification d'interface utilisateur), MIMIC-IV (prédiction de mortalité) et MMIMDb (classification de genres de films).

• Performance de la tâche : Sur tous les jeux de données et toutes les variantes de décorrélation (Rep-Cos, Rep-CKA, Rep-Barlow), les modèles ont maintenu une performance prédictive à moins de 2 % de la référence, confirmant que la séparation ne dégrade pas intrinsèquement l'utilité.
• Fidélité de l'explication : En utilisant des métriques basées sur la perturbation (exhaustivité et suffisance) et leurs résumés AOPC (Area Over the Perturbation Curve), les modèles décorrelés ont systématiquement surpassé le modèle de référence. Plus précisément, l'écart entre le "masquage identifié" (suppression des caractéristiques mises en évidence par l'explication) et le "masquage aléatoire" a augmenté, indiquant que les explications capturent mieux l'évidence pertinente pour la décision.
• Géométrie de la représentation : L'analyse a montré que la régularisation réduit la CKA par paire et la corrélation entre les experts. Dans plusieurs cas, les scores de silhouette se sont améliorés, indiquant une séparation plus claire au niveau des clusters.
• Alignement des rôles : Sur un benchmark synthétique avec des structures d'interaction connues, la réduction du chevauchement via Rep-CKA a amélioré l'alignement entre les poids de routage et les rôles sémantiques de vérité terrain (par exemple, l'expert de synergie recevant des poids plus élevés pour les entrées synergiques).
• Ablation : Une étude d'ablation a révélé que si l'apprentissage d'interaction basé sur les rôles seul n'améliorait pas la fidélité par rapport à un MoE standard, et que la décorrélation seule offrait des bénéfices partiels, la combinaison des deux produisait les gains de fidélité les plus élevés.

Signification et affirmations
L'article conclut que la décomposition structurelle des rôles n'est pas une condition suffisante pour la fidélité des explications dans les systèmes MoE. La conclusion principale est que le chevauchement de représentation entre experts agit comme un goulot d'étranglement qui obscurcit la spécialisation effective. En réduisant explicitement ce chevauchement par une régularisation de décorrélation, les auteurs démontrent que la fidélité des explications peut être considérablement améliorée tout en préservant la performance de la tâche.

Les auteurs affirment modestement que leurs résultats suggèrent que la séparation au niveau de la représentation constitue un mécanisme plus général pour améliorer la fidélité, applicable même aux architectures MoE creuses standards dépourvues de rôles sémantiques explicites. Ils soulignent que l'efficacité des objectifs de décorrélation spécifiques (Cosine vs CKA vs Barlow) varie selon le jeu de données et la métrique, impliquant que la relation entre séparation et fidélité est influencée par la structure de la modalité et la complexité de l'interaction. Ce travail soutient l'hypothèse que pour qu'un MoE basé sur les rôles soit véritablement interprétable, les représentations latentes des rôles doivent être géométriquement distinctes.