Sparse Crosscoders for diffing MoEs and Dense models

Cette étude utilise des crosscoders pour démontrer que les modèles Mixture of Experts (MoE) développent des représentations plus spécialisées et moins d'features uniques que les modèles denses, qui, eux, répartissent l'information sur des caractéristiques plus générales.

L'essentiel

🧠 Le Duel des Cerveaux : MoE vs. Denses

Imaginez que vous voulez construire deux usines pour fabriquer des livres (ou du code, ou des histoires). Ces usines sont des Intelligences Artificielles.

1. L'Usine "Dense" (Classique) : C'est une usine géante où tous les ouvriers travaillent sur chaque livre. Si vous demandez un livre de cuisine, chaque ouvrier (du comptable au maçon) participe à la rédaction. C'est très robuste, mais ça demande beaucoup d'énergie et de ressources.
2. L'Usine "MoE" (Mélange d'Experts) : C'est une usine plus intelligente. Elle a des milliers d'ouvriers spécialisés (des "experts"), mais pour chaque livre, elle n'en active que quelques-uns. Si c'est un livre de cuisine, elle active uniquement les chefs cuisiniers et laisse les ingénieurs dormir. C'est beaucoup plus économe en énergie.

Le problème ? On sait que l'usine "MoE" est efficace, mais on ne sait pas vraiment comment elle pense à l'intérieur. Est-ce que ses experts sont vraiment différents ? Ou est-ce qu'ils pensent comme les ouvriers de l'usine classique ?

🔍 La Loupe Magique : Les "Crosscoders"

Pour répondre à cette question, les chercheurs ont utilisé un outil appelé Crosscoder.

Imaginez que vous avez deux traducteurs différents (l'usine Dense et l'usine MoE) qui parlent deux langues différentes, mais qui lisent le même texte. Le Crosscoder est comme un dictionnaire universel qu'on leur donne à tous les deux.

• Il essaie de trouver des mots communs (des idées partagées) que les deux usines utilisent.
• Il essaie aussi de trouver des mots uniques à chaque usine (des idées que seule l'une des deux comprend).

L'objectif est de voir si les deux usines utilisent le même "vocabulaire" pour penser, ou si elles ont développé des langages secrets différents.

🏆 Ce qu'ils ont découvert (Les Résultats)

En comparant les deux usines (entraînées avec la même quantité de données), voici ce qu'ils ont vu :

1. L'usine MoE est plus "spécialisée" et économe
L'usine MoE a appris beaucoup moins de concepts uniques que l'usine Dense.

• L'analogie : L'usine Dense a appris à faire un peu de tout avec beaucoup de détails. L'usine MoE, elle, a appris à faire très bien quelques choses très spécifiques. Elle est comme un chef étoilé qui ne fait que des sushis parfaits, tandis que l'usine Dense est un chef qui sait faire un peu de tout, mais avec des variations infinies.

2. La densité des idées (Qui travaille le plus ?)
C'est là que ça devient intéressant :

• Pour l'usine MoE : Les idées qui lui sont propres (les "experts") sont très actives. Quand elles sont utilisées, elles travaillent dur et souvent. C'est comme un groupe d'élite qui intervient de manière intense et ciblée.
• Pour l'usine Dense : Ses idées uniques sont plus dispersées. Elles sont utilisées plus rarement et de manière plus diffuse. C'est comme une armée où chaque soldat fait un petit geste, mais personne ne fait tout le travail.

3. Le vocabulaire partagé
Les deux usines partagent environ 87% de leur compréhension de base (c'est ce qu'on appelle la "variance expliquée"). Mais la façon dont elles organisent le reste est très différente.

🧩 Pourquoi est-ce important ?

Jusqu'à présent, on pensait que les modèles intelligents fonctionnaient tous un peu de la même manière à l'intérieur. Ce papier nous dit : "Non, pas du tout !"

Le fait d'éteindre des parties du cerveau (la méthode MoE) change radicalement la façon dont l'intelligence s'organise.

• Les modèles Denses étalent l'information sur de larges réseaux généraux.
• Les modèles MoE créent des "silos" d'expertise très pointus et très actifs.

💡 En résumé

C'est comme comparer un couteau suisse (Dense) qui a plein d'outils intégrés mais qui est lourd, à un kit d'outils de précision (MoE) où vous ne sortez que l'outil exact dont vous avez besoin.

Les chercheurs ont prouvé que le kit d'outils de précision (MoE) ne se contente pas d'être plus léger : il développe une façon de penser totalement différente, plus concentrée et plus "spécialisée" que le couteau suisse. Cela nous aide à mieux comprendre comment construire des IA futures plus efficaces et plus intelligibles.

Résumé technique

Titre : Sparse Crosscoders pour la comparaison des architectures MoE et Denses

1. Problématique

Les modèles de type Mixture of Experts (MoE) permettent une mise à l'échelle efficace des paramètres grâce à un routage sparse (seuls un sous-ensemble d'« experts » est activé par token). Cependant, contrairement aux modèles denses, leur structure interne et leur mécanisme de représentation restent mal compris.
Bien que l'interprétabilité des modèles denses soit bien documentée (via l'apprentissage de dictionnaires et les autoencodeurs parcimonieux), il existe un manque de recherche sur :

• Comment les experts des MoE développent-ils des représentations de caractéristiques distinctes ?
• Comment la stratégie de routage influence-t-elle la spécialisation des caractéristiques ?
• Quelle est la différence fondamentale entre les représentations internes des MoE et des modèles denses ayant une capacité active équivalente ?

L'hypothèse de départ est que les intuitions acquises sur les modèles denses ne s'appliquent pas nécessairement aux architectures MoE en raison de leurs différences structurelles fondamentales.

2. Méthodologie

Les auteurs proposent une comparaison systématique en utilisant des Crosscoders (une variante des autoencodeurs parcimonieux) adaptés pour modéliser conjointement les espaces d'activation de deux modèles différents.

• Entraînement des Modèles de Base :

  • Deux modèles de 5 couches sont entraînés sur un jeu de données de 1 milliard de tokens (mélange égal de code, textes scientifiques et histoires en anglais).
  • Modèle Dense : Architecture standard.
  • Modèle MoE : Architecture avec routage d'experts (Top-k), entraîné avec une fonction de perte d'équilibrage de charge (Switch load balancing).
  • Contrainte : Les deux modèles possèdent le même nombre de paramètres actifs pour garantir une comparaison équitable.

• Adaptation des Crosscoders :

  • Un Crosscoder est entraîné sur les activations de la 3ème couche des deux modèles.
  • Variante BatchTopK : Utilisation de la variante BatchTopK qui impose une contrainte de parcimonie stricte (hard sparsity) en sélectionnant les $K$ meilleures activations par lot, remplaçant les pénalités L1 continues.
  • Caractéristiques Partagées Explicites : Pour améliorer l'interprétabilité, un sous-ensemble de caractéristiques est désigné comme « partagé » ($S$) avec des paramètres de décodeur liés entre les deux modèles. Le reste des caractéristiques est « exclusif » ($F$).
  • Réglage des Hyperparamètres : Les auteurs constatent que le ratio de pénalité de parcimonie $\lambda_s / \lambda_f$ suggéré par la littérature (0.1–0.2) est inefficace pour comparer deux modèles entraînés indépendamment (et non un modèle de base vs une version fine-tunée). Ils doivent augmenter ce ratio à ~0.7 pour distinguer correctement les caractéristiques spécifiques.

• Métrique de Spécificité :

  • Ils définissent une métrique $\Delta_{norm}$ basée sur la différence relative des normes des vecteurs de décodeur pour déterminer si une caractéristique est partagée, exclusive au MoE ou exclusive au modèle Dense.

3. Contributions Clés

1. Application des Crosscoders aux Architectures Différentes : Adaptation réussie de la technique de Crosscoder (initialement conçue pour comparer un modèle et sa version fine-tunée) à la comparaison de deux architectures structurellement distinctes (MoE vs Dense).
2. Optimisation de l'Objectif d'Entraînement : Identification de la nécessité d'un ratio de régularisation plus élevé ($\lambda_s / \lambda_f \approx 0.7$) pour gérer la forte divergence des espaces d'activation entre deux modèles entraînés de zéro.
3. Analyse Comparative Systématique : Première étude détaillée utilisant des autoencodeurs parcimonieux pour cartographier les différences de représentation entre MoE et modèles denses.

4. Résultats

• Performance de Reconstruction : La configuration optimisée (BatchTopK + caractéristiques partagées explicites) atteint une variance fractionnelle expliquée d'environ 87 % sur les activations des modèles.
• Distribution des Caractéristiques :
  • Le modèle Dense développe significativement plus de caractéristiques uniques (3 226) que le modèle MoE (910).
  • Le nombre de caractéristiques partagées est élevé (18 940), mais leur similarité cosinus n'est pas toujours élevée, et certaines présentent même des directions opposées (cos $\approx -1$), contrairement aux distributions trimodales observées dans les comparaisons base/fine-tune.
• Densité d'Activation :
  • Caractéristiques spécifiques au MoE : Présentent une densité d'activation plus élevée que les caractéristiques partagées.
  • Caractéristiques spécifiques au Dense : Présentent une densité d'activation plus faible que les caractéristiques partagées.
  • Note : Ce résultat est inverse à ce qui est observé lors de la comparaison base/fine-tune, où les deux types de caractéristiques spécifiques ont généralement une densité plus élevée.

5. Signification et Conclusion

L'étude révèle que les architectures MoE et Denses organisent l'information de manière fondamentalement différente :

• Spécialisation vs Généralisation : Les MoE tendent à développer des représentations plus spécialisées et focalisées (moins de caractéristiques uniques, mais plus denses), suggérant que le mécanisme de parcimonie encourage une localisation de l'expertise.
• Distribution de l'Information : Les modèles denses distribuent l'information à travers des caractéristiques plus larges et plus générales, avec une plus grande variété de représentations uniques.

Limites et Perspectives :
Bien que les Crosscoders puissent être appliqués au-delà de l'analyse de fine-tuning pour comprendre les différences architecturales, des travaux supplémentaires sont nécessaires pour améliorer la capture des différences d'activation entre des modèles structurellement hétérogènes. Les auteurs recommandent des analyses qualitatives futures des caractéristiques découvertes pour valider leur signification sémantique.