The Expert Strikes Back: Interpreting Mixture-of-Experts Language Models at Expert Level

Titel: De Expert Keert Terug: Het Interpreteren van Taalmodellen met Mengsels van Experts op Expert-niveau

Auteurs: Jeremy Herbst, Jae Hee Lee, Stefan Wermter (Universiteit van Hamburg)

1. Het Probleem

Mixture-of-Experts (MoE) architecturen zijn de dominante aanpak geworden voor het schalen van Large Language Models (LLMs). Ze activeren slechts een subset van parameters per token, wat leidt tot hoge prestaties tegen lagere inferentiekosten. Hoewel MoE-modellen vaak worden geprezen om hun efficiëntie, blijft de vraag open of hun sparsiteit (de mate waarin parameters niet worden gebruikt) hen ook inherenter interpreteerbaar maakt dan dichte feed-forward netwerken (FFNs).

Interpretatie van LLMs wordt voornamelijk gehinderd door polysemantie: het fenomeen waarbij individuele neuronen worden geactiveerd voor meerdere, ongerelateerde concepten. Dit wordt veroorzaakt door superpositie, waarbij netwerken meer concepten representeren dan ze dimensies hebben door deze in bijna orthogonale richtingen op te slaan. Bestaande methoden om dit op te lossen (zoals Sparse Autoencoders) zijn computatievreselijk en moeilijk te schalen. De auteurs onderzoeken of de architecturale sparsiteit van MoE-modellen deze superpositie van nature reduceert, waardoor interpretatie op een hoger niveau mogelijk wordt.

2. Methodologie

De auteurs hanteren een tweestapsbenadering om de interpreteerbaarheid van MoE-experts te analyseren:

• K-sparse Probing (Neuron-niveau):

  • Ze vergelijken MoE-experts met dichte FFNs door lineaire classifiers (probes) te trainen om concepten te voorspellen met slechts $k$ actieve dimensies (neuronen).
  • Ze testen 12 verschillende modellen (waaronder OLMoE, Qwen3, Mixtral) over 58 concepten (o.a. woordsoorten, LaTeX, code, tekst).
  • Het doel is om te meten hoe "gesmeerd" een concept over neuronen ligt. Als een concept al goed voorspeld kan worden met $k=1$, duidt dit op monosemanticiteit (één neuron, één concept).

• Zoom-out naar Expert-niveau:

  • Gebaseerd op de bevinding dat MoE-neuronen minder polysemantisch zijn, stellen de auteurs voor om de expert (een geheel feed-forward netwerk binnen de MoE-laag) als de primaire analyse-eenheid te gebruiken in plaats van individuele neuronen.
  • Ze ontwikkelen een geautomatiseerde pipeline met twee LLM-componenten:
    1. Explainer: Genereert natuurlijke taal-hypothese over de rol van een expert op basis van tekstfragmenten waar de expert sterk actief was (gemeten via de L2-norm van de bijdrage aan de residustroom).
    2. Scorer: Evalueert de hypothese op een apart dataset om een interpreteerbaarheidsscore (F1-score) te genereren.
  • Causale Attributie: Ze voeren een "Trigger-Target" experiment uit om te bewijzen dat de geïdentificeerde experts causale invloed hebben op de output van het model (bijv. door specifieke triggerwoorden te gebruiken en te meten of de expert de verwachte targetwoorden promoot).

• Specialisatiemeting:

  • Ze gebruiken Jensen-Shannon Divergentie (JSD) om te kwantificeren hoe sterk een expert afwijkt van de gemiddelde laag-distributie, zowel voor input (routing) als output (functie).

3. Belangrijkste Bijdragen

1. Empirisch Bewijs voor Monosemanticiteit: Ze tonen aan dat neuronen in MoE-experts consistent minder polysemantisch zijn dan die in dichte FFNs. Deze kloof wordt groter naarmate de routing sparser wordt (minder actieve experts per token).
2. Expert-niveau als Schaalbare Eenheid: Ze demonstreren dat het "zoomen uit" naar het expert-niveau een effectieve en schaalbare methode is om MoE-modellen te interpreteren zonder de noodzaak van dure post-hoc methoden zoals Sparse Autoencoders.
3. Oplossing voor het Specialisatie-debat: Ze weerleggen de dichotomie tussen "brede domein-experts" (bijv. alleen biologie) en "token-niveau experts". In plaats daarvan functioneren experts als fijnkorrelige taak-experts die specifieke linguïstische of semantische operaties uitvoeren (bijv. het sluiten van LaTeX-haakjes of het aanvullen van RPG-statistieken).

4. Resultaten

• Verlaagde Polysemantie: In alle geteste modellen behaalden MoE-experts bij $k=1$ (één neuron) bijna optimale F1-scores voor het voorspellen van concepten, terwijl dichte modellen hier veel moeite mee hadden. Dit suggereert dat sparsiteit de superpositie drukt.
• Invloed van Routing-Sparsiteit: Modellen met een zeer lage verhouding van actieve experts ($N_A/N$), zoals Qwen3-30B-A3B (ongeveer 6%), vertoonden de schoonste representaties en de hoogste interpreteerbaarheidsscores.
• Automatische Interpretatie: De geautomatiseerde pipeline slaagde erin om honderden experts te labelen met hoge F1-scores (vaak >0.8). De labels waren consistent en causaal onderbouwd.
• Type Specialisatie:
  • Morfologisch: Experts die suffixen of stamwoorden van specifieke termen (bijv. chemische namen) completeren.
  • Syntactisch: Experts die coördinatieconjunctions (zoals "en", "of") verwerken om syntactische voortzettingen te voorspellen.
  • Semantisch: Experts die domeinspecifieke kennis activeren (bijv. juridische citaten), maar vaak gefocust op specifieke operaties binnen dat domein.
  • Operationeel: Experts die structurele validiteit garanderen, zoals het sluiten van LaTeX-blokken (\end{...}).
• Causale Validatie: In het Trigger-Target experiment werd in 80% van de gevallen bevestigd dat de geïdentificeerde expert de belangrijkste bijdrage leverde aan het voorspellen van het targetwoord, terwijl deze bijna nooit werd gerouteerd voor controlevragen.

5. Betekenis en Conclusie

Dit onderzoek biedt een paradigmaverschuiving in het interpreteren van LLMs. Het toont aan dat de trend naar extreem sparsere MoE-architecturen (meer totale experts, maar minder actieve per token) niet alleen de prestaties verbetert, maar ook de inherent interpreteerbaarheid van het model vergroot.

• Praktische Impact: Dit opent de weg voor het auditen en debuggen van grote modellen door in te grijpen op specifieke experts in plaats van onbegrijpelijke neuronclusters. Het kan leiden tot gerichterere veiligheidsmaatregelen en het verminderen van de "interpretatie-taks" (de hoge kosten van interpretatie).
• Toekomstvisie: De auteurs suggereren dat de volgende generatie modellen "inherent transparant" door ontwerp kunnen zijn. Door experts te zien als discrete sub-routines (zoals een "LaTeX-sluit-expert" of een "RPG-statistieken-expert"), kunnen onderzoekers de logica van het model beter begrijpen als een graph van interacterende functionele eenheden.

Kortom, de auteurs bewijzen dat MoE-modellen niet alleen efficiënter zijn, maar ook een natuurlijke structuur bieden die het "black box"-probleem van neurale netwerken aanzienlijk verlicht door de overgang van neuron- naar expert-niveau interpretatie.