From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models

Technische Samenvatting: Van Observatie naar Interventie

Probleemstelling
Interpretatiemethoden in machine learning vertrouwen vaak op een logische sprong: het behandelen van populatieniveau-samenvattende statistieken van geobserveerd modelgedrag als geldige voorspellers voor de uitkomsten van gerichte interventies. In de context van Mixture-of-Experts (MoE) modellen manifesteert dit zich in pruning-pipelines waarbij observationele metrieken—zoals expert-utilisatiegraden, activatienormen en routeringsgewichtverdelingen—worden gebruikt om experts te rangschikken voor verwijdering. De impliciete aanname is dat experts met hogere observationele scores meer kritiek werk verrichten, en dat het verwijderen van laag-scorende experts de modelfunctionaliteit niet zal verslechteren. Echter, zoals opgemerkt in eerder werk over attention-gewichten (Jain & Wallace, 2019) en saliency maps (Adebayo et al., 2020), ondersteunt associatief bewijs (Pearl's "rung 1") niet automatisch interventionele conclusies ("rung 2"). Dit paper onderzoekt of observationele routeringsstatistieken in MoE-modellen daadwerkelijk causale expert-belangrijkheid op token-niveau voorspellen.

Methodologie
De auteurs voeren een "causale audit" uit over drie hoog-redundante MoE-architecturen: OLMoE-1B-7B-0924, Qwen1.5-MoE-A2.7B, en DeepSeek-V2-Lite. Deze modellen beslaan diverse ontwerpdimensies, waaronder verschillende load-balancing strategieën, top-k activatieverhoudingen (6,7%–12,5%) en trainingsparadigma's (vanuit het begin getraind versus upcycled).

Het audit-protocol omvat de volgende stappen:

1. Metriekselectie: Vier canonieke observationele metrieken worden getest: utilisatiegraad, activatienorm, gemiddeld routeringsgewicht bij activatie, en activatiestandaarddeviatie.
2. Interventionele Grondwaarheid: Voor elke metriek voeren de auteurs per-token ablatie-experimenten uit. Bij 200 gesamplede token-posities per laag identificeren zij de set actieve experts, rangschikken zij deze op basis van de doel-metriek, en ableren (zetten op nul) zij de hoogst-gerangschikte en laagst-gerangschikte experts.
3. Causale Meting: De "functionele belangrijkheid" van een expert wordt gemeten door de verandering in loss ($\Delta L$) en de verschuiving in de residual stream (gap norm) die voortvloeit uit de ablatie.
4. Statistische Toetsing: Een gepaarde t-toets en een Wilcoxon signed-rank test worden gebruikt om te bepalen of het ableren van hoog-gerangschikte experts significant grotere loss-veranderingen veroorzaakt dan het ableren van laag-gerangschikte experts. Effectgroottes worden gemeten via Cohen's $d$.
5. Controles:
   • Correctie voor Meervoudige Vergelijkingen: Een Bonferroni-correctie wordt toegepast over de 60 geteste metriek-laag-combinaties (4 metrieken $\times$ 5 lagen $\times$ 3 modellen).
   • Routeringsgewicht Controle: Een parallel experiment gebruikt directe per-token routeringsgewichten ($g_i(x_t)$) als het rangschikkingscriterium. Dit dient als een bovengrens voor het voorspellende signaal, aangezien het token-geconditioneerd is in plaats van populatie-gemiddeld.
   • Progressieve Ablatie: Een experiment op OLMoE verwijdert $k$ hoogst-gewogen experts om de redundantiebuffer in vroege lagen te beoordelen.

Belangrijkste Resultaten
De studie levert een "schone drie-model nul-resultaat" met betrekking tot observationele metrieken:

• Geen Voorspellende Kracht: Geen van de vier observationele metrieken bereikte Bonferroni-gecorrigeerde significantie ($p < 0,0025$) in enige van de 60 metriek-laag cellen. Effectgroottes bleven onder Cohen's $d = 0,17$ voor alle combinaties.
• Inconsistente Tekens: De richting van de effecten (positief of negatief) was inconsistent over lagen binnen dezelfde metriek, een patroon dat kenmerkend is voor nul-verdelingen in plaats van zwakke ware effecten.
• Routeringsgewicht Controle: Het controle-experiment met directe per-token routeringsgewichten herstelde een enkel Bonferroni-significant signaal in de laatste MoE-laag van OLMoE (Laag 15, $d = +0,231, p = 0,0013$). Dit geeft aan dat de experimentele opzet voldoende kracht heeft om signalen te detecteren, maar dat dergelijke signalen afwezig zijn voor populatie-niveau statistieken.
• Redundantie-regime: Progressieve ablatie op OLMoE toonde aan dat in vroege lagen (0–9), het verwijderen van tot wel zeven van de acht actieve experts resulteerde in verwaarloosbare loss-veranderingen. Dit bevestigt dat de redundantie in vroege lagen de meeste selectiecriteria uitwisselbaar maakt; pruning slaagt niet omdat metrieken dispensabele experts identificeren, maar omdat bijna alle experts in deze lagen dispensabel zijn.
• OLMoE Laat-Laag Anomalie: Het enkele significante signaal in OLMoE Laag 15 valt samen met een 41$\times$ toename in de residual-stream verschuiving vergeleken met vroege lagen. Dit signaal is echter uniek voor OLMoE en verschijnt niet in Qwen of DeepSeek, wat suggereert dat het geen algemene eigenschap is van hoog-redundante MoEs.

Betekenis en Claims
Het paper maakt een bescheiden maar rigoureuze claim: het biedt een expliciet tegenvoorbeeld voor de veelvoorkomende inferentiële stap van populatie-niveau observationele samenvattingen naar token-niveau interventionele claims over expert-belangrijkheid.

• Het Falen van de Inferentie: De resultaten demonstreren dat observationele routeringsstatistieken geen token-niveau interventionele voorspellingen toestaan. Het succes van bestaande pruning-methoden wordt toegeschreven aan de structurele redundantie van vroege lagen in plaats van aan de validiteit van de gebruikte metrieken om experts te selecteren.
• Causale Hiërarchie: Het werk illustreert een falen op de grens tussen Pearl's rung 1 (associatie) en rung 2 (interventie). Net zoals attention-gewichten en saliency maps faalden om interventionele uitkomsten te voorspellen in eerdere studies, falen MoE-routeringsstatistieken ook om te dienen als geldige proxies voor causale belangrijkheid.
• Scope Beperkingen: De auteurs verduidelijken dat de audit op token-niveau en gericht is op single-ablatie. Het falsifieert niet de ingezette pruning-pipeline (die vaak fine-tuning omvat), maar het verwijdert de per-token mechanistische rechtvaardiging waar dergelijke pipelines op uitgaan. De bevindingen zijn specifiek voor hoog-redundante architecturen; de validiteit van metrieken in laag-redundante modellen (bijv. Switch, Mixtral) blijft een open vraag.

Concluderend stelt het paper dat interpretatieclaims die generalisatie vereisen, ondersteund moeten worden door interventioneel bewijs, en dat in het specifieke geval van MoE-pruning de standaard observationele proxies voor deze test falen.