Does Role Specialization Matter for Explanation Faithfulness in Mixture-of-Experts?

Technische Samenvatting: Maakt Rolspecialisatie uit voor de Getrouwheid van Verklaringen in Mixture-of-Experts?

Probleemstelling
Mixture-of-Experts (MoE) architecturen zijn recentelijk uitgebreid met rolgebaseerde mechanismen om de interpreteerbaarheid in multimodale settings te verbeteren. Deze benaderingen wijzen semantische rollen (bijv. uniciteit, redundantie, synergie) toe aan individuele expert-componenten om cross-modale interacties te deconstrueren. De auteurs observeren echter een kritieke kloof: hoewel structurele roldecompositie expliciet is gedefinieerd, blijft het onduidelijk of deze structuur de getrouwheid van verklaringen (explanation faithfulness) waarborgt. In de praktijk leren experts die verschillende semantische rollen toegewezen hebben vaak sterk overlappende representaties te kennen vanwege gedeelde encoders en identieke taakdoelstellingen. Deze overlap in inter-expert representaties verzwakt de effectieve rolscheiding, wat potentieel de roltoewijzing nominaal maakt en ervoor zorgt dat feature attributies falen in het reflecteren van het werkelijke bewijs dat wordt gebruikt voor voorspellingen. Het onderzoek onderzoekt of het verminderen van deze representatie-overlap de getrouwheid van verklaringen verbetert zonder de taakprestaties in gevaar te brengen.

Methodologie
De auteurs stellen een gecontroleerde studie voor met behulp van een feature-level uitbreiding van de Interpretable Multimodal Interaction-aware MoE (I2MoE), getiteld FL-I2MoE, als hun backbone. In plaats van de architectuur te herontwerpen, behandelen zij de inter-expert representatie-overlap als een controleerbare factor.

1. Framework: Het model verwerkt multimodale inputs via gedeelde encoders, die feature-level representaties invoeren in $E$ experts ($M$ uniciteit, 1 synergie, 1 redundantie). Elke expert produceert klasse-logits en een latente representatie ($z_e$).
2. Regularisatiestrategie: Om overlap te verminderen zonder het routingmechanisme of de attributieprocedure te wijzigen, introduceren de auteurs representatie-niveau decorrelatie regularisatie. Zij definiëren een anker-latente representatie voor elke expert (de output op de originele input) en passen drie verschillende doelstellingen toe om de gelijkenis tussen expert-paren te minimaliseren:
   • Rep-Cos: Minimaliseert de gekwadrateerde cosinus-gelijkenis tussen $L_2$-genormaliseerde latente vectoren (instance-level directionele uitlijning).
   • Rep-CKA: Minimaliseert Centered Kernel Alignment (CKA) tussen gecentreerde representatiematrices (population-level structurele gelijkenis).
   • Rep-Barlow: Minimaliseert de off-diagonaal liggende elementen van de cross-correlatiematrix tussen gestandaardiseerde latente dimensies (cross-feature redundantie).
3. Trainingsdoelstelling: De totale loss combineert de taak-loss ($L_{task}$), rol-specifieke interactie-losses afgeleid van Partial Information Decomposition ($L_{interaction}$), en de gekozen decorrelatie-loss ($L_{decor}$):
   $$L = L_{task} + \alpha L_{interaction} + \lambda L_{decor}$$
   De hyperparameter $\lambda$ wordt gesweept om regimes te identificeren die overlap verminderen terwijl de voorspellende prestaties behouden blijven (binnen een marge van 2%).

Belangrijkste Bijdragen

• Identificatie van een Kloof: Het artikel identificeert dat structurele roldecompositie alleen onvoldoende is om getrouwe verklaringen te garanderen als de inter-expert representaties overlappend blijven.
• Decorrelatiemechanisme: Het introduceert representatie-niveau decorrelatie als een mechanisme om een duidelijkere specialisatie tussen experts af te dwingen, terwijl de oorspronkelijke architectuur en routinglogica behouden blijven.
• Generaliseerbaarheid: De studie toont aan dat de voordelen van representatiescheiding verder reiken dan expliciet rolgebaseerde architecturen (zoals I2MoE) naar standaard sparse MoE baselines (zoals GShardGate), wat wijst op een algemeen mechanisme voor het verbeteren van de getrouwheid van verklaringen.

Experimentele Resultaten
De auteurs evalueerden hun aanpak op drie multimodale benchmarks: ENRICO (UI classificatie), MIMIC-IV (mortaliteit voorspelling), en MMIMDb (filmgenre classificatie).

• Taakprestaties: Over alle datasets en decorrelatie-varianten (Rep-Cos, Rep-CKA, Rep-Barlow) behielden de modellen een voorspellende prestatie binnen 2% van de baseline, wat bevestigt dat scheiding niet inherent de bruikbaarheid verslechtert.
• Getrouwheid van Verklaringen: Met behulp van perturbatie-gebaseerde metrieken (Comprehensiveness en Sufficiency) en hun AOPC-samenvattingen (Area Over the Perturbation Curve), presteerden de gedecorreleerde modellen consistent beter dan de baseline. Specifiek nam de kloof tussen "geïdentificeerde masking" (het verwijderen van features die door de verklaring worden gehighlight) en "random masking" toe, wat aangeeft dat de verklaringen beter de beslissingsrelevante bewijslast vatten.
• Representatiegeometrie: Analyse toonde aan dat regularisatie de pairwise CKA en correlatie tussen experts verminderde. In verschillende gevallen verbeterden de silhouette scores, wat duidt op een duidelijkere cluster-niveau scheiding.
• Roluitlijning: Op een synthetische benchmark met bekende interactiestructuren verbeterde het verminderen van overlap via Rep-CKA de uitlijning tussen routing-gewichten en de grondwaarheid van de semantische rollen (bijv. de synergie-expert die hogere gewichten ontvangt voor synergetische inputs).
• Ablatie: Een ablatie-studie onthulde dat hoewel rolgebaseerd interactieleer alleen de getrouwheid niet verbeterde ten opzichte van een standaard MoE, en decorrelatie alleen gedeeltelijke voordelen bood, de combinatie van beide de hoogste winst in getrouwheid opleverde.

Betekenis en Claims
Het artikel concludeert dat structurele roldecompositie geen voldoende voorwaarde is voor de getrouwheid van verklaringen in MoE-systemen. De primaire bevinding is dat inter-expert representatie-overlap fungeert als een bottleneck die effectieve specialisatie vertroebelt. Door de overlap expliciet te verminderen via decorrelatie-regularisatie, demonstreren de auteurs dat de getrouwheid van verklaringen aanzienlijk kan worden verbeteren terwijl de taakprestaties behouden blijven.

De auteurs claimen bescheiden dat hun bevindingen suggereren dat representatie-niveau scheiding een meer algemeen mechanisme biedt voor het verbeteren van getrouwheid, toepasbaar zelfs op standaard sparse MoE-architecturen die geen expliciete semantische rollen hebben. Zij benadrukken dat de effectiviteit van specifieke decorrelatie-doelstellingen (Cosine versus CKA versus Barlow) varieert per dataset en metriek, wat impliceert dat de relatie tussen scheiding en getrouwheid wordt beïnvloed door de modale structuur en interactiecomplexiteit. Het werk ondersteunt de hypothese dat voor een rolgebaseerde MoE om werkelijk interpreteerbaar te zijn, de latente representaties van de rollen geometrisch verschillend moeten zijn.