Does Role Specialization Matter for Explanation Faithfulness in Mixture-of-Experts?

Technisches Resümee: Spielt Rollenspezialisierung eine Rolle für die Erklärungstreue in Mixture-of-Experts?

Problemstellung
Mixture-of-Experts-Architekturen (MoE) wurden kürzlich mit rollenbasierten Mechanismen erweitert, um die Interpretierbarkeit in multimodalen Settings zu verbessern. Diese Ansätze weisen einzelnen Expertenkomponenten semantische Rollen (z. B. Einzigartigkeit, Redundanz, Synergie) zu, um kreuzmodale Interaktionen zu dekkomponieren. Die Autoren beobachten jedoch eine kritische Lücke: Während die strukturelle Rollendekomposition explizit definiert ist, bleibt unklar, ob diese Struktur die Erklärungstreue (Explanation Faithfulness) bewahrt. In der Praxis lernen Experten, denen unterschiedliche semantische Rollen zugewiesen wurden, oft hochgradig überlappende Repräsentationen, da sie gemeinsame Encoder und identische Aufgabenziele nutzen. Diese Überlappung der Inter-Experten-Repräsentationen schwächt die effektive Rollentrennung, was dazu führen kann, dass die Rollenzuweisungen rein nominell bleiben und Merkmalsattribuierungen fehlschlagen, wenn sie versuchen, die tatsächlichen für Vorhersagen genutzten Belege widerzuspiegeln. Die Arbeit untersucht, ob die Reduzierung dieser Repräsentationsüberlappung die Erklärungstreue verbessert, ohne die Aufgabenleistung zu beeinträchtigen.

Methodik
Die Autoren schlagen eine kontrollierte Studie vor, die eine Merkmalsebene-Erweiterung des Interpretable Multimodal Interaction-aware MoE (I2MoE) nutzt, bezeichnet als FL-I2MoE, als ihr Backbone. Anstatt die Architektur neu zu entwerfen, behandeln sie die Inter-Experten-Repräsentationsüberlappung als einen kontrollierbaren Faktor.

1. Framework: Das Modell verarbeitet multimodale Eingaben durch gemeinsame Encoder und speist Merkmalsebene-Repräsentationen in $E$ Experten ein ($M$ Einzigartigkeit, 1 Synergie, 1 Redundanz). Jeder Experte erzeugt Klassen-Logits und eine latente Repräsentation ($z_e$).
2. Regularisierungsstrategie: Um die Überlappung zu reduzieren, ohne den Routing-Mechanismus oder das Attributionsverfahren zu verändern, führen die Autoren eine Repräsentations-Ebene-Dekorrelationsregularisierung ein. Sie definieren eine Anker-Latent-Repräsentation für jeden Experten (den Output auf den Original-Input) und wenden drei verschiedene Zielsetzungen an, um die Ähnlichkeit zwischen Expertenpaaren zu minimieren:
   • Rep-Cos: Minimiert die quadratische Kosinusähnlichkeit zwischen $L_2$-normalisierten latenten Vektoren (instanzbasierte gerichtete Ausrichtung).
   • Rep-CKA: Minimiert die Centered Kernel Alignment (CKA) zwischen zentrierten Repräsentationsmatrizen (populationsbasierte strukturelle Ähnlichkeit).
   • Rep-Barlow: Minimiert die Off-Diagonal-Einträge der Kreuzkorrelationsmatrix zwischen standardisierten latenten Dimensionen (kreuz-merkmalsbezogene Redundanz).
3. Trainingsziel: Der Gesamtverlust kombiniert den Aufgabenverlust ($L_{task}$), rollenspezifische Interaktionsverluste aus der Partiellen Informationsdekomposition ($L_{interaction}$) und den gewählten Dekorrelationsverlust ($L_{decor}$):
   $$L = L_{task} + \alpha L_{interaction} + \lambda L_{decor}$$
   Der Hyperparameter $\lambda$ wird durch ein Sweep optimiert, um Regime zu identifizieren, die die Überlappung reduzieren und gleichzeitig die Vorhersageleistung (innerhalb einer Marge von 2 %) bewahren.

Wesentliche Beiträge

• Identifizierung einer Lücke: Die Arbeit stellt fest, dass eine strukturelle Rollendekomposition allein nicht ausreicht, um eine treue Erklärung zu garantieren, wenn die Inter-Experten-Repräsentationen überlappend bleiben.
• Dekorrelationsmechanismus: Sie führt die Dekorrelation auf Repräsentations-Ebene als Mechanismus ein, um eine klarere Spezialisierung der Experten zu erzwingen, während die ursprüngliche Architektur und die Routing-Logik beibehalten werden.
• Generalisierbarkeit: Die Studie zeigt, dass die Vorteile der Repräsentationsseparation über explizit rollenbasierte Architekturen (wie I2MoE) hinaus auch auf Standard-Sparse-MoE-Baselines (z. B. GShardGate) übertragbar sind, was auf einen allgemeinen Mechanismus zur Verbesserung der Erklärungstreue hindeutet.

Experimentelle Ergebnisse
Die Autoren evaluierten ihren Ansatz auf drei multimodalen Benchmarks: ENRICO (UI-Klassifizierung), MIMIC-IV (Mortalitätsprognose) und MMIMDb (Filmgenre-Klassifizierung).

• Aufgabenleistung: Über alle Datensätze und Dekorrelationsvarianten hinweg (Rep-Cos, Rep-CKA, Rep-Barlow) behielten die Modelle eine Vorhersageleistung innerhalb von 2 % des Baselines bei, was bestätigt, dass die Separation die Nützlichkeit nicht inhärent verschlechtert.
• Erklärungstreue: Unter Verwendung von perturbationsbasierten Metriken (Komprehensivität und Suffizienz) und deren AOPC-Zusammenfassungen (Area Over the Perturbation Curve) übertrafen die dekorelierten Modelle die Baseline konsistent. Insbesondere vergrößerte sich die Lücke zwischen „identifizierter Maskierung“ (Entfernen der durch die Erklärung hervorgehobenen Merkmale) und „zufälliger Maskierung“, was darauf hindeutet, dass die Erklärungen die entscheidungsrelevanten Belege besser erfassen.
• Repräsentationsgeometrie: Die Analyse zeigte, dass die Regularisierung die paarweisen CKA-Werte und die Korrelation zwischen den Experten reduzierte. In mehreren Fällen verbesserten sich die Silhouette-Scores, was auf eine klarere Cluster-Ebene-Trennung hindeutet.
• Rollenausrichtung: In einem synthetischen Benchmark mit bekannten Interaktionsstrukturen verbesserte die Reduzierung der Überlappung via Rep-CKA die Ausrichtung zwischen den Routing-Gewichten und den Ground-Truth-semantischen Rollen (z. B. erhielt der Synergie-Experte höhere Gewichte für synergistische Inputs).
• Ablation: Eine Ablationsstudie ergab, dass rollenbasiertes Interaktionslernen allein die Treue gegenüber einem Standard-MoE nicht verbesserte und die Dekorrelation allein nur teilweise Vorteile bot, aber die Kombination aus beidem die höchsten Gewinne an Erklärungstreue lieferte.

Bedeutung und Behauptungen
Die Arbeit kommt zu dem Schluss, dass die strukturelle Rollendekomposition keine hinreichende Bedingung für die Erklärungstreue in MoE-Systemen ist. Die primäre Erkenntnis ist, dass die Inter-Experten-Repräsentationsüberlappung als Flaschenhals wirkt, der eine effektive Spezialisierung verschleiert. Durch die explizite Reduzierung dieser Überlappung mittels Dekorrelationsregularisierung demonstrieren die Autoren, dass die Erklärungstreue signifikant verbessert werden kann, während die Aufgabenleistung erhalten bleibt.

Die Autoren behaupten bescheiden, dass ihre Ergebnisse darauf hindeuten, dass die Separation auf Repräsentations-Ebene einen allgemeineren Mechanismus zur Verbesserung der Treue bietet, der auch auf Standard-Sparse-MoE-Architekturen anwendbar ist, die keine expliziten semantischen Rollen besitzen. Sie betonen, dass die Wirksamkeit spezifischer Dekorrelationsziele (Cosine vs. CKA vs. Barlow) je nach Datensatz und Metrik variiert, was impliziert, dass die Beziehung zwischen Separation und Treue durch die Modaliätsstruktur und die Komplexität der Interaktion beeinflusst wird. Die Arbeit stützt die Hypothese, dass für ein rollenbasiertes MoE, das wirklich interpretierbar sein soll, die latenten Repräsentationen der Rollen geometrisch unterscheidbar sein müssen.