Does Role Specialization Matter for Explanation Faithfulness in Mixture-of-Experts?

Sintesi Tecnica: La specializzazione dei ruoli è importante per la fedeltà delle spiegazioni nelle architetture Mixture-of-Experts?

Definizione del Problema
Le architetture Mixture-of-Experts (MoE) sono state recentemente estese con meccanismi basati sui ruoli per migliorare l'interpretabilità in contesti multimodali. Questi approcci assegnano ruoli semantici (ad esempio, unicità, ridondanza, sinergia) ai singoli componenti esperti per decomporre le interazioni cross-modali. Tuttavia, gli autori osservano una lacuna critica: sebbene la decomposizione strutturale dei ruoli sia esplicitamente definata, rimane poco chiaro se questa struttura preservi la fedeltà della spiegazione (explanation faithfulness). In pratica, gli esperti assegnati a diversi ruoli semantici tendono ad apprendere rappresentazioni altamente sovrapposte a causa di encoder condivisi e obiettivi di task identici. Questa sovrapposizione di rappresentazioni tra gli esperti indebolisce l'efficace separazione dei ruoli, rendendo potenzialmente nominali le assegnazioni dei ruoli e causando il fallimento delle attribuzioni delle caratteristiche nel riflettere l'effettiva evidenza utilizzata per le predizioni. Il documento investiga se la riduzione di questa sovrapposizione di rappresentazioni migliori la fedeltà delle spiegazioni senza compromettere le prestazioni del task.

Metodologia
Gli autori propongono uno studio controllato utilizzando un'estensione a livello di feature dell'Interpretable Multimodal Interaction-aware MoE (I2MoE), denominata FL-I2MoE, come loro backbone. Invezione di riprogettare l'architettura, essi trattano la sovrapposizione delle rappresentazioni tra esperti come un fattore controllabile.

1. Framework: Il modello elabora input multimodali attraverso encoder condivisi, alimentando rappresentazioni a livello di feature in $E$ esperti ($M$ unicità, 1 sinergia, 1 ridondanza). Ogni esperto produce logit di classe e una rappresentazione latente ($z_e$).
2. Strategia di Regolarizzazione: Per ridurre la sovrapposizione senza alterare il meccanismo di routing o la procedura di attribuzione, gli autori introducono una regolarizzazione di decorrelazione a livello di rappresentazione. Definiscono una rappresentazione latente ancora per ogni esperto (l'output sull'input originale) e applicano tre obiettivi distinti per minimizzare la similarità tra coppie di esperti:
   • Rep-Cos: Minimizza la similarità del coseno al quadrato tra vettori latenti normalizzati $L_2$ (allineamento direzionale a livello di istanza).
   • Rep-CKA: Minimizza la Centered Kernel Alignment (CKA) tra matrici di rappresentazione centrate (similarità strutturale a livello di popolazione).
   • Rep-Barlow: Minimizza le voci fuori diagonale della matrice di cross-correlazione tra le dimensioni latenti standardizzate (ridondanza tra caratteristiche).
3. Obiettivo di Training: La perdita totale combina la perdita del task ($L_{task}$), le perdite di interazione specifiche per il ruolo derivate dalla Decomposizione dell'Informazione Parziale ($L_{interaction}$), e la scelta della perdita di decorrelazione ($L_{decor}$):
   $$L = L_{task} + \alpha L_{interaction} + \lambda L_{decor}$$
   L'iperparametro $\lambda$ viene testato tramite sweep per identificare i regimi che riducono la sovrapposizione preservando le prestazioni predittive (entro un margine del 2%).

Contributi Chiave

• Identificazione di una Lacuna: Il documento identifica che la sola decomposizione strutturale dei ruoli non è sufficiente a garantire spiegazioni fedeli se le rappresentazioni tra gli esperti rimangano sovrapposte.
• Meccanismo di Decorrelazione: Introduce la decorrelazione a livello di rappresentazione come meccanismo per imporre una più chiara specializzazione tra gli esperti, mantenendo l'architettura originale e la logica di routing.
• Generalizzabilità: Lo studio dimostra che i benefici della separazione delle rappresentazioni si estendono oltre le architetture esplicitamente basate sui ruoli (come I2MoE) anche ai baseline standard di sparse MoE (es. GShardGate), suggerendo un meccanismo generale per migliorare la fedeltà della spiegazione.

Risultati Sperimentali
Gli autori hanno valutato il loro approccio su tre benchmark multimodali: ENRICO (classificazione UI), MIMIC-IV (predizione della mortalità) e MMIMDb (classificazione del genere cinematografico).

• Prestazioni del Task: In tutti i dataset e per tutte le varianti di decorrelazione (Rep-Cos, Rep-CKA, Rep-Barlow), i modelli hanno mantenuto le prestazioni predittive entro il 2% rispetto al baseline, confermando che la separazione non degrada intrinsecamente l'utilità.
• Fedeltà della Spiegazione: Utilizzando metriche basate sulla perturbazione (Completezza e Sufficienza) e i loro riepiloghi AOPC (Area Over the Perturbation Curve), i modelli decorrelati hanno costantemente superato il baseline. Nello specifico, il divario tra "masking identificato" (rimozione delle caratteristiche evidenziate dalla spiegazione) e "masking casuale" è aumentato, indicando che le spiegazioni catturano meglio l'evidenza rilevante per la decisione.
• Geometria della Rappresentazione: L'analisi ha mostrato che la regolarizzazione ha ridotto la CKA di coppia e la correlazione tra gli esperti. In diversi casi, i punteggi di silhouette sono migliorati, indicando una separazione più chiara a livello di cluster.
• Allineamento dei Ruoli: Su un benchmark sintetico con strutture di interazione note, la riduzione della sovrapposizione tramite Rep-CKA ha migliorato l'allineamento tra i pesi di routing e i ruoli semantici reali (ad esempio, l'esperto di sinergia riceve pesi più elevati per gli input sinergici).
• Ablation: Uno studio di ablazione ha rivelato che, mentre l'apprendimento dell'interazione basato sui ruoli da solo non migliorava la fedeltà rispetto a una MoE standard, e la decorrelazione da sola offriva benefici parziali, la combinazione di entrambi ha prodotto i massimi guadagni in termini di fedeltà.

Significatività e Rivendicazioni
Il documento conclude che la decomposizione strutturale dei ruoli non è una condizione sufficiente per la fedeltà della spiegazione nei sistemi MoE. Il risultato principale è che la sovrapposizione delle rappresentazioni tra esperti agisce come un collo di bottiglia che oscura l'efficace specializzazione. Riducendo esplicitamente questa sovrapposizione attraverso la regolarizzazione della decorrelazione, gli autori dimostrano che la fedeltà della spiegazione può essere significativamente migliorata preservando al contempo le prestazioni del task.

Gli autori affermano con moderazione che i loro risultati suggeriscono che la separazione a livello di rappresentazione fornisce un meccanismo più generale per migliorare la fedeltà, applicabile anche alle architetture sparse MoE standard prive di ruoli semantici espliciti. Essi sottolineano che l'efficacia dei diversi obiettivi di decorrelazione (Cosine vs. CKA vs. Barlow) varia a seconda del dataset e della metrica, implicando che la relazione tra separazione e fedeltà è influenzata dalla struttura della modalità e dalla complessità dell'interazione. Il lavoro supporta l'ipotesi che, affinché una MoE basata sui ruoli sia veramente interpretabile, le rappresentazioni latenti dei ruoli debbano essere geometricamente distinte.