Does Role Specialization Matter for Explanation Faithfulness in Mixture-of-Experts?

Resumo Técnico: A Especialização de Papéis Importa para a Fidelidade da Explicação em Mixture-of-Experts?

Definição do Problema
Arquiteturas de Mixture-of-Experts (MoE) foram recentemente estendidas com mecanismos baseados em papéis para aumentar a interpretabilidade em configurações multimodais. Essas abordagens atribuem papéis semânticos (ex: unicidade, redundância, sinergia) a componentes de especialistas individuais para decompor interações cross-modais. No entanto, os autores observam uma lacuna crítica: embora a decomposição de papéis estruturais seja explicitamente definida, não está claro se essa estrutura preserva a fidelidade da explicação. Na prática, especialistas atribuídos a diferentes papéis semânticos frequentemente aprendem representações altamente sobrepostas devido a codificadores compartilhados e objetivos de tarefa idênticos. Essa sobreposição de representação entre especialistas enfraquece a separação efetiva de papéis, potencialmente tornando as atribuições de papéis nominais e fazendo com que as atribuições de características falhem em refletir a evidência real usada para as previsões. O artigo investiga se a redução dessa sobreposição de representação melhora a fidelidade das explicações sem comprometer o desempenho da tarefa.

Metodologia
Os autores propõem um estudo controlado usando uma extensão de nível de característica do Interpretable Multimodal Interaction-aware MoE (I2MoE), denominada FL-I2MoE, como seu backbone. Em vez de redesenhar a arquitetura, eles tratam a sobreposição de representação entre especialistas como um fator controlável.

1. Framework: O modelo processa entradas multimodais através de codificadores compartilhados, alimentando representações de nível de característica em $E$ especialistas ($M$ unicidade, 1 sinergia, 1 redundância). Cada especialista produz logits de classe e uma representação latente ($z_e$).
2. Estratégia de Regularização: Para reduzir a sobreposição sem alterar o mecanismo de roteamento ou o procedimento de atribuição, os autores introduzem uma regularização de decorrelação de nível de representação. Eles definem uma representação latente âncora para cada especialista (a saída na entrada original) e aplicam três objetivos distintos para minimizar a similaridade entre pares de especialistas:
   • Rep-Cos: Minimiza a similaridade de cosseno ao quadrado entre vetores latentes $L_2$-normalizados (alinhamento direcional ao nível da instância).
   • Rep-CKA: Minimiza o Alinhamento de Kernel Centralizado (CKA) entre matrizes de representação centralizadas (similaridade estrutural ao nível da população).
   • Rep-Barlow: Minimiza as entradas fora da diagonal da matriz de correlação cruzada entre dimensões latentes padronizadas (redundância de características cruzadas).
3. Objetivo de Treinamento: O loss total combina o loss da tarefa ($L_{task}$), os losses de interação específicos de papel derivados de Decomposição de Informação Parcial ($L_{interaction}$) e o loss de decorrelação escolhido ($L_{decor}$):
   $$L = L_{task} + \alpha L_{interaction} + \lambda L_{decor}$$
   O hiperparametro $\lambda$ é varrido para identificar regimes que reduzem a sobreposição enquanto preservam o desempenho preditivo (dentro de uma margem de 2%).

Principais Contribuições

• Identificação de uma Lacuna: O artigo identifica que a decomposição de papéis estrutural sozinha é insuficiente para garantir explicações fiéis se as representações entre especialistas permanecerem sobrepostas.
• Mecanismo de Decorrelação: Introduz a decorrelação de nível de representação como um mecanismo para impor uma especialização mais clara entre os especialistas, mantendo a arquitetura e a lógica de atribuição originais.
• Generalização: O estudo demonstra que os benefícios da separação de representação se estendem além de arquiteturas explicitamente baseadas em papéis (como o I2MoE) para baselines padrão de MoE esparsa (ex: GShardGate), sugerindo um mecanismo geral para aumentar a fidelidade da explicação.

Resultados Experimentais
Os autores avaliaram sua abordagem em três benchmarks multimodais: ENRICO (classificação de UI), MIMIC-IV (previsão de mortalidade) e MMIMDb (classificação de gênero de filmes).

• Desempenho da Tarefa: Em todos os datasets e variantes de decorrelação (Rep-Cos, Rep-CKA, Rep-Barlow), os modelos mantiveram o desempenho preditivo dentro de 2% do baseline, confirmando que a separação não degrada inerentemente a utilidade.
• Fidelidade da Explicação: Usando métricas baseadas em perturbação (Abrangência e Suficiência) e seus resumos AOPC (Area Over the Perturbation Curve), os modelos decorrelacionados superaram consistentemente o baseline. Especificamente, a lacuna entre o "mascaramento identificado" (remover características destacadas pela explicação) e o "mascaramento aleatório" aumentou, indicando que as explicações capturaram melhor as evidências relevantes para a decisão.
• Geometria de Representação: A análise mostrou que a regularização reduziu o CKA pareado e a correlação entre especialistas. Em vários casos, os scores de silhueta melhoraram, indicando uma separação mais clara no nível de clusters.
• Alinhamento de Papel: Em um benchmark sintético com estruturas de interação conhecidas, a redução da sobreposição via Rep-CKA melhorou o alinhamento entre os pesos de roteamento e os papéis semânticos reais (ex: o especialista de sinergia recebendo pesos mais altos para entradas sinérgicas).
• Ablação: Um estudo de ablação revelou que, embora o aprendizado de interação baseado em papéis sozinho não tenha melhorado a fidelidade sobre um MoE padrão, e a decorrelação sozinha tenha oferecido benefícios parciais, a combinação de ambos gerou os maiores ganhos de fidelidade.

Significância e Alegações
O artigo conclui que a decomposição de papéis estruturais não é uma condição suficiente para a fidelidade da explicação em sistemas MoE. O principal achado é que a sobreposição de representação entre especialistas atua como um gargalo que obscurece a especialização efetiva. Ao reduzir explicitamente essa sobreposição através da regularização de decorrelação, os autores demonstram que a fidelidade da explicação pode ser significativamente melhorada enquanto se preserva o desempenho da tarefa.

Os autores alegam modestamente que seus achados sugerem que a separação de nível de representação fornece um mecanismo mais geral para aumentar a fidelidade, aplicável mesmo a arquiteturas MoE esparsas padrão que carecem de papéis semânticos explícitos. Eles enfatizam que a eficácia de objetivos de decorrelação específicos (Cosine vs. CKA vs. Barlow) varia conforme o dataset e a métrica, implicando que a relação entre separação e fidelidade é influenciada pela estrutura da modalidade e complexidade da interação. O trabalho apoia a hipótesidade de que, para um MoE baseado em papéis ser verdadeiramente interpretável, as representações latentes dos papéis devem ser geometricamente distintas.