Does Role Specialization Matter for Explanation Faithfulness in Mixture-of-Experts?

Resumen Técnico: ¿Importa la especialización de roles para la fidelidad de la explicación en el Mezcla de Expertos (MoE)?

Planteamiento del Problema
Las arquitecturas de Mezcla de Expertos (MoE) se han extendido recientemente con mecanismos basados en roles para mejorar la interpretabilidad en entornos multimodales. Estos enfoques asignan roles semánticos (por ejemplo, unicidad, redundancia, sinergia) a componentes de expertos individuales para descomponer las interacciones cross-modales. Sin embargo, los autores observan una brecha crítica: aunque la descomposición de roles estructurales está definida explícitamente, no está claro si esta estructura preserva la fidelidad de la explicación. En la práctica, los expertos asignados a diferentes roles semánticos suelen aprender representaciones altamente superpuestas debido a codificadores compartidos y objetivos de tarea idénticos. Esta superposición de representaciones entre expertos debilita la separación efectiva de roles, lo que potencialmente vuelve nominales las asignaciones de roles y provoca que las atribuciones de características fallen al reflejar la evidencia real utilizada para las predicciones. El artículo investiga si la reducción de esta superposición de representaciones mejora la fidelidad de las explicaciones sin comprometer el rendimiento de la tarea.

Metodología
Los autores proponen un estudio controlado utilizando una extensión a nivel de características del Interpretable Multimodal Interaction-aware MoE (I2MoE), denominada FL-I2MoE, como su base. En lugar de rediseñar la arquitectura, tratan la superposición de representaciones entre expertos como un factor controlable.

1. Marco de trabajo: El modelo procesa entradas multimodales a través de codificadores compartidos, alimentando representaciones a nivel de características a $E$ expertos ($M$ unicidad, 1 sinergia, 1 redundancia). Cada experto produce logits de clase y una representación latente ($z_e$).
2. Estrategia de Regularización: Para reducir la superposición sin alterar el mecanismo de enrutamiento o el procedimiento de atribución, los autores introducen una regularización de decorrelación a nivel de representación. Definen una representación latente ancla para cada experto (la salida sobre la entrada original) y aplican tres objetivos distintos para minimizar la similitud entre pares de expertos:
   • Rep-Cos: Minimiza la similitud de coseno al cuadrado entre vectores latentes normalizados en $L_2$ (alineación direccional a nivel de instancia).
   • Rep-CKA: Minimiza el Alineamiento de Kernel Centrado (CKA) entre matrices de representación centradas (similitud estructural a nivel de población).
   • Rep-Barlow: Minimiza las entradas fuera de la diagonal de la matriz de correlación cruzada entre dimensiones latentes estandarizadas (redundancia de características cruzadas).
3. Objetivo de Entrenamiento: La pérdida total combina la pérdida de la tarea ($L_{task}$), las pérdidas de interacción específicas de rol derivadas de la Descomposición de Información Parcial ($L_{interaction}$), y la pérdida de decorrelación elegida ($L_{decor}$):
   $$L = L_{task} + \alpha L_{interaction} + \lambda L_{decor}$$
   El hiperparámetro $\lambda$ se analiza mediante un barrido para identificar regímenes que reduzcan la superposición mientras preservan el rendimiento predictivo (dentro de un margen del 2%).

Contribuciones Clave

• Identificación de una Brecha: El artículo identifica que la descomposición de roles estructurales por sí sola es insuficiente para garantizar explicaciones fieles si las representaciones entre expertos siguen superpuestas.
• Mecanismo de Decorrelación: Introduce la decorrelación a nivel de representación como un mecanismo para forzar una especialización más clara entre los expertos, manteniendo la arquitectura y la lógica de enrutamiento originales.
• Generalizabilidad: El estudio demuestra que los beneficios de la separación de representaciones se extienden más allá de las arquitecturas basadas explícitamente en roles (como I2MoE) a las líneas base de MoE dispersos estándar (como GShardGate), sugiriendo un mecanismo general para mejorar la fidelidad de la explicación.

Resultados Experimentales
Los autores evaluaron su enfoque en tres bancos de pruebas multimodales: ENRICO (clasificación de UI), MIMIC-IV (predicción de mortalidad) y MMIMDb (clasificación de género de películas).

• Rendimiento de la Tarea: En todos los conjuntos de datos y variantes de decorrelación (Rep-Cos, Rep-CKA, Rep-Barlow), los modelos mantuvieron el rendimiento predictivo dentro de un 2% respecto a la línea base, confirmando que la separación no degrada inherentemente la utilidad.
• Fidelidad de la Explicación: Utilizando métricas basadas en perturbaciones (Comprensividad y Suficiencia) y sus resúmenes AOPC (Área Sobre la Curva de Perturbación), los modelos decorrelacionados superaron consistentemente a la línea base. Específicamente, la brecha entre el "enmascaramiento identificado" (eliminar las características resaltadas por la explicación) y el "enmascaramiento aleatorio" aumentó, indicando que las explicaciones capturaron mejor la evidencia relevante para la decisión.
• Geometría de la Representación: El análisis mostró que la regularización redujo la CKA por pares y la correlación entre expertos. En varios casos, los puntajes de silueta mejoraron, indicando una separación más clara a nivel de clúster.
• Alineación de Roles: En un banco de pruebas sintético con estructuras de interacción conocidas, la reducción de la superposición mediante Rep-CKA mejoró la alineación entre los pesos de enrutamiento y los roles semánticos reales (por ejemplo, el experto de sinergia recibiendo mayores pesos para entradas sinérgicas).
• Ablación: Un estudio de ablación reveló que, si bien el aprendizaje de interacción basado en roles por sí solo no mejoró la fidelidad respecto a un MoE estándar, y la decorrelación por sí sola ofreció beneficios parciales, la combinación de ambos produjo las mayores ganancias en fidelidad.

Significado y Reivindicaciones
El artículo concluye que la descomposición de roles estructurales no es una condición suficiente para la fidelidad de la explicación en sistemas MoE. El hallazgo principal es que la superposición de representaciones entre expertos actúa como un cuello de botella que oscurece la especialización efectiva. Al reducir explícitamente esta superposición mediante la regularización de decorrelación, los autores demuestran que la fidelidad de la explicación puede mejorarse significativamente preservando el rendimiento de la tarea.

Los autores afirman modestamente que sus hallazgos sugieren que la separación a nivel de representación proporciona un mecanismo más general para mejorar la fidelidad, aplicable incluso a arquitecturas MoE dispersas estándar que carecen de roles semánticos explícitos. Enfatizan que la efectividad de los objetivos de decorrelación específicos (Cos, CKA o Barlow) varía según el conjunto de datos y la métrica, lo que implica que la relación entre separación y fidelidad está influenciada por la estructura de la modalidad y la complejidad de la interacción. El trabajo respalda la hipótesis de que, para que un MoE basado en roles sea verdaderamente interpretable, las representaciones latentes de los roles deben ser geométricamente distintas.