Does Role Specialization Matter for Explanation Faithfulness in Mixture-of-Experts?

技术摘要：角色专业化是否对混合专家模型（MoE）的解释忠实度有意义？

问题陈述
混合专家（MoE）架构最近通过基于角色的机制得到了扩展，以增强多模态场景下的可解释性。这些方法为单个专家组件分配语义角色（例如：唯一性、冗余性、协同性），以分解跨模态交互。然而，作者观察到一个关键差距：虽然结构化角色分解被明确定义，但目前尚不清楚这种结构是否能保持解释忠实度（Explanation Faithfulness）。在实践中，被分配了不同语义角色的专家由于共享编码器和相同的任务目标，往往会学习到高度重叠的表示。这种专家间的表示重叠削弱了有效的角色分离，可能导致角色分配仅具有名义意义，并导致特征归因无法反映用于预测的实际证据。本文研究了减少这种表示重叠是否能在不损害任务性能的前提下提高解释的忠实度。

方法论
作者提出了一种受控研究，使用一种被称为 FL-I2MoE 的特征级扩展版可解释多模态交互感知 MoE（I2MoE）作为其骨干网络。作者并未重新设计架构，而是将专家间的表示重叠视为一个可控因素。

1. 框架： 该模型通过共享编码器处理多模态输入，将特征级表示输入到 $E$ 个专家中（$M$ 个唯一性专家，1 个协同性专家，1 个冗余性专家）。每个专家产生类别逻辑值（logits）和一个潜在表示（$z_e$）。
2. 正则化策略： 为了在不改变路由机制或归因程序的情况下减少重叠，作者引入了表示级去相关正则化（representation-level decorrelation regularization）。他们为每个专家定义了一个锚点潜在表示（即原始输入上的输出），并应用三种不同的目标函数来最小化专家对之间的相似性：
   • Rep-Cos： 最小化 $L_2$ 归一化潜在向量之间的平方余弦相似度（实例级的方向对齐）。
   • Rep-CKA： 最小化中心化核对齐（Centered Kernel Alignment, CKA）在中心化表示矩阵之间的差异（群体级的结构相似性）。
   • Rep-Barlow： 最小化标准化潜在维度之间交叉相关矩阵的非对角线元素（跨特征冗余）。
3. 训练目标： 总损失结合了任务损失（$L_{task}$）、源自部分信息分解（Partial Information Decomposition）的角色特定交互损失（$L_{interaction}$）以及所选的去相关损失（$L_{decor}$）：
   $$L = L_{task} + \alpha L_{interaction} + \lambda L_{decor}$$
   通过对超参数 $\lambda$ 进行搜索，以确定既能减少重叠又能保持预测性能（在 2% 误差范围内）的区间。

核心贡献

• 识别差距： 本文指出，如果专家间的表示仍然重叠，那么仅靠结构化角色分解不足以保证解释的忠实度。
• 去相关机制： 引入了表示级去相关作为一种强制实现专家间更清晰专业化的机制，同时保留了原始架构和路由逻辑。
• 泛化性： 研究表明，表示分离带来的益处不仅限于显式的基于角色的架构（如 I2MoE），也适用于标准的稀疏 MoE 基准模型（如 GShardGate），这表明存在一种增强解释忠实度的通用机制。

实验结果
作者在三个多模态基准数据集上评估了其方法：ENRICO（UI 分类）、MIMIC-IV（死亡率预测）和 MMIMDb（电影类型分类）。

• 任务性能： 在所有数据集和去相关变体（Rep-Cos、Rep-CKA、Rep-Barlow）中，模型的预测性能均保持在基准模型的 2% 以内，证实了分离过程本身并不会降低效用。
• 解释忠实度： 使用基于扰动的指标（完备性 Comprehensiveness 和充分性 Sufficiency）及其 AOPC 汇总指标，去相关模型一致优于基准模型。具体而言，“识别掩码”（移除由解释所强调的特征）与“随机掩码”之间的差距增大，表明解释更好地捕捉到了决策相关的证据。
• 表示几何结构： 分析显示，正则化降低了专家之间的成对 CKA 和相关性。在若干案例中，轮廓系数（silhouette scores）有所提高，表明集群层级的分离更加清晰。
• 角色对齐： 在具有已知交互结构的合成基准测试中，通过 Rep-CKA 减少重叠提高了路由权重与地面真值（ground-truth）语义角色之间的对齐程度（例如，协同性专家在处理协同性输入时获得了更高的权重）。
• 消融实验： 消融研究表明，虽然仅靠基于角色的交互学习并不能提高相对于标准 MoE 的忠实度，且仅靠去相关也只能提供部分收益，但两者的结合产生了最高的忠实度增益。

意义与主张
论文得出结论，对于 MoE 系统而言，结构化角色分解并不是解释忠实度的充分条件。主要发现是，专家间的表示重叠成为了阻碍有效专业化的瓶颈。通过显式地利用去相关正则化来减少这种重叠，作者证明了可以在保持任务性能的同时显著提高解释的忠实度。

作者谨慎地声称，其研究结果表明表示层级的分离为增强忠实度提供了一种更通用的机制，甚至适用于缺乏显式语义角色的标准稀疏 MoE 架构。他们强调，特定去相关目标（Cosine vs. CKA vs. Barlow）的有效性因数据集和指标而异，这意味着分离程度与忠实度之间的关系受到模态结构和交互复杂性的影响。该工作支持了这样一个假设：对于基于角色的 MoE 而言，若要实现真正的可解释性，其角色的潜在表示必须在几何上是截然不同的。