🤖 machine learning

Learning Subset-Shared Invariances for Domain Generalization with Mixture-of-Experts

本文提出了一种领域泛化框架，该框架通过混合专家架构实现了“子集共享不变性”，从而取代了全局不变性的限制性假设，通过建模仅在特定领域子集中保持稳定的预测结构，进而提升了对未见目标的泛化能力。

原作者： Tien-Hung Nguyen, Tien-Dat Tran, M. -Duong Nguyen, Kok-Seng Wong

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Tien-Hung Nguyen, Tien-Dat Tran, M. -Duong Nguyen, Kok-Seng Wong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“一刀切”的陷阱

想象一下，你正在训练一个机器人来识别动物。你给它展示了来自三个不同“世界”的照片：

世界 A： 大草原上真实狮子的照片。
世界 B： 狮子的卡通画。
世界 C： 黑白素描稿。

传统的 AI 方法试图寻找一条单一的规则，使其能同时适用于这三个世界。它们会说：“要成为一只狮子，必须拥有鬃毛、尾巴和特定的鼻子形状，无论你是照片、卡通还是素描。”

论文指出，这种方法是有缺陷的。这就像是试图把方榫头塞进圆孔里。

在照片世界中，机器人可能会学习到“金色的毛发”是一个关键特征。
在素描世界中，“金色的毛发”并不存在；只有“线条”才是重要的。
如果机器人试图找到一条既符合“金色毛发”又符合“线条”的完美规则，它就会感到困惑。它可能会完全忽略毛发（因为素描里没有毛发），或者忽略线条（因为照片里没有线条）。

作者将此称为**“全局不变性”（Global Invariance）**问题。通过强迫 AI 在每一个不同的世界中都保持完美的连贯性，它会不小心丢弃掉那些只存在于某些世界中的有用线索。随着不同的世界越来越多，机器人识别动物的能力反而会下降，因为它试图变得过于“完美”。

解决方案：“专家团队”（MESSI）

与其让一个机器人试图成为全才，作者提议使用一个协作的专家团队，称为 MESSI（具有子集共享不变性的混合专家模型）。

把 MESSI 想象成一个餐厅厨房，里面有一位主厨（路由程序/Router）和几位专门负责不同领域的厨师（专家/Experts）。

路由程序（主厨）： 当订单进来时（一张新图片），主厨会观察它并决定：“这看起来像是一张素描。我会把它交给素描专家。这看起来像是一张照片。我会把它交给照片专家。”
专家（专业人员）：
- 专家 1 只向照片和卡通学习。他们对齐自己的规则，以确保他们在处理这两个世界时，对“狮子长什么样”达成共识。他们忽略素描。
- 专家 2 只向素 Sketch 和卡通学习。他们为这两个世界对齐规则。
- 专家 3 可能会处理另一种不同的组合。

神奇之处在于： 系统并不强迫专家 1 与专家 2 达成一致。它只要求专家们在被分配到的特定世界组内达成一致。这样一来，“金色毛发”的规则在照片专家那里得以保留，而“线条”的规则在素로专家那里也被保留了下来。

实际运作方式

论文引入了几个巧妙的机制来让这个团队高效运转：

基于路由条件的对齐（Routing-Conditioned Alignment）： 系统不仅仅是靠猜测来决定哪个专家处理哪张图片。它学会了表达：“对于这个特定类型的狮子，在这一特定世界中，专家 A 是最佳匹配。”它创建了一个“软映射”，让不同的专家处理数据的不同“子集”。
保持诚实（防止偷懒）： 为了确保专家们不会变得懒惰并做完全一样的事情（否则就失去了意义），系统设置了一个“多样性损失（Diversity Loss）”。这就像一位经理告诉厨师们：“你们两个做的食谱完全一样。试着找一种不同的方法来解决问题！”这确保了每个专家都能学习到独特且有用的技能。
负载均衡： 系统还会确保没有哪个专家会被压垮，同时也不会有其他专家闲置。它确保工作被公平地分配出去。

实验结果：为什么它更好

作者在标准的 AI 基准测试（例如识别不同风格的图像对象）上进行了测试。

旧方法： 随着加入不同类型的图像（更多的“世界”）越来越多，传统的 AI 表现越来越差。这就像试图说一种融合了英语、法语和日语的完美混合语言——最后听起来就像是在胡言乱语。
MESSI 方法： 随着世界的增加，MESSI 依然保持强劲。因为它没有强求一个僵化的单一规则，所以它可以进行适应。它意识到：“好吧，对于这组图像，我使用规则 A。对于那组，我使用规则 B。”

核心总结

这篇论文的核心信息很简单：不要强迫 AI 去寻找一条适用于所有地方的完美规则。

相反，让 AI 明白世界是由不同的“社区”组成的。在某些社区，适用 certain 规则；在其他社区，则适用不同的规则。通过使用一个仅在各自特定社区内达成共识的专家团队，AI 在遇到全新的、未见过的世界时，会变得更加聪明且更具鲁棒性。

这就是“博而不精的通才”与“深耕特定领域的专家团队”之间的区别。

技术摘要：通过混合专家模型学习子集共享不变性以实现领域泛化

1. 问题陈述

领域泛化（Domain Generalization, DG）旨在训练能够在不接触目标数据的情况下，从一个或多个源领域泛化到未见目标领域的模型。主流的 DG 方法依赖于学习领域不变表示，通常是通过强制使条件分布 $P(Z|Y)$ 在所有源领域之间保持一致。诸如特征对齐、不变风险最小化（IRM）和梯度匹配等方法，其运作逻辑都基于一个假设：存在一个全局共享的预测结构。

然而，作者认为这一假设往往过于严苛。在现实场景中，领域之间可能仅在预测结构上存在部分重叠；某些特定特征在某些领域中是稳定的，但在其他领域中则会发生变化。强制执行全局不变性，在面对不断增加的异构领域时，会逐步限制可行的表示空间。理论分析和实证观察（图 1）表明，随着源领域数量的增加，所学表示与标签之间的互信息（ $I(Z; Y)$ ）呈单调下降趋势。因此，那些仅在特定领域子集中保持稳定的价值预测因子会被丢弃，从而导致在领域异构性较高时泛化性能下降。

2. 方法论：MESSI

为了解决全局不变性的局限性，本文提出了 MESSI（用于子集共享不变性的混合专家模型）。其核心假设是，不变结构应当被建模为子集共享而非全局共享。该方法采用**混合专家（Mixture-of-Experts, MoE）**架构来学习领域关系的结构化分解。

2.1 架构

MESSI 利用一个共享的主干编码器（如 DeiT）以及一个路由网络和多个专家网络：

共享编码器： 生成特征表示 $u = b_\phi(x)$ 。
路由网络： 计算专家上的软分布 $\pi(x) = \text{softmax}(g_\theta(u))$ ，有效地近似一个潜在的子集变量 $S$ 。
专家网络： 每个专家 $m$ 生成特定的表示 $z^{(m)} = h_m(u)$ 。
聚合： 最终表示为加权和 $z(x) = \sum \pi_m(x) z^{(m)}$ ，允许对子集不变组件进行自适应组合。

2.2 训练目标

模型通过优化复合损失函数（公式 5）进行训练：
$\mathcal{L} = \mathcal{L}_{cls} + \lambda_{ssi}\mathcal{L}_{OT}^{ssi} + \lambda_{sp}\mathcal{L}_{sp} + \lambda_{bal}\mathcal{L}_{bal} + \lambda_{div}\mathcal{L}_{div}$

路由调节的子集对齐 ( $\mathcal{L}_{OT}^{ssi}$ )： 该方法并非对齐所有领域对，而是选择性地实施不变性约束。对于每个专家 $m$ ，仅在专家对特定类别 $c$ 具有高路由责任感的领域对 $(i, j)$ 之间，对类条件特征分布进行对齐。对齐权重 $a_{ijc}^{(m)}$ 由路由概率导出。差异度使用最优传输（Optimal Transport, OT）（或 MMD 变体）进行衡量，并由这些路由质量进行加权。这创造了一种“路由诱导的不变性”，使模型能够学习到不变性应该在何处成立。
专家专业化 ( $\mathcal{L}_{div}$ )： 为了防止专家坍缩为冗余的表示，多样性正则项通过最小化不同专家特征方向之间的余弦相似度来实现。
置信且平衡的路由 ( $\mathcal{L}_{sp}, \mathcal{L}_{bal}$ )：
- $\mathcal{L}_{sp}$ 鼓励实例层面的稀疏路由（低熵），确保每个样本激活特定数量的专家。
- $\mathcal{L}_{bal}$ 确保数据集层面的专家利用平衡，防止少数专家主导流量。

3. 主要贡献

本文概述了三个主要贡献：

识别了根本性局限： 作者证明了强制执行全局不变性会降低预测信息量。他们引入了子集共享不变性，将 DG 重新定义为一个学习结构化、子集相关不变性的问题，而非单一的全局不变表示。
基于路由的 MoE 框架： 他们提出了一种利用路由来诱导数据驱动的领域关系分解的方法。通过仅针对其服务的领域子集对齐专家，该方法实现了选择性的不变性强制执行，从而能够在无需显式子集标签的情况下，实现不变组件的自适应组合。
实证验证： 该方法在标准基准测试上展示了改进的领域外泛化能力，特别是在面对异构领域偏移以及源领域数量增加的情况下。

4. 实验结果

实验在标准 DG 基准测试（DomainBed: PACS, OfficeHome, TerraIncognita, DomainNet）以及一个旨在测试领域增长的受控旋转彩色 MNIST 数据集上进行。

标准基准测试： MESSI（特别是使用 OT 的 DeiT-S/16 变体）在 DomainBed 上达到了最先进的平均准确率（66.2%），优于强基准模型，包括 ERM、CORAL、Fishr、SAGM 以及其他基于 MoE 的方法（如 GMoE 和 OMoE）。
对领域增长的鲁棒性： 在固定预算的领域增长协议下的旋转彩色 MNIST 数据集上，MESSI 表现出了卓越的鲁棒性。虽然全局对齐方法（如 CORAL）随着源领域数量的增加而出现性能下降（由于过度约束），但 MESSI 保持了较高的准确率，其下降幅度极小（仅下降 1.86%，而表现最好的 CORAL 变体下降了 2.58%）。
消融实验：
- 移除子集调节对齐（ $\mathcal{L}_{ssi}$ ）会导致最大的性能下降，证实了它是关键组件。
- 移除多样性或路由正则项会导致专家冗余和路由弥散，从而降低性能。
- 与对照组（Global-MoE, Random-Subset-MoE）的比较表明，MESSI 学习到的是一种独特的对齐结构，而非仅仅是使全局目标稀疏化。
效率： 虽然基于 OT 的变体增加了训练开销（约为 ERM 时间的 12.39 倍），但 MMD 变体将其降低至约 4.24 倍。推理成本与其他 MoE 方法相当。

5. 重要性与主张

本文主张领域泛化应超越强制执行单一全局不变性的范式。相反，作者认为预测结构本质上是子集相关的。

理论洞察： 本研究通过互信息分析提供了理论依据，解释了为什么全局不变性在领域异构性增加时会失效：它迫使模型丢弃那些并非普遍共享的预测因子。
实际意义： 通过在领域子集间建模部分共享的结构，MESSI 实现了更强的鲁棒性。路由机制允许模型直接从数据中发现这些子集，而无需显式的子集标签或预定义的领域分组。
局限性： 作者谦虚地承认，该方法依赖于路由器的专业化能力；如果源领域较少或类别覆盖不平衡，路由信号可能会产生噪声。此外，特别是使用最优传输时，成对对齐的计算成本高于标准的全局对齐方法。

总之，MESSI 提供了一种保留并组合子集级不变性的机制，这表明领域泛化的未来在于结构化、自适应的分解，而非统一的全局对齐。