MER-DG: Modality-Entropy Regularization for Multimodal Domain Generalization

技术摘要：MER-DG：用于多模态域泛化的模态熵正则化

问题定义：融合过拟合
本文探讨了多模态域泛化（MMDG），即多模态模型（例如音视频模型）在目标环境中部署时面临的挑战，这些目标环境的录音条件与训练源不同。作者识别出标准 MMDG 架构中的一种特定失效模式，称为融合过拟合。

在标准的端到端训练中，针对每种模态的独立编码器与融合模块联合优化，以最小化融合输出上的损失函数（例如交叉熵）。作者认为，这种联合优化导致编码器利用跨模态共现——即源于特定源录音条件的模态间统计关系（例如安静厨房中刀具声音与运动的精确同步），而非学习域不变特征。因此，编码器产生的特征仅在与其他模态的特定输出结合时才有用。当部署到具有不同条件的目标域（例如嘈杂的厨房）时，这些学习到的共现关系会失效，导致性能下降。实证分析证实，融合训练会导致编码器坍缩到低秩子空间，丢弃了能够独立泛化的特征维度。

方法论：模态熵正则化（MER-DG）
为了对抗融合过拟合，作者提出了MER-DG，这是一种与架构无关的正则化器，旨在独立最大化每个编码器特征分布的熵。核心见解在于，最大化熵可以保留特征多样性，确保在融合所需的特化过程中，域不变特征不会被丢弃。

该方法将微分熵最大化目标分解为应用于每种模态特征嵌入 $Z$ 的两个可加损失项：

1. 边际熵损失（$L_{marg}$）： 该项通过强制方差下限来防止逐维坍缩。它使用铰链损失确保每个特征维度的标准差（$\sigma_d$）保持在目标尺度（$\gamma=1$）之上，防止维度变为非活跃状态。
2. 谱熵损失（$L_{spec}$）： 该项通过最大化相关矩阵的对数行列式来最小化维度间的冗余。它鼓励特征不相关，将信息分散到独立的轴上，而不是坍缩到低维子空间。

总训练目标将基础任务损失（$L_{base}$）与所有模态的这些正则化项之和相结合：
$$L_{total} = L_{base} + \lambda \sum_{m=1}^{M} (\alpha_{marg} L_{marg}(Z^{(m)}) + \alpha_{spec} L_{spec}(Z^{(m)}))$$

主要贡献

1. 融合过拟合的识别： 本文正式识别并分析了 MMDG 中联合优化导致编码器过拟合于源特定跨模态共现而牺牲域不变特征的现象。
2. MER-DG 的提出： 作者引入了一种简单的可加正则化器，用于最大化特征熵。其设计旨在兼容任何包含独立编码器和融合模块的多模态框架。
3. 机制的实证验证： 通过广泛分析（跨域对齐、谱秩、域分类和独立编码器性能），论文证明了标准融合训练会降低编码器多样性，而 MER-DG 成功恢复了这种多样性。
4. 性能提升： 该方法在 EPIC-Kitchens 和 HAC 基准上进行了验证，显示出相对于标准融合和最新（SOTA）MMDG 方法的持续改进。

实验结果
作者在多源和单源设置下，针对四个基线（标准融合、跨模态对比、SimMMDG 和 CMRF）评估了 MER-DG。

• 多源域泛化： 在 EPIC-Kitchens 和 HAC 上，MER-DG 相比标准融合架构实现了约**5%的平均提升，相比 SOTA 方法（SimMMDG 和 CMRF）实现了2%**的提升。
• 单源域泛化： 在更具挑战性的单源设置中也观察到了类似的提升，在 HAC 数据集上针对 SimMMDG 的增益高达3.00%。
• 独立编码器恢复： 一个关键发现是，MER-DG 将各个编码器的独立性能恢复至接近独立训练的水平。例如，在 EPIC-Kitchens 上，视频编码器的域外准确率从标准融合的 56.53% 提升至 MER-DG 的 58.61%，接近独立训练的单一模态模型所达到的 59.46%。这证实了该正则化器专门对抗了由融合训练引起的特征损失。
• 消融实验： 研究发现，边际损失项和谱损失项对于最佳性能都是必要的；单独使用其中任何一项所得到的结果均不如组合方法理想。

意义与主张
本文主张，MER-DG 解决了多模态学习中的一个根本性局限：联合优化倾向于为了源特定相关性而丢弃域不变信息。通过熵最大化保留表示多样性，MER-DG 使模型在跨模态共现发生偏移时能够稳健地泛化。作者强调，该方法计算开销极小，作为可加损失项无缝集成，且不依赖特定的架构变更，使其成为提高多模态系统在现实世界部署场景中鲁棒性的实用解决方案。