🤖 machine learning

Beyond Modality Fusion: Deep Ensembles for Multimodal Classification

本文通过提出一种可扩展的模型分配启发式方法，并在合成数据集和真实世界数据集上验证了这些发现，证明了单模态网络的深度集成在模态不平衡的情况下，能够优于最先进的后期融合和中期融合多模态分类方法。

原作者： Ilya Burenko, Dmitry Vetrov

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Ilya Burenko, Dmitry Vetrov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解开一个困难的谜题。你有两支不同的专家团队在协助你：一支擅长观察图像（视觉），另一支擅长倾听声音（音频）。

长期以来，解决这个谜题的标准方法是构建一个单一的“超级大脑”，试图同时从两支队伍中学习。这个超级大脑会获取图像团队的笔记和声音团队的笔记，将它们粘合在一起，然后试图找出答案。

然而，这篇论文的作者们发现了这种“超级大脑”方法存在的一个问题。如果图像团队经验非常丰富，而声音团队还在学习阶段，超级大脑往往会完全忽略声音团队。它会被来自图像团队的简单答案所分心，从而停止倾听声音团队，导致最终的总分甚至比只听从图像团队时的得分还要差。

新的想法：“专家委员会”

他们并没有构建一个巨大的大脑，而是提出了一种不同的策略：专家委员会。

想象一下，你不是建立一个巨大的大脑，而是聘请了一群规模较小的、专业化的脑。

你聘请了几位“图像大脑”，他们只观察图像。
你聘请了几位“声音大脑”，他们只倾听音频。
你独立地训练每一个大脑。在学习过程中，它们从不互相交流；它们只是专注于各自特定的工作。

当需要解决谜题时，你会询问委员会中的每一位大脑的意见。然后，你取所有答案的平均值来做出最终决定。

他们发现了什么？

论文进行了许多实验（就像一场大型科学博览会）来测试哪种方法更好：是“超级大脑”（后期融合）还是“专家委员会”（深度集成）。

委员会胜出： 在几乎所有的测试中，专家委员会都击败了超级大脑。即使当声音团队比图像团队弱得多时，委员会的表现依然更好。
“厨师太多”的问题： 当其中一支队伍比另一支强得多时，超级大脑经常会感到困惑。它试图讨好所有人，但结果却谁也没讨好。委员会避免了这个问题，因为每个专家都被允许在不被迫进行训练期间妥协的情况下，成为其特定领域的佼佼者。
规模化扩展：
- 小型委员会： 如果你只有一个很小的委员会（例如，2名专家），那么聘请来自更强团队（例如，两名图像大脑）的专家，实际上比将他们与较弱的团队混合在一起效果更好。
- 大型委员会： 当你聘请更多专家（扩大规模）时，加入来自较弱团队的专家就会变得有利。这些“较弱”的专家能提供足够的额外信息来提高平均分，但前提是委员会足够大，能够容纳他们。
一个简单的经验法则： 作者们创建了一个简单的数学公式（启发式算法），可以准确地告诉你应该从每支队伍中聘请多少专家。你不需要猜测或进行昂贵的测试；只需观察每支队伍各自的表现，公式就会告诉你完美的组合比例。

“合成游乐场”

为了证明这不仅仅是一个偶然现象，作者们构建了一个“合成游乐场”。想象一下，在一个他们可以人工控制图像团队与声音团队水平差异的视频游戏中。

他们在游戏中测试了他们的“委员会”策略。
他们在真实世界的数据上（如识别视频中的情绪或文本中的讽刺）进行了测试。
结果： 委员会策略在游戏和现实世界中都表现出色。

核心结论

论文得出结论：我们并不总是需要强迫不同类型的数据（如文本和图像）合并到一个复杂的单一模型中。有时，最好的方法是将它们分开，针对每种类型的数据训练许多独立的模型，然后只需让它们对最终答案进行投票。

这种“投票”方法不仅更准确，而且当一种类型的数据更难学习时，也更容易管理。事实证明，一群专门的、独立的思考者往往比一个庞大的、过度劳累的通才能更好地解决问题。

技术摘要：超越模态融合：用于多模态分类的深度集成

问题陈述

在多模态分类中，标准方法是采用“后期融合”（late-fusion）网络，即通过连接由单模态神经网络提取的特征并将其传递给联合分类器。然而，当存在显著的模态不平衡（即一个模态比另一个模态更具预测性或收敛更快）时，朴素的后期融合网络往往表现不如表现最好的单模态基准模型。这种现象的发生是因为优化过程倾向于对收敛较慢（较弱）的模态进行欠探索，从而导致次优的特征提取。虽然已经提出了各种正则化技术（如梯度调制、损失正则化）来平衡学习，但在后期融合设置中组合单模态特征的最优方法仍然是一个悬而未决的问题。

方法论

作者提出了一种替代显式模态融合的方法：异构深度集成（Heterogeneous Deep Ensembles, HeDEs）。HeDEs 并非训练单个网络来融合特征，而是由在不同模态上独立训练的多个单模态网络组成。最终的预测是通过平均这些独立模型的输出逻辑值（logits）获得的。

关键方法组成部分包括：

集成构建： 对于一个双模态数据集，作者在模态 1 上训练 $n_1$ 个分类器，在模态 2 上训练 $n_2$ 个分类器。集成预测是所有 $N_{ens} = n_1 + n_2$ 个逻辑值的平均值。当 $n_2=0$ 时，这可以简化为同构深度集成（Homogeneous Deep Ensemble, HoDE）。
模型分配启发式算法： 为了避免针对每个模态的最佳模型数量（ $n_1, n_2$ ）进行计算昂贵的穷举搜索，作者提出了一种基于单模态分类器验证损失（ $l_i$ ）的启发式算法。模态 $i$ 的模型数量与 $1/l_i$ 成正比：
$n_i = \text{round}\left( N_{ens} \frac{1/l_i}{\sum_j 1/l_j} \right)$
该启发式算法预测，在极端不平衡的情况下，小规模时倾向于使用强模态的同构集成更为理想，而随着集成规模的扩大，异构集成将变得最优。
合成数据集框架： 为了系统地研究模态不平衡，作者引入了一种合成构建方法。从一个单模态数据集开始，将其拆分为不重叠的子集以创建双模态（或三模态）对。通过改变这些子集的大小，他们可以控制每个模态的预测强度和收敛速度，从而允许训练过参数化网络，以观察在以往合成基准测试中未曾出现的优化挑战。
缩放法则（Scaling Laws）： 作者拟合了集成测试损失随规模（ $N$ ）和比例（ $\theta$ ）变化的幂律，证明了集成性能的渐近性能可以从单个单模态模型的损失中进行预测。

核心贡献

深度集成的优越性： 本文证明，单模态网络组成的深度集成在一致性上优于现有的先进后期融合方法（包括旨在处理不平衡的 OGM-GE、MMPareto 和 InfoReg）、中层融合技术（MMTM、交叉注意力）以及混合方法（I2M2）。即使在比较等参数量的模型时，这一结论依然成立。
验证了分配启发式算法： 作者提出的用于选择每种模态模型数量的启发式算法在合成数据集和真实世界数据集中得到了实证验证。它正确地预测了随着集成规模扩大，从同构集成向异构集成过渡的过程，特别是在极端模态不平衡的情况下。
合成多模态框架： 作者提供了一种合成数据集构建方法，可以独立控制模态的数量及其预测强度。该框架揭示了实践中观察到的优化挑战（例如后期融合中较弱模态的快速收敛），而之前的合成基准未能复现这些挑战。
集成缩放法则： 研究确立了缩放法则，表明异构深度集成的渐近测试损失可以可靠地从单模态模型损失中预测，这表明单模态验证指标足以估算集成性能，而无需训练完整的集成模型。

实验结果

作者在以下数据集上评估了其方法：

合成数据： CIFAR-100 和 ImageNet-1K 的双模态和三模态拆分。
真实世界数据： CREMA-D（音视频）、Sarcasm（文本-视觉）和 Kinetics-400（音视频）。

主要发现：

性能： 在所有数据集和不平衡水平下，HeDEs 的表现均优于所有后期融合基准、中层融合网络和混合模型。
不平衡动态： 在极端不平衡和小规模集成下，HoDEs（仅使用较强模态）的表现优于 HeDEs。然而，随着集成规模的增加，HeDEs 始终超越了 HoDEs 和后期融合方法。
启发式算法准确性： 所提出的启发式算法在几乎所有测试配置中都能准确预测最优的模态分配，其结果与暴力搜索的结果相比误差极小。
校准： HeDEs 中的逻辑值平均法实现了经过良好校准的预测，无需事后校准，且通常优于概率平均法。
成本： 虽然训练 HeDEs 需要训练多个独立的模型，但其推理成本与具有相等参数量的后期融合网络相当。其训练过程是完全可并行的。

意义与主张

本文声称，显式的模态融合对于有效的多模态分类并非严格必要。相反，通过单模态模型的独立训练集成，可以捕捉到多模态数据的益处。作者认为，他们的方法为复杂的融合架构提供了一个鲁棒且参数高效的替代方案，特别是在存在模态不平衡的场景中。

这项工作表明，后期融合优化中的“贪婪”本质（即经常导致忽视较弱模态）可以通过深度集成的独立训练和聚合策略来规避。此外，能够仅利用单模态验证损失来预测集成性能和最优组合，为资源受限的多模态学习提供了实用的工具。

作者保持了谦逊的态度，承认尽管其发现在一系列不同数据集上是一致的，但分配启发式的理论基础尚不明确，且仍需在更广泛的融合技术和大规模多模态模型上进行更多评估。他们还指出，其合成构建是类别对齐（class-aligned）而非实例对齐（instance-aligned）的，尽管他们认为所研究的现象（泛化和收敛速率）在这一设置中得以保留。