💻 computer science

BALM: A Model-Agnostic Framework for Balanced Multimodal Learning under Imbalanced Missing Rates

本文提出了 BALM 这一模型无关的即插即用框架，通过特征校准和梯度重平衡两个模块，有效解决了多模态学习中因缺失率不平衡导致的优化失衡问题，显著提升了多模态情感识别等任务在不同缺失场景下的鲁棒性与性能。

原作者： Phuong-Anh Nguyen, Tien Anh Pham, Duc-Trong Le, Cam-Van Thi Nguyen

发布于 2026-03-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Phuong-Anh Nguyen, Tien Anh Pham, Duc-Trong Le, Cam-Van Thi Nguyen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 BALM 的新框架，旨在解决人工智能（AI）在处理“多模态”数据（比如同时看视频、听声音、读文字）时遇到的一个常见难题：数据缺失且缺失得不均匀。

为了让你轻松理解，我们可以把多模态学习想象成一个三人乐队在排练一首歌，而 BALM 就是那个聪明的指挥家。

1. 背景：乐队遇到了什么麻烦？

想象一下，这个乐队由三位乐手组成：

吉他手（视觉/Visual）：负责看画面。
鼓手（听觉/Audio）：负责听声音。
主唱（文本/Text）：负责读歌词。

在理想情况下，三个人都全情投入，乐队配合完美。但在现实世界中（比如网络信号不好、设备故障），经常会有人“掉线”：

问题 A（数据缺失）：有时候吉他手没来，有时候主唱嗓子哑了。
问题 B（缺失不均匀 - IMR）：这才是这篇论文要解决的核心痛点。
- 以前的研究假设：大家掉线的概率是一样的（比如每人都有 50% 概率缺席）。这就像假设吉他手、鼓手、主唱生病的概率完全一样。
- 现实情况：吉他手经常请假（视觉数据经常丢），鼓手偶尔请假，但主唱几乎全勤（文本数据很稳）。
- 后果：因为主唱总是出现，乐队（AI 模型）就过度依赖主唱。吉他手和鼓手因为出场少，没人听他们练琴，他们的水平越来越差，甚至最后完全不会配合了。乐队虽然还在唱歌，但听起来很怪，一旦主唱也偶尔失误，整首歌就崩了。

2. 解决方案：BALM 指挥家的两个绝招

BALM 就像一个经验丰富的指挥家，它不改变乐队原本的乐器（模型架构），而是通过两个“插件”模块来重新平衡训练过程：

第一招：特征校准模块 (FCM) —— “给落单乐手找参照物”

场景：吉他手（视觉）经常缺席，导致他留下的音乐片段（特征）总是断断续续，跟主唱的节奏对不上。
BALM 的做法：
- 当吉他手缺席时，BALM 不会让他干等着，而是观察其他在场乐手（比如主唱）的整体表现，提取出“全局上下文”。
- 然后，它利用这个全局信息，重新调整吉他手留下的那些断断续续的片段，把它们“校准”到和主唱一样的节奏和基调上。
- 比喻：就像给吉他手戴上了一个“智能耳机”，让他即使不在现场，也能通过耳机听到主唱的声音，从而调整自己的演奏，确保大家虽然不在同一个状态，但听起来像是在同一个频道。

第二招：梯度重平衡模块 (GRM) —— “公平分配练习时间”

场景：在训练过程中，因为主唱总是出现，乐队（模型）的“注意力”和“练习时间”（梯度更新）都给了主唱。吉他手和鼓手得到的反馈很少，进步很慢。
BALM 的做法：
- 动态监控：指挥家会时刻盯着每个乐手的进步速度。
- 抑制强者，扶持弱者：
  - 如果主唱（高频模态）已经练得很熟了，进步变慢，指挥家就减少对他的关注（降低梯度权重），防止他“霸占”舞台。
  - 如果吉他手（低频模态）因为出场少，进步很慢，指挥家就加大对他的关注（提高梯度权重），甚至强行让他多练几次，确保他跟上队伍。
- 方向修正：如果某个乐手练偏了（比如吉他手想往摇滚方向练，但乐队是流行歌），指挥家会把他拉回正确的轨道，确保所有人的努力方向是一致的。

3. 效果如何？

论文在多个情感识别数据集（比如识别视频里的人是开心还是生气）上做了测试：

结果：无论数据缺失得多么不均匀（比如视觉数据丢了 70%，文本只丢了 30%），加上 BALM 的模型都比原来的模型表现更好、更稳定。
比喻：即使吉他手经常缺席，主唱偶尔也嗓子哑了，有了 BALM 指挥，这个乐队依然能唱出和谐、动人的歌曲，不会因为某个人的缺席而彻底跑调。

总结

BALM 的核心思想就是：不要指望所有数据都完美出现，也不要让出现得多的数据“一家独大”。

它通过校准（让缺失的数据也能跟上节奏）和重平衡（让出现少的数据也能得到足够的训练机会），让 AI 模型在面对现实世界中混乱、不均匀的数据时，依然能保持强壮和稳健。这就好比一个优秀的团队，不会因为某个成员经常请假就崩溃，反而能通过协作机制，让每个人都能发挥最大价值。

论文标题

BALM：一种针对不平衡缺失率下的平衡多模态学习的模型无关框架

1. 研究背景与问题定义 (Problem)

核心问题：
现有的多模态学习（Multimodal Learning）通常假设所有模态（如音频、视觉、文本）在训练和推理过程中是完整或随机缺失的。然而，在现实世界场景中（如传感器故障、录音噪声、采集成本），不同模态往往以不同的概率缺失，这种现象被称为不平衡缺失率 (Imbalanced Missing Rates, IMR)。

现有挑战：

表示不平衡 (Representation Imbalance)： 在 IMR 设置下，某些模态（如文本）频繁出现，而另一些模态（如音频）经常缺失。这导致模型过度依赖高频模态，而低频模态的特征分布发生扭曲，破坏了跨模态的一致性。
优化不平衡 (Optimization Imbalance)： 由于缺失率不同，高频模态在训练过程中贡献了更多的梯度和样本，导致优化过程被主导模态“绑架”。低频模态接收到的监督信号不足，收敛缓慢，最终导致模型整体鲁棒性下降和泛化能力减弱。
现有方法的局限： 大多数现有方法假设共享缺失率 (Shared Missing Rate, SMR)，即所有模态以相同概率缺失。当面对真实的 IMR 场景时，这些模型性能显著下降，且缺乏针对 IMR 的专门平衡机制。

2. 方法论 (Methodology)

作者提出了 BALM (Balanced Agnostic Learning under Imbalanced Missing Rates)，这是一个模型无关 (Model-Agnostic) 的即插即用框架。它不改变骨干网络架构，而是通过两个互补模块在表示层和优化层同时解决不平衡问题。

2.1 特征校准模块 (Feature Calibration Module, FCM)

目标： 解决表示层的不平衡，对齐不同缺失模式下的单模态特征分布。
机制：
1. 全局上下文聚合： 不直接填充缺失信号，而是利用可用模态聚合全局上下文信息（Global Context）。通过平均池化计算每个模态的全局描述符，并拼接后通过全连接层提取共享的跨模态上下文。
2. 自适应重校准： 将全局上下文投影为每个模态的校准权重（Calibration Weights）。
3. 特征重缩放： 利用 Sigmoid 激活函数生成门控权重，对单模态特征进行自适应重缩放（Rescaling）。
- 效果： 即使某些模态缺失，FCM 也能利用全局信息校正剩余模态的特征分布，使其在语义空间上更加一致，为后续融合提供统一的基础。

2.2 梯度重平衡模块 (Gradient Rebalancing Module, GRM)

目标： 解决优化层的不平衡，平衡不同模态在梯度更新中的贡献。
机制： 引入轻量级的单模态预测头（Unimodal Prediction Heads），从两个维度调制梯度：
1. 分布驱动调制 (Distribution-driven)：
  - 计算单模态预测分布与多模态融合预测分布之间的 KL 散度。
  - 根据 KL 散度的变化率（学习进度）动态计算调制系数 $\mu^m$ 。
  - 逻辑： 学习较快的模态（KL 散度下降快）其梯度更新被衰减；学习较慢的模态（KL 散度下降慢）其梯度更新被增强。
2. 空间驱动调制 (Spatial-driven)：
  - 计算单模态预测梯度的方向与主多模态预测梯度方向之间的 余弦相似度。
  - 通过最小化加权余弦相似度的绝对偏差，将梯度方向重新导向平衡的多模态优化方向，防止模型过度偏向主导模态。
- 总体目标函数： 结合任务损失（Task Loss）和调制损失（Modulation Loss），动态调整超参数 $\tau$ 和 $\rho$ 来平衡两者。

3. 主要贡献 (Key Contributions)

提出了 BALM 框架： 首个专门针对不平衡缺失率 (IMR) 场景设计的模型无关插件框架，无需重新设计现有的多模态骨干网络即可集成。
双模块协同设计：
- FCM 在表示层面通过全局上下文校准特征，解决特征分布扭曲问题。
- GRM 在优化层面通过分布和空间双重调制，解决梯度主导和收敛偏差问题。
广泛的实验验证： 在多个多模态情感识别 (MER) 基准数据集（IEMOCAP, CMU-MOSEI）上进行了验证。结果表明，BALM 能显著提升各种骨干网络（如 GCNet, MMGCN, MMDFN）在 IMR 设置下的鲁棒性和性能。
理论分析： 从理论上证明了在 IMR 条件下，梯度更新与模态缺失率成线性比例关系，并推导了 GRM 如何通过逆缩放因子来恢复优化平衡。

4. 实验结果 (Results)

数据集： IEMOCAP (6 类情感) 和 CMU-MOSEI (情感分析)。
对比基线： 包括处理缺失模态的方法 (MMIN, SDR-GNN, GCNet 等)、处理不平衡的方法 (Ada2I) 以及标准 MER 骨干网络 (MMGCN, MMDFN)。
主要发现：
- 性能提升： 在多种 IMR 配置下（如 $(r_A, r_L, r_V) \in \{0.3, 0.5, 0.7\}$ 的排列组合），集成 BALM 后，所有骨干网络的准确率 (Acc) 和加权 F1 分数 (w-F1) 均有显著提升。例如，在 IEMOCAP 上，GCNet+BALM 相比原 GCNet 最高提升了 3.27% 的准确率。
- 鲁棒性： 即使在极端缺失情况（如 90% 的文本缺失）下，BALM 仍能保持性能稳定，显著优于未加平衡的基线模型。
- 通用性： BALM 不仅提升了专门针对缺失模态设计的模型，也显著提升了标准融合模型（如 MMDFN）在 IMR 下的表现，证明了其作为通用插件的有效性。
- 消融实验： 验证了 FCM 和 GRM 的互补性。单独使用 FCM 能改善特征一致性，但无法完全解决梯度不平衡；结合 GRM 后，模态间的余弦相似度增加，KL 散度更稳定，性能达到最优。

5. 意义与价值 (Significance)

填补研究空白： 现有的多模态研究多关注 SMR（共享缺失率）或完全缺失，忽视了现实中普遍存在的非均匀缺失 (IMR) 问题。BALM 首次系统性地解决了 IMR 带来的表示和优化的双重不平衡。
实用性强： 作为一个轻量级、模型无关的插件，BALM 可以无缝集成到现有的多模态系统中，无需重新训练骨干网络架构，极大地降低了部署成本。
推动鲁棒多模态学习： 该工作强调了在训练过程中动态平衡模态贡献的重要性，为构建在传感器故障、数据质量参差不齐等真实场景下依然可靠的 AI 系统提供了新的思路。

总结：
BALM 通过“特征校准”和“梯度重平衡”双重机制，有效解决了多模态学习中因模态缺失率不均导致的性能下降问题。它不仅提升了模型在极端不平衡数据下的鲁棒性，也为未来多模态系统的实际应用提供了重要的理论支持和工程方案。代码已开源。