🤖 machine learning

Unsupervised Learning for Missing Modalities in Multimodal Learning

本文介绍了 UL4M4，这是一个灵活的无监督框架，它通过模态特定归一化和部分模态距离度量来填补多模态学习中缺失的特征嵌入，从而即使在超过 50% 的模态缺失时也能实现稳健的、最先进的性能。

原作者： Hassan Ismkhan, Hamid Bouchahcia

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Hassan Ismkhan, Hamid Bouchahcia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解决一个复杂的谜题，比如猜一部电影的类型。通常情况下，你会拥有所有的碎片：电影海报（视觉）、剧情简介（文本），甚至可能有预告片的音频。但在现实世界中，碎片经常会丢失。也许是海报丢了，或者是音频文件损坏了，又或者是文本内容太短。

传统的 AI 模型就像是僵硬的拼图解题者：如果缺少了一个碎片，它们往往会放弃，或者给出一个糟糕的猜测。这篇论文介绍了一种全新的、灵活的方法，叫做 UL4M4（用于缺失模态的无监督学习），它就像一个聪明的侦探，能在尝试解决最终谜题之前，先填补那些缺失的拼图碎片。

以下是它的工作原理，分为几个简单的步骤：

1. 问题：“缺失碎片”的困境

在现实世界中，数据是混乱的。传感器可能失效，隐私规则可能会隐藏信息，或者文件会丢失。大多数 AI 模型假设它们总能获得完整的画面（文本 + 图像 + 音频）。当情况并非如此时，它们的性能会大幅下降。现有的解决方案试图使用复杂的数学方法来“重建”缺失的部分，但这些方法通常过于针对特定任务，或者每当缺失的碎片发生变化时，都需要重新训练 AI。

2. 解决方案：“分组与猜测”策略

作者提出了一个两步走的流程，它是任务无关的。这意味着“填补”的过程并不关心最终的目标是什么（无论是猜电影类型还是分析情绪）；它只专注于让数据变得完整。

第一步：“集体拥抱”（聚类）
想象你有一个装满了人（你的数据）的大房间，但有些人缺了左脚的鞋，有些人缺了右脚，有些人两只都缺。

与其试图让每个人都完美匹配，不如让 AI 根据他们现有的鞋子将人进行分组（聚类）。
它使用一种特殊的“距离规则”，该规则规定：“即便 A 有 3 只鞋而 B 只有 1 只，我们仍然可以公平地进行比较。”
一旦完成分组，AI 会为每个簇（Cluster）创建一个“小组化身”（Group Avatar）。这个化身代表了该组所有人的平均特征，包括他们缺失的鞋子。

第二步：“贪婪填充”（插补）
现在，想象有一个特定的个体（一个数据样本）缺少了音频鞋。

AI 会查看第一步中创建的所有“小组化身”。
它会找到那个与该个体的现有数据（例如其文本和视频）最相似的化身。
然后，它会从那个匹配的化身那里“借用”缺失的音频鞋，并把它交给这个人。
它会循序渐进地执行这一步，直到这个人拥有一套完整的鞋子（一套完整的数据）。

3. 为什么它很特别

它很灵活： 你可以拥有 2 种类型的数据（文本/图像），也可以有 5 种类型（如睡眠信号），这种方法适用于任何数量。它不需要为每一个新谜题都设计一套新方案。
它很轻量： “填补”部分使用的是冻结的、预训练好的工具（就像一个现有的知识库），不需要沉重的计算能力。它将“填补”的工作与“解决问题”的工作分离开来。
它能应对混乱： 论文在极端场景下测试了该方法，即超过 50% 的数据缺失。即使 AI 丢失了一半以上的感官，它的表现依然非常出色。

4. 结果：击败竞争对手

作者在三个非常不同的“谜题”上测试了 UL4M4：

电影类型 (MM-IMDb)： 使用海报和文本来猜测一部电影是喜剧还是剧情片。
电影情绪 (CMU-MOSI)： 使用文本、音频和视频来猜测一段电影评论是开心还是悲伤。
睡眠阶段 (Sleep-EDF)： 使用 5 种不同类型的脑电信号来确定一个人是处于清醒状态还是深度睡眠。

大获全胜：
在最困难的测试中（数据严重缺失的情况下），UL4M4 始终保持了高于 0.7 的得分（这是一个非常高的水平）。这是第一次有方法能在如此恶劣的条件下，在难度极高的“电影情绪”数据集上达到这样的表现。它击败了所有之前的“最先进”（state-of-the-art）方法，即使是那些专门为该单一任务设计的模型。

5. “秘密武器”（簇的大小）

人们可能会担心：“如果我把人分成 10 组或 100 组会怎样？这重要吗？”
论文发现，这并不重要。无论 AI 创建 20 个组还是 100 个组，结果都保持稳定。这使得该工具非常易于使用，因为你不需要成为数学天才来对其进行完美的微调。

总结

把 UL4M4 看作是一个针对缺失数据的通用翻译器。它不会让破碎的拼图停止游戏，而是观察你已有的碎片模式，找到一个相似的群体，然后自信地填补空白。这使得 AI 即使在输入数据不完整、混乱或丢失了一半部分的情况下，也能准确地解决最终问题（如预测电影的情绪）。

技术摘要：用于多模态学习中缺失模态的无监督学习 (UL4M4)

1. 问题陈述

多模态学习利用来自不同数据源（如文本、音频、视觉）的互补信息，来增强情感分析和分类等任务的鲁棒性和准确性。然而，现实世界的应用经常由于传感器故障、隐私限制或采集约束而面临模态缺失的问题。传统的多模态模型假设在训练和推理阶段所有模态都存在，这会导致在面对不完整数据时性能严重下降。

现有的解决方案通常分为两类：

生成式方法： 尝试从可用模态中重建缺失的模态（例如，通过对抗学习或扩散模型）。
非生成式方法： 学习共享表示或调整融合策略（例如，混合专家模型、检索增强学习）。

尽管取得了进展，但目前的方法面临着显著的局限性：它们通常仅支持固定数量的模态，处理特定的缺失模式（例如仅缺失一种模态），将插补机制与下游任务紧密耦合（限制了泛化性），或者在严苛的缺失数据场景下（例如缺失超过 50% 的槽位）缺乏严格的评估。

2. 方法论：UL4M4 框架

作者提出了 UL4M4（用于多模态学习中缺失模态的无监督学习），这是一个灵活且与任务无关的框架，它在进行监督预测之前对缺失的特征嵌入进行插补。该框架使用冻结的预训练编码器分两个阶段运行，确保插补模块是轻量级的，并且与下游任务解耦。

第一阶段：基于部分模态距离的多模态聚类

第一阶段在训练集上执行无监督聚类，以捕捉来自不完整观测值的跨模态结构。

模态特定归一化： 对于每个模态 $m$ ，系统计算可用嵌入的均值 ( $\mu_m$ ) 和标准差 ( $\sigma_m$ )。特征通过 z-score 进行归一化： $\tilde{z}^{(m)}_i = (z^{(m)}_i - \mu_m) / \sigma_m$ 。
部分模态距离度量： 引入了一种新的距离度量来处理具有不同可用模态集的样本。对于样本 $i$ 和聚类中心 $j$ ，距离 $d(i, j)$ 仅在共享模态集合 $M_{i,j}$ 上计算：
$d(i, j) = \sqrt{\frac{1}{|M_{i,j}|} \sum_{m \in M_{i,j}} \frac{\|\tilde{z}^{(m)}_i - \tilde{c}^{(m)}_j\|^2_2}{d_m}}$
其中 $d_m$ 是模态 $m$ 的维度。该度量确保了在不同维度之间的尺度不变性，并防止向拥有更多重叠模态的中心产生偏差。
聚类过程： 执行迭代式 K-means 聚类。聚类中心继承其初始化样本的模态。如果一个中心缺乏特定的模态，则该模态对于该中心而言仍是未定义的。

第二阶段：迭代贪婪补全

一旦建立了聚类中心，任何不完整样本的缺失模态将通过迭代贪婪过程进行插补：

候选生成： 对于样本 $i$ ，通过将样本已有的模态与来自每个（共 $k$ 个）聚类中心的对应模态相结合，创建一个候选补全集。
迭代选择： 在每次迭代中，算法计算每个剩余候选者与所有聚类中心之间的部分模态距离。
插补： 选择与中心距离最小的“候选者-中心”对。被选中的候选者中所包含的缺失模态将被复制到目标样本的表示中。
终止： 该过程重复进行，直到样本拥有所有 $K$ 个模态的嵌入。该方法保证了终止性，因为所有聚类中心的并集共同覆盖了训练数据中存在的所有模态。

下游任务训练

插补完成后，所有训练样本都拥有完整的模态集。一个融合模块（使用多头自注意力机制）结合这些表示，随后是一个任务特定的头部（例如分类或回归）。在此过程中，仅训练融合模块和头部的参数；编码器和插补的嵌入保持冻结。在推理阶段，具有缺失模态的测试样本将使用仅基于训练集统计得出的统计量，经历相同的两阶段插补过程。

3. 核心贡献

论文强调了五个主要贡献：

任意模态支持： 该框架支持具有任意数量输入模态的数据集，无需重新设计架构。
任意缺失模式： 它能处理样本层级的任何模态缺失组合，包括超过 50% 槽位缺失的极端情况。
任务无关的插补： 无监督插补阶段与监督任务解耦，允许该组件被复用或扩展到其他多模态问题。
严格的评估： 在高度不完整的机制下进行了实验，此类机制的缺失模态槽位经常超过 50%。
最先进的性能： 在具有挑战性的多模态情感分析任务中，该方法在各种缺失配置下实现了一致的 F1-Micro 分数高于 0.7。

4. 实验结果

作者在三个多样化的基准测试上评估了 UL4M4：MM-IMDb（电影类型分类）、CMU-MOSI（多模态情感分析）和 Sleep-EDF（多导睡眠脑电分期）。

性能： UL4M4 在所有数据集和缺失配置下，始终优于强有力的基线模型（包括 M3Care, ShaSpec, ICL-CA, SimMLM 以及特定任务的 MissModal）。
- 在 MM-IMDb 上，在所有缺失模式下均取得了显著更高的 F-Micro 分数（例如，0.92 对比次优模型的 ~0.58）。
- 在 CMU-MOSI 上，即使在超过 50% 的模态槽位缺失时，它也能稳定实现 0.7 以上的 F1-Micro 分数，而其他方法在此阈值下表现挣扎。
- 在 Sleep-EDF（5 个模态）上，它展示了随着缺失率增加而表现出的平滑退化，在高度缺失的机制中优于基线。
统计显著性： 通过 t 检验和 Wilcoxon 符号秩检验确认了差异具有统计学意义。
对超参数的鲁棒性： 该方法在聚类数量 ( $k$ ) 方面表现出卓越的稳定性。性能在 $k$ 值从 10 到 100 的范围内保持一致，表明不需要进行精细的 $k$ 值调优。
定性分析： 插补嵌入的 t-SNE 可视化显示，生成的特征与真实分布紧密重叠，保留了真实的语义结构。

5. 重要性与主张

论文声称 UL4M4 代表了处理现实世界不完整多模态数据方面的重大进步。其主要意义在于其通用性和鲁棒性：

它提供了一种统一的表示策略，不依赖于特定任务的归纳偏置或复杂的生成模型。
它是首个据报道在严苛的缺失模态条件下，能在挑战性的 CMU-MOS_I 基准测试上实现一致 F1-Micro 分数高于 0.7 的方法。
通过将插补与下游任务解耦，它提供了一个轻量级的、即插即用的解决方案，可以集成到任何融合架构中，使其非常适用于异构且不可靠的现实环境，在这些环境中无法保证数据的完整性。

作者总结道，UL4M4 为处理缺失模态设定了新的参考标准，提供了一种即使在大部分输入数据缺失时也能保持高性能的可扩展解决方案。