🤖 machine learning

Towards Multimodal Active Learning: Efficient Learning with Limited Paired Data

该论文提出了首个面向未对齐数据的多模态主动学习框架，通过一种结合不确定性、多样性且具备模态感知能力的线性时间算法，有效解决了现代多模态流程中高成本跨模态对齐的标注瓶颈问题，在显著降低标注成本的同时保持了模型性能。

原作者： Jiancheng Zhang, Yinglun Zhu

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiancheng Zhang, Yinglun Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何“聪明地”给 AI 喂数据的故事，特别是当这些数据是“乱序”的时候。

为了让你更容易理解，我们可以把训练一个多模态 AI（比如能看懂图又能读懂字的 AI）想象成教一个刚来的实习生（AI）认识世界。

1. 背景：传统的“笨”教法和现在的“乱”数据

以前的做法（单模态学习）：
想象你给实习生看一张苹果的照片，然后告诉他：“这是苹果”。或者给他看一段文字“苹果”，告诉他：“这是苹果”。这很简单，因为图片和文字是已经配对好的（就像一本带图识字书，图和字在一页上）。
- 痛点： 这种“带图识字书”太贵了！找专家把每一张图和每一段话都精准配对，需要花很多钱和时间。
现在的困境（多模态未对齐数据）：
现在互联网上有很多散落的素材：
- 左边有一堆照片（比如 100 万张图）。
- 右边有一堆文字（比如 100 万段描述）。
- 但是！ 它们没有配对。你不知道哪张图对应哪段话。
- 挑战： 如果我们要教 AI，不能直接给散乱的图或文，必须人工去配对（比如告诉 AI：“这张图对应这段文字”）。如果要把 100 万张图和 100 万段文字两两配对，工作量是天文数字（100 万 x 100 万），根本做不完。

2. 核心问题：如何用最少的钱，配出最对的“图 - 文”？

这就引出了论文的核心：多模态主动学习（Multimodal Active Learning）。

传统的做法是：随机挑一些图，随机挑一些文，让人工去配对。这就像蒙着眼睛在两个大仓库里随机抓东西配对，效率极低，配对了 100 对可能只有 10 对是真正有用的。

这篇论文提出了一种**“聪明的配对策略”，就像是一个经验丰富的图书管理员**，他知道该先配哪本书，怎么配最省力。

3. 他们的“聪明策略”：三步走

这个策略就像是在玩一个**“找不同” + “找重点” + “找盲区”**的游戏：

第一步：选战场（模态选择）

比喻： 想象你有两个仓库，一个堆满了图，一个堆满了字。
做法： 管理员会先看看，AI 目前对哪个仓库的东西更“陌生”？
- 如果 AI 已经认识了很多图，但很少认识文字，那就优先从文字仓库里挑，或者反过来。
- 目的： 哪里薄弱补哪里，避免在 AI 已经懂的地方浪费时间。

第二步：挑代表（核心集构建）

比喻： 假设你要从 100 万张图里挑出 100 张让人工去配对。如果你随便挑，可能挑了 100 张都是“猫”，那 AI 就学不会“狗”了。
做法： 管理员会先挑出最有代表性的 100 张图（比如：有猫、有狗、有树、有车，且互不重复）。这叫做“核心集”（Coreset）。
目的： 确保覆盖面广，不要重复劳动。

第三步：抓难点（不确定性选择）

比喻： 在这 100 张代表图里，AI 自己会先“猜”一下它们可能对应什么文字。
- 如果 AI 看着一张“狗”的图，心里想：“这肯定是狗，99% 确定”，那这张图就不需要人工费心了。
- 如果 AI 看着一张图，心里想：“这到底是猫还是狗？或者是狐狸？我好纠结，完全没把握”，那这张图就是最有价值的！
做法： 专门挑出那些AI 最纠结、最不确定的图，让人工去配对。
目的： 哪里不会学哪里。

4. 为什么这个方法很牛？

省钱（效率极高）：
论文说，用这个方法，在 ColorSwap 数据集上，只需要原来 60% 的配对工作量，就能达到和原来一样好的效果。换句话说，省了 40% 的钱。
- 比喻： 以前你要配 1000 对图文才能教会 AI，现在只需要配 600 对，而且教得一样好。
不迷路（双向对齐）：
以前的方法只能“看图找字”或者“看字找图”。这个方法很灵活，它会根据情况决定是“看图找字”还是“看字找图”，就像导游会根据路况决定走哪条路。
算得快（线性时间）：
如果 naive（笨拙）地去算所有图配所有字，计算量是巨大的（平方级）。但这个方法通过“先挑代表，再算难点”，把计算量降到了线性，就像从“遍历整个图书馆”变成了“只查目录”，速度快得多。

5. 总结：这解决了什么实际问题？

想象一下自动驾驶或医疗影像领域：

我们有海量的X 光片（图像）和医生报告（文字）。
但是，X 光片和报告是分开存的，没有一一对应。
让专家去把每一张图和每一段报告配好，既贵又慢。

这篇论文提供的工具，就是告诉专家：“别瞎忙了！先挑出那些最模糊、最典型的片子，让专家只配这几张。剩下的，AI 自己就能学会举一反三。”

一句话总结：
这就好比教孩子认字，不要拿着字典从头背到尾，而是先观察孩子哪里不懂（模态选择），挑出最有代表性的生字（核心集），然后专门攻克那些让他最困惑的字（不确定性选择）。这样，用最少的时间，就能让孩子学会最多的知识。

这篇论文提出了一种针对**非对齐多模态数据（Unaligned Multimodal Data）**的主动学习（Active Learning, AL）新框架，旨在解决多模态学习中高质量跨模态对齐数据获取成本高昂的瓶颈问题。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem Setting)

背景痛点：现有的主动学习算法主要针对单模态数据（查询特征对应的标签）或预对齐的多模态数据（查询已对齐的图文对的标签）。然而，在现代多模态流水线（如 CLIP、SigLIP）中，获取单模态特征（图像或文本）相对廉价且容易，但高质量的人工跨模态对齐（即确定哪张图对应哪段文本）极其昂贵且耗时，这成为了真正的瓶颈。
新设定：论文引入了**“非对齐多模态主动学习”**（Multimodal Active Learning with Unaligned Data）这一新设定。
- 输入：学习者拥有独立的图像特征集合 $\{x^v_i\}$ 和文本特征集合 $\{x^l_i\}$ ，两者初始未对齐。
- 任务：学习者必须主动选择并支付标注成本，以揭示跨模态的对应关系（即决定哪张图配哪段文）。
- 核心挑战：
  1. 双向对齐（Bidirectional Alignment）：标注可以从“图到文”或“文到图”任意方向开始，不同的选择会导致不同的标注集和学习轨迹。
  2. 巨大的跨模态候选空间（Large Cross-modal Candidate Space）：评估一个样本的效用需要将其与另一模态的所有潜在候选者进行匹配。若暴力计算所有图文对的得分，复杂度为 $O(|D|^2)$ ，在大规模数据集（如 DataComp 的 1280 万样本）上不可行。

2. 方法论 (Methodology)

论文提出了一种名为 Algorithm 1 的新算法，结合了**不确定性（Uncertainty）和多样性（Diversity）原则，并采用了模态感知（Modality-aware）**的设计。该算法适用于基于池（Pool-based）和基于流（Streaming-based）两种场景，且时间复杂度为线性。

算法在每一轮迭代 $t$ 中执行以下三个核心步骤：

模态选择（Modality Selection）：
- 目标：决定当前是从图像模态还是文本模态发起查询。
- 策略：计算当前未标注数据在特征空间中相对于已标注数据的覆盖度。选择覆盖度最低（即距离已标注数据最远）的模态 $k_t$ 进行下一步处理。
- 公式： $d^k_t = \max_{z_i \in \phi(D^k_t)} \min_{z_j \in \phi(S^k_{t-1})} \text{dist}(z_i, z_j)$ ，选择 $d^k_t$ 最大的模态。
核心集构建（Coreset Construction）：
- 目标：在选定的模态 $k_t$ 中，从海量未标注数据中筛选出一个小型核心集 $C$ ，以代表整个未标注数据的分布。
- 策略：使用贪心算法构建核心集，最大化核心集与已标注数据对未标注数据的覆盖度。
- 作用：将后续的不确定性评估范围从整个数据集缩小到核心集，从而避免 $O(|D|^2)$ 的复杂度。
基于不确定性的选择（Uncertainty-based Selection）：
- 目标：从核心集 $C$ 中选出最“不确定”的 $B$ 个样本进行标注。
- 策略：计算**边缘分数（Margin Score）**作为不确定性度量。
  - 对于核心集中的每个样本 $x^{k_t}$ ，计算其与另一模态所有未对齐特征的相似度向量 $w$ 。
  - 不确定性分数 $u(x) = w^{(1)} - w^{(2)}$ ，即最高相似度与次高相似度之差。
  - 逻辑：边缘分数越小，说明该样本在另一模态中有多个相似的候选者，模型难以确定其正确配对，因此不确定性最高，最具标注价值。
- 执行：选择边缘分数最低（不确定性最高）的 $B$ 个样本，获取其真实对齐关系，更新标注集 $S_t$ ，并重新训练模型。

复杂度分析：

通过核心集策略，每轮数据获取的复杂度从暴力方法的 $O(|D|^2)$ 降低到 $O(|D|)$ （线性时间），使得在大规模数据集上应用成为可能。

3. 主要贡献 (Key Contributions)

问题定义创新：首次提出了“非对齐多模态主动学习”问题，明确了其与单模态 AL 及预对齐多模态 AL 的本质区别（需同时决策查询模态方向和对齐策略）。
算法设计：开发了一种结合不确定性和多样性的模态感知算法。该算法不仅解决了双向对齐的决策问题，还通过核心集机制高效处理了巨大的跨模态搜索空间，实现了线性时间复杂度。
实验验证：在多个基准数据集（ColorSwap, MS-COCO, DataComp）上进行了广泛实验，证明了该方法在保持性能的同时显著降低了标注成本。

4. 实验结果 (Results)

数据集：
- ColorSwap（池化设置）：评估物体 - 颜色匹配。
- MS-COCO（流式设置）：大规模图文检索。
- DataComp（流式设置）：1280 万样本，评估 38 个下游任务。
性能提升：
- 标注成本降低：在 ColorSwap 数据集上，该方法仅需 15% 的对齐数据即可达到随机采样（Random）在 25% 数据下的性能，标注成本降低了 40%。
- 流式学习表现：在 MS-COCO 上，使用 20% 数据达到了其他基线方法 25% 数据的性能（成本降低 20%）。
- 大规模扩展性：在 DataComp 上，使用 250 万对数据（约 20%）达到了全量数据（1280 万对）性能的 87.8%，而基线方法 Coreset 仅达到 85.68%。
鲁棒性：
- 在不同模型架构（CLIP, SigLIP, LiT）和不同规模下均表现优异。
- 在存在缺失数据（如一半图像缺失）的噪声设置下，该方法仍保持最佳性能。
消融实验：
- 证明了模态选择策略（动态选择覆盖度低的模态）优于固定模态或随机选择。
- 证明了边缘分数能有效区分正确匹配和错误匹配的样本（错误匹配样本的不确定性更高）。
- 证明了多样性（核心集）与不确定性的结合是关键，纯不确定性方法容易选择冗余样本。

5. 意义与影响 (Significance)

解决核心瓶颈：该方法直接针对多模态学习中“对齐成本高”这一核心痛点，提供了一种无需预对齐即可高效构建多模态模型的策略。
可扩展性：线性时间复杂度使得该方法能够应用于 Web 规模的多模态数据（如 DataComp），为大规模预训练模型的训练提供了新的数据筛选思路。
通用性：虽然目前主要针对视觉 - 语言任务，但框架设计可自然扩展至包含音频等更多模态的场景，甚至流式数据场景。
未来方向：论文指出当前方法主要适用于对比学习（Representation Learning），未来可探索将其扩展至多模态生成式学习（Generative Learning）等范式。

总结：这篇论文通过引入“非对齐多模态主动学习”的新范式，并设计了一种高效的模态感知算法，成功地在大幅降低标注成本（最高 40%）的同时保持了模型性能，为构建大规模、低成本的多模态 AI 系统提供了重要的理论依据和技术方案。