🤖 machine learning

Multimodal Data Curation Through Ranked Retrieval

本文提出了一种包含对称核子采样和专家嵌入引擎的框架，用于优化训练对并融合嵌入专家，从而有效弥合模态鸿沟，提升在异构数据集上的跨模态检索及下游模型性能。

原作者： Pratyush Muthukumar, Harshil Kotamreddy, Sarah Amiraslani, Tomo Kanazawa, Ramani Akkati, Shaan Jain, Andrew Mathau

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Pratyush Muthukumar, Harshil Kotamreddy, Sarah Amiraslani, Tomo Kanazawa, Ramani Akkati, Shaan Jain, Andrew Mathau

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一家庞大而混乱的图书馆的馆长，馆内混杂着书籍、电影、音乐录音和手写笔记。你的目标是建立一个系统，让用户可以提出诸如“给我展示一段狗在公园里玩耍的内容”这样的问题，而系统能立即找到完美的视频、正确的照片、匹配的音频片段或相应的文字描述，无论其格式如何。

该论文指出，当前系统主要面临两大难题：

“格式”陷阱：系统往往根据物品的“类型”（将所有视频归在一起，将所有文本归在一起）而非“含义”进行分组。这就像一位图书管理员把所有书籍放在顶层书架，把所有电影放在底层书架，即使某本书和某部电影讲述的是完全相同的故事。
“噪声标签”问题：附加在这些物品上的描述（标签）往往杂乱无章。一段关于狗的视频，其字幕可能只写着“一只狗”，但视频中还出现了猫、树和汽车。或者，字幕可能提到“阳光明媚的一天”，而视频实际上是在夜间拍摄的。系统试图从这些不匹配的配对中学习，从而陷入困惑。

作者提出了一种两部分解决方案来解决这些问题，他们将其称为对称核子采样（Symmetric Nucleus Subsampling, SNS）和专家嵌入引擎（Expert Embedding Engine, EEE）。

第一部分：“剪刀与胶水”（对称核子采样）

将训练数据想象成一双不匹配的袜子：一只袜子是原始视频，另一只是文字描述。有时它们匹配得并不好。

问题：视频可能长达 10 分钟，但文字只描述了前 30 秒。或者文字提到了一辆“蓝色汽车”，但视频却是黑白的。
解决方案（SNS）：作者使用了一种智能的“剪刀”技术。
- 前向裁剪：他们审视文字，问道：“这段视频的哪些部分实际上解释了这段文字？”于是，他们剪掉了视频中无关的 9 分钟。
- 后向裁剪：他们审视视频，问道：“这段文字的哪些部分实际上描述了我们要看到的内容？”于是，如果视频中并没有那辆车，他们就剪掉了关于“蓝色汽车”的句子。
- 结果：他们留下了一个“核子”——视频的核心高质量部分和文字的核心部分，这两者完美匹配。他们剪除了噪声，让计算机从干净、紧密的配对中学习。

第二部分：“专家团队”（专家嵌入引擎）

即使有了干净的配对，计算机仍然难以理解视频和文字是关于同一件事的。这就像有三个讲不同方言的翻译；他们可能翻译同一个故事，但他们使用的词汇差异如此之大，以至于故事看起来毫不相关。

问题：不同类型的数据（视频、音频、文本）在计算机内存中自然聚集在不同的区域，形成了“模态鸿沟”。
解决方案（EEE）：作者没有依赖单一的“翻译”，而是聘请了一个由三位专家组成的团队：
1. 端到端专家：擅长一次性观察所有内容。
2. 融合专家：擅长结合不同类型的数据。
3. 文本专家：擅长先将所有内容转化为文字。
投影器：他们添加了一个特殊的“翻译”（一个投影网络），它倾听所有三位专家的意见。它将它们不同的观点融合成一种单一、统一的语言。关键在于，这个翻译被训练为忽略数据的格式，只关注含义。它迫使计算机认识到，一段关于狗的视频和一句关于狗的句子属于同一个社区，而不是分属不同的村庄。

结果：一个更好的图书馆

作者通过利用他们的方法创建了一个新的“训练混合体”（一个精选的图书馆），并用该混合体训练了一个新的 AI 模型，以此测试了该系统。

对比：他们将他们的方法与以下方法进行了比较：
- 随机采样：盲目地从书架上挑选书籍。
- 分层采样：挑选数量相等的书籍、电影和歌曲。
- 传统策展：使用老式规则过滤掉不良数据。
结果：他们的方法产生了最佳效果。在他们精选的数据上训练的 AI 模型学习速度更快，错误更少（更低的“困惑度”，这类似于一种衡量困惑程度的指标）。
几何修复：最重要的是，他们表明他们的方法将“模态鸿沟”缩小了超过90%。在计算机的脑海中，关于同一事物的视频和文本之间的距离几乎变为零，而在此之前，仅仅因为格式不同，它们之间就相隔数英里。

总结

简而言之，这篇论文指出：“要构建一个针对混合媒体的智能搜索引擎，不要只是把所有东西都扔给计算机。首先，使用剪刀剪除数据中杂乱、不匹配的部分。其次，使用一个专家团队将所有内容翻译成一种单一、统一的语言，这种语言忽略格式，专注于含义。这就创造了一个更干净、更智能的训练集，帮助 AI 更好地理解世界。”

技术摘要：基于排序检索的多模态数据策展

问题陈述

共享嵌入空间是多模态搜索和数据策展的标准骨干。然而，作者指出了两个相互加剧的问题，这些问题会降低这些系统的有效性，特别是在混合异构、人工标注的数据集时：

模态驱动聚类（模态间隙）：嵌入往往按输入模态（例如，所有文本聚在一起，所有图像聚在一起）而非按语义意义进行聚类。这种几何分离导致最近邻检索优先选择模态身份而非语义相似性，从而削弱了跨模态搜索以及聚类和去重等下游任务的效果。
噪声配对监督：配对数据集（例如，图像 - 字幕、视频 - 转录稿）中的训练信号经常存在错位。标注可能遗漏关键对象、包含无关上下文，或指代原始数据中不存在的内容（例如，画外音）。当模型在此类噪声配对上进行训练时，它们会学习到与数据集或模态相关而非与底层事件相关的捷径，从而加剧模态间隙。

现有解决方案通常只解决该问题的一个方面：表示层方法试图对齐嵌入，但接受噪声监督作为既定事实；而以数据为中心的过滤虽然提高了配对质量，但通常假设编码器架构是固定的，无法纠正系统性的几何偏差。

方法论

本文提出了一个耦合框架，同时对训练数据配对和嵌入模型架构进行干预。该方法包含三个主要组件：

1. 对称核子下采样（SNS）

SNS 是一种数据侧预处理技术，旨在通过修剪原始输入和标注中的无关内容来提高配对样本的信息密度。它通过两个阶段运行：

前向提取：识别原始数据中解释标注内容的最相关部分（例如，特定的图像区域、视频时刻或文本跨度）。这是利用模态特定的分割模型（例如，用于图像的 Grounding-DINO，用于视频的时刻检测）在嵌入相似性的指导下实现的。
后向提取：识别标注中由原始数据支持的最具实证依据的部分。这涉及生成原始数据的描述（使用 Nemotron-Nano 或 Cosmos-Reason2 等模型），并过滤原始标注，仅保留与该描述具有高相似性的句子。
对称门控：仅当提取的“核子”与原始配对之间的互信息比率超过阈值（ $\rho$ ）时，才保留或修改该配对。这确保了修剪在改善对齐的同时不会丢弃有效数据。

2. 专家嵌入引擎（EEE）

为了解决模态偏差，作者提出了一种混合专家（MoE）架构，利用三种不同的嵌入策略，每种策略具有不同的优势和固有偏差：

端到端专家：使用统一的多模态模型（Omni-Embed-Nemotron-3B）直接处理所有模态。
融合专家：使用类似 ImageBind 的架构，将来自独立编码器的嵌入进行融合，并以图像作为锚点。
文本专家：使用模态转文本模型将所有模态转换为文本描述，然后使用专用的文本嵌入模型（Llama-Nemotron-Embed-1B）。

3. 具有偏差感知目标的投影网络

由于三位专家在不同空间中产生嵌入，因此训练一个轻量级神经网络，将所有专家的级联嵌入投影到统一空间中。该网络使用复合损失函数进行训练：

任务损失（ $L_{task}$ ）：InfoNCE 风格的对比损失，用于维持配对数据与标注之间的语义相似性。
聚类偏差损失（ $L_{cluster}$ ）：惩罚每个模态质心与全局质心之间的距离，强制模态在共享空间中重叠。
尺度偏差损失（ $L_{scale}$ ）：惩罚跨模态嵌入分布（方差）的差异，以确保统一的聚类几何结构。

至关重要的是，投影网络将文本标注视为“实证锚点”（保持其嵌入不变），并将原始数据嵌入向它们投影，确保几何结构由文本模态引导。

主要贡献

联合失效模式分析：本文分析了模态偏差和原始 - 标注错位如何在混合人工标注语料库中共同降低嵌入质量。
对称核子下采样（SNS）：一种新颖的对称下采样方法，基于互信息密度修剪多模态配对两侧的无关内容，从而提高配对一致性。
专家嵌入引擎（EEE）：一种混合专家架构，结合学习到的投影层和偏差感知目标，以减少模态驱动的分离，同时保留语义结构。
稳健评估：使用人工选择的任务集进行的全面研究，比较各种数据策展策略（包括所提出的方法和行业标准基线）的下游模型性能。

结果

该框架在五个混合人工标注的数据集（AudioCaps、TextCaps、ALFRED、CoNaLa、TriviaQA）上进行了评估，涵盖音频、图像、视频和文本。策展后的数据混合用于微调多模态语言模型（Qwen2.5-Omni-3B），验证困惑度作为主要指标。

下游性能：完整配置（SNS 双向 + EEE + 投影）实现了最低的验证困惑度（7.732），优于分层随机采样、均匀随机采样以及“传统”数据策展流程（后者依赖启发式过滤和单编码器排序）。
模态间隙缩减：投影网络成功消除了模态间隙。表 2 显示，与基础专家嵌入相比，按模态划分的质心之间的 $\ell_2$ 距离平均减少了90% 以上。
消融洞察：
- SNS 变体（前向、后向、双向）始终优于仅 EEE 基线，证实了数据侧去噪的价值。
- “传统”基线表现显著较差，突显了启发式过滤和单编码器方法在多模态设置中的局限性。
- 投影网络至关重要；如果没有它，专家的不同嵌入空间就无法被有效排序或组合。

意义与主张

本文主张，如果嵌入空间存在未纠正的模态偏差，基于检索的标准数据选择可能会主动降低训练混合物的质量。所提出的框架表明，必须同时解决数据（通过 SNS）和模型几何结构（通过 EEE 和投影），才能创建稳健的统一嵌入空间。

作者断言，他们的方法通过确保嵌入空间中的距离反映语义相似性而非输入格式，实现了可靠的跨模态检索。虽然评估规模有限（5,000 个样本、特定的模型架构），但结果表明，“微小的几何怪癖和标签噪声”可能会在大规模训练中累积成系统性错误，而耦合干预策略是一个可行的解决方案。文章最后指出了局限性，例如传统基线对基于文本的监督的依赖以及评估的规模，并建议未来的工作可以专注于不确定性感知的修剪以及提案与验证的解耦。