🤖 machine learning

Multimodal LLMs under Pairwise Modalities

本文提出了一种两阶段框架，该框架通过理论分析表示可识别性并利用重建与对比学习来学习共享潜在空间，使得仅使用成对模态数据即可训练多模态大语言模型，从而在无需完全对齐的多向数据集的情况下实现强大的跨模态迁移与生成。

原作者： Yan Li, Yunlong Deng, Yuewen Sun, Gongxu Luo, Kun Zhang, Guangyi Chen

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yan Li, Yunlong Deng, Yuewen Sun, Gongxu Luo, Kun Zhang, Guangyi Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对这篇论文的解读。

核心难题：“完美晚宴”与现实生活

想象一下，你想教一个超级聪明的机器人（多模态大语言模型）理解世界。为了完美地做到这一点，你通常需要一次性向它展示所有内容：一张猫的照片、一段猫叫的录音、一段关于猫的描述，以及一个猫的 3D 模型，所有这些都捆绑在一起作为一个单一的“包裹”。

论文将这种数据称为联合对齐数据。这就像举办一场晚宴，要求每一位客人都必须在完全相同的时间到达，坐在同一张桌子旁，手牵着手。

问题所在：组织起来极其困难且昂贵。在现实世界（如机器人技术或医学成像）中，你很少能一次性获得所有这些内容。你可能有一张照片和一段描述，但没有 3D 模型。或者你可能有一个触觉传感器读数和一张照片，但没有文本。

论文的解决方案：“朋友链”

作者问道：如果我们只有成对的数据，还能教机器人吗？

第一对：一张照片和一段描述。
第二对：一张照片和一个触觉传感器读数。
第三对：一段描述和一个 3D 模型。

我们从未见过“照片 + 触觉 + 3D"这个三元组同时出现。我们只见过它们两两成对。

论文表示可以。他们提出了一种名为**MPM（多模态成对模型）**的方法。这就像玩“传话”游戏，或者像一条朋友链互相介绍。

朋友 A认识朋友 B。
朋友 B认识朋友 C。
即使朋友 A从未见过朋友 C，他们也能互相理解，因为他们通过朋友 B拥有共同的联系。

论文从数学上证明，如果你的“友谊图谱”（即你拥有的数据对）连接得足够紧密，你就可以推断出每个人共享的“秘密语言”（潜在表示），即使从未见过所有人同时出现。

工作原理：两阶段构建

作者构建了一个两阶段的施工队来建立这种理解：

第一阶段：构建通用翻译器（潜在对齐）

想象你有一群说着不同语言的人（图像、文本、触觉、3D）。你没有一本能一次性翻译所有这些语言的字典。

自我检查：首先，施工队教会每种语言自我翻译。（例如：“如果我看到一张图片，我能把它描述回给自己吗？”）。这确保了意义不会丢失。
结对配对：然后，他们利用成对数据进行训练。他们教“图像”翻译器与“文本”翻译器对话。接着教“文本”翻译器与“触觉”翻译器对话。
秘密配方（部分对齐）：论文指出，并非“触觉”读数中的所有内容都与“文本”描述相关。（文本可能说“柔软”，但触觉可能还感觉到“粗糙”或“冰冷”，而文本并未提及）。因此，系统足够智能，能够说：“好吧，我只对齐那些与文本数据匹配的触觉数据部分。”它不会在不存在的完美匹配处强行对齐。

结果：他们创造了一个通用翻译空间。现在，文本中的“柔软”、触觉中的“柔软”以及 3D 中的“柔软”，都指向这个不可见空间中的完全相同的位置。

第二阶段：即插即用升级（跨模态重组）

现在，想象你有一个超级聪明的机器人（如 Qwen3-Omni），它已经完美掌握了文本和图像。你想在不重新训练整个机器人的情况下为其添加触觉或3D能力（重新训练整个机器人就像在学习法语时忘记如何说英语）。

桥梁：系统将新的“触觉”数据输入到第一阶段构建的通用翻译器中，将其转换为机器人已经理解的格式（文本/图像）。
交接：机器人接收这个转换后的信号，就像收到一个正常的文本提示一样。它利用现有的大脑来回答问题或生成描述。
优势：机器人的大脑保持冻结（不变）。它不会忘记任何内容。它只是获得了一个新的“耳朵”（或“手”），能够说它的母语。

他们的测试内容

为了证明这行之有效，他们利用一个强大的现有机器人（Qwen3-Omni），教会了它两项以前不知道的新技能：

3D 点云：理解 3D 形状。
触觉感知：理解物体的触感（柔软、粗糙等）。

他们仅使用了成对数据（文本 +3D、文本 + 触觉、图像 + 触觉）完成了这一过程。他们从未向机器人展示过任何“文本 + 图像 +3D+ 触觉”同时出现的单一示例。

结果：机器人学会了很好地理解 3D 形状和触觉感知，其表现优于其他试图强迫机器人从头开始学习所有内容或需要大量完美对齐数据的方法。

总结

旧方法：你需要一个完美且昂贵的数据集，其中每一条信息（文本、图像、声音、3D）都必须针对每一个示例完美同步。
新方法（本文）：你可以使用混乱的、现实世界的数据，其中你只有成对数据（文本 + 图像、图像 + 触觉）。
如何实现：通过数学证明连接的成对数据足以找到共享意义，然后构建一个“翻译器”，让新的感官能够即插即用接入现有大脑而不破坏它。

这使得教给 AI 新感官（如触觉或 3D 视觉）变得更加容易和廉价，而无需使用超级计算机从头开始重新训练整个系统。

技术摘要：成对模态下的多模态大语言模型

问题陈述

多模态大语言模型（MLLMs）已在跨模态理解与生成方面展现出卓越能力。然而，其训练通常依赖于联合 curated 的多模态数据集，其中所有模态（如文本、图像、音频、3D）在每一个样本中均完美对齐。构建此类多向对齐数据成本高昂、劳动密集，且在机器人、触觉感知和医学成像等新兴领域往往不可行。

这种对完全对齐语料库的严重依赖限制了多模态大语言模型向新模态扩展的可扩展性。相比之下，成对对齐数据（如文本 - 图像、图像 - 触觉、文本 -3D）更为丰富，且可从多样化来源自然获取。本研究旨在解决的核心问题是：如何仅利用成对模态数据训练多模态模型，而无需 ever 观察完整的联合分布？

方法论：MPM 框架

作者提出了多模态成对模型（Multimodal Pairwise Model, MPM），这是一个两阶段框架，旨在利用成对监督学习对齐的潜在表示并实现跨模态生成。

1. 理论基础：可识别性

在提出架构之前，本文对成对模态下的子空间可识别性进行了理论分析。

生成模型：作者定义了一个生成过程，其中观测值源于共享潜在因子（ $z_c$ ）和模态特定因子（ $z_s$ ）。
可识别性条件：他们证明，如果由成对数据集形成的模态图具有足够的连通性，则共享潜在子空间可以从重叠的成对观测中恢复。
关键洞察：在温和假设下（平滑性、可逆性以及邻居的集体线性独立性），共享潜在块 $z_c$ 在可逆映射的意义下是可识别的，即使没有完整的联合对齐。这提供了一个原则性保证，即共享语义可以从成对连接的链条中恢复。

2. 阶段 I：潜在表示对齐

第一阶段仅利用成对数据学习统一的共享潜在空间。

架构：为每种模态采用自编码器框架，包含编码器（ $Enc_m$ ）和解码器（ $Dec_m$ ）。编码器将输入映射到共享潜在块（ $\hat{z}_c$ ）和特定块（ $\hat{z}_s$ ）。
目标：
- 自模态重建：确保潜在表示保留原始模态的所有信息，防止信息坍缩。
- 跨模态对比对齐：采用 CLIP 风格的目标，对齐成对模态的共享表示（ $\hat{z}_c$ ）。
- 部分与非对称对齐：认识到新模态中的并非所有潜在因子都对应目标模态（例如，触觉粗糙度可能未在文本中明确描述），作者引入了二值掩码机制。这允许进行部分对齐，仅从新模态中选择相关的共享分量与目标对齐，避免虚假约束。

3. 阶段 II：跨模态重组

第二阶段将新学习的模态集成到预训练的多模态大语言模型中，且不修改骨干网络。

机制：新模态（如 3D 点云）的编码器与阶段 I 中学习到的目标模态（如文本）的潜在空间对齐。
重组：对齐后的共享表示通过非对称掩码，并输入到目标模态的解码器中。该重建表示作为冻结的预训练多模态大语言模型的代理输入。
优势：该设计使新模态能够利用预训练大语言模型的生成和推理能力，而无需进行完整的联合重训练，从而避免灾难性遗忘。

主要贡献

理论分析：本文提供了形式化证明，表明在特定的连通性和秩条件下，共享潜在表示可以从重叠的成对模态数据中识别，为仅成对训练提供了理论基础。
统一框架：提出了一个两阶段框架（潜在对齐 + 跨模态重组），实现了仅利用成对监督即可进行可扩展的模态扩展，消除了对完全对齐的多向数据集的需求。
实证验证：通过将3D 点云和触觉感知集成到预训练多模态大语言模型（Qwen3-Omni）中验证了该方法，展示了强大的跨模态迁移性能。

实验结果

作者通过将 3D 点云和触觉模态添加到预训练多模态大语言模型Qwen3-Omni-30B-A3B中评估了 MPM。

3D 基准测试：在ModelNet40（物体分类）和3D MM-VET（3D 问答）上，MPM 显著优于基线方法，包括全微调方法（如 PointLLM、ShapeLLM）和基于适配器（adapter）的方法。值得注意的是，MPM 在 ModelNet40 上达到了**70.5%**的准确率，而最佳全微调基线仅为 53.1%。
触觉基准测试：在TVL数据集上，MPM 在具备触觉能力的模型中取得了最佳性能（例如 TVL 得分为 5.22/10），优于冻结骨干网络和基于适配器的基线。
消融研究：
- 移除阶段 I（仅重组）导致性能显著下降，证实了学习结构化共享潜在空间的必要性。
- 移除阶段 II（仅阶段 I）也降低了性能，突显了冻结的多模态大语言模型解码器在生成流畅语言方面的作用。
- 阶段 I 中的重建损失和对比对齐损失均被证明至关重要，其中重建对于防止潜在坍缩是必不可少的。

意义与主张

本文主张，成对模态监督是传统完全联合对齐多模态训练的一种可扩展且有效的替代方案。通过利用共享潜在因子可从连接的成对图中恢复的理论洞察，作者证明了：

可以在不收集完全对齐的多模态数据集所带来的高昂成本的情况下，将预训练的多模态大语言模型扩展到新模态（如 3D 和触觉）。
所提出的框架保留了预训练模型的原始能力（避免灾难性遗忘），同时实现了新的跨模态生成任务。
该方法提供了一种原则性的模态扩展机制，不依赖于通用锚定模态或大量的指令微调。

该工作得出结论：虽然该框架显示出令人鼓舞的结果，但未来工作仍需将其扩展到更广泛的模态集合，并在更多样化和复杂的下游任务中验证其有效性。