Multimodal Alignment Through Joint Kernel Entropic Gromov--Wasserstein Optimal Transport
本文提出了联合核熵增量格罗莫夫-瓦瑟斯坦最优传输（JK-EGW），这是一个可扩展的框架，通过在细粒度亲和力核上最小化二次最优传输目标，将多种模态对齐到一个共享潜在空间，在实现数据稀缺情形下检索性能提升的同时，提供了关于样本复杂度的理论保证。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教会一个机器人理解世界，但你给了它两双截然不同的眼睛。一只眼睛通过图像来观察世界，充满了色彩与形状；而另一只眼睛则通过文字来观察世界，充满了句子与意义。问题在于，这两只“眼睛”说着完全不同的语言。一张狗的照片和“狗”这个词生活在完全不同的数据宇宙中。为了让机器人变得聪明，你需要在这两个宇宙之间搭建一座桥梁，一个共享的精神空间，让一张狗的照片和“狗”这个词能够在那里相遇，并识别出它们是同一个东西。这就是“多模态对齐”（multimodal alignment）的挑战。
通常，科学家们尝试通过向机器人喂入数百万个配对的示例（比如一张狗的照片旁边跟着“狗”这个词），并让它通过试错来学习。但如果你的配对并不多呢？如果你只有寥寥几个呢？又或者，如果机器人已经拥有了强大的、预训练过的“眼睛”，它们非常擅长看图或识字，只是它们彼此之间还不知道如何交流呢？这正是这篇论文所要解决的问题。它针对的是这样一种棘手的局面：你拥有强大的预训练工具，但连接它们的可用数据却非常稀少。它使用了一个叫做“最优传输”（Optimal Transport）的数学概念，这就像是在寻找将一堆沙子从一种形状高效移动到另一种形状的最优路径，以此来弄清楚如何重新排列这些不同的数据类型，使它们能够完美契合，同时又不丢失各自独特的形状。
这篇论文的作者 Yixuan Florence Wu、Yilun Zhu 和 Naichen Shi 提出了一种名为 JK-EGW（联合核熵增量 Gromov–Wasserstein 最优传输）的新方法。你可以把它想象成一个超级聪明的“数据媒人”。JK-EGW 不仅仅是比较原始特征（比如比较照片的像素计数与单词的字母计数），它观察的是事物之间的“关系”。它会问道：“这张黑狗的照片是否感觉与那张黑狗的照片相似？它是否也与‘黑狗’这段文字感觉相似？”通过将这些关系映射到一个共享的、无形的地图上，该方法实现了不同模态的对齐。
这里有一个巧妙之处：作者意识到，进行这种匹配通常是一个规模巨大且混乱的数学问题，难以求解，且在数据量较小时难以信任。因此，他们发明了一个使用“核函数”（kernel）的“捷径”。把核函数想象成一个特殊的透镜，它能将复杂、混乱的数据转化为一种更简单、更有结构的形态。通过使用这个透镜，他们将一个困难的非线性谜题变成了一个计算机可以更快求解的线性问题。他们在数学上证明了，即使在数据有限的情况下，随着样本量的增加，他们的方法也会变得更加准确，并遵循一种可预测的改进速率（具体来说，误差随样本数量的平方根而缩小）。
在实验中，他们将该方法应用于两个主要任务。首先，他们使用了一个手写数字数据集（MNIST），其中数字有两种不同的描述方式（例如傅里叶系数和 Karhunen–Loève 系数）。他们展示了 JK-EGW 如何成功地将这些不同的描述映射到一个单一的空间中，使得相同数值的数字无论如何被描述，都会聚集在一起。
其次，更令人印象深刻的是，他们在一项现实世界的任务上测试了它：将图像与来自 MS–COCO 数据集的文本进行匹配。他们采用了强大的、预训练过的 AI 模型，这些模型已经具备了看图和读文的能力，但并不了解如何将二者对齐。他们将 JK-EGW 应用于这些“冻结”的模型。结果令人振奋：JK-EGW 创建了一个共享空间，使得图像与其对应的文本描述比现有其他方法更加接近。当他们测试系统寻找图像对应正确文本（或反之）的能力时，JK-EGW 表现优异，取得了更高的“召回率”（意味着它能更频繁地找到正确的匹配）。
这篇论文表明，这种方法是未来 AI 发展的强大工具，尤其是在我们拥有大量预训练模型但没有足够的配对数据来从头开始训练它们时。它表明，通过尊重数据的内部结构并使用聪明的数学提升技术，我们可以构建出更好、更连贯的桥梁，连接起观察世界的不同方式。虽然其中的数学原理很深奥，但核心思想很简单：不要仅仅强迫不同的数据类型看起来一样；要帮助它们理解彼此的关系，这样它们自然就会找到通往同一处地方的路。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。