🤖 machine learning

Rethinking Model Selection in VLM Through the Lens of Gromov-Wasserstein Distance

本文通过证明基于 Gromov-Wasserstein 距离度量的视觉与语言模态间的结构相似性相较于编码器规模或零样本准确率更能预测对齐性能，对视觉 - 语言模型的传统模型选择标准提出了挑战。

原作者： Muyang Li, Yucheng Liu, Jianbo Ma, Elliot Osborne, Bo Han, Tongliang Liu

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Muyang Li, Yucheng Liu, Jianbo Ma, Elliot Osborne, Bo Han, Tongliang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图构建一个终极的“多语言”翻译器。你拥有一位精通文字的专家（大型语言模型，或LLM），他通晓一切词汇，而你想聘请一位视觉专家（视觉编码器）来教导他如何“看”。

关键问题是：你应该聘请哪位视觉专家？

长期以来，人们认为答案很简单：“聘请最厉害的专家”或“聘请测试分数最高的那位”。但这篇论文指出，“实际上，那是一个糟糕的经验法则。”

以下是研究人员发现的简要故事。

1. 错误的选择方式

研究人员收集了 18 位不同的顶级视觉专家。他们尝试将每一位与同一位文字专家配对，以观察哪种组合效果最佳。

他们测试了旧有的规则：

规则 A：选择最大的模型（参数量最多）。
规则 B：选择“零样本”准确率最高的那个（无需额外训练就能回答最多问题的模型）。

结果：这些规则彻底失败了。有时最大的模型表现糟糕；有时单独看来“最聪明”的模型，一旦与文字专家配对，表现却极差。事实证明，擅长自己的工作并不意味着你就能与这位特定的合作伙伴良好协作。

2. 真正的问题：说着不同的“语言”

研究人员意识到，问题不在于视觉专家有多聪明，而在于兼容性。

想象文字专家所说的语言，其句子结构像诗歌。

视觉专家 A 所说的语言，其结构像数学公式。
视觉专家 B 所说的语言，其结构像诗歌。

即使视觉专家 A 是一位天才数学家，将他的思想“翻译”成文字专家的诗歌语言也会是一场噩梦。“翻译层”（即投影器）必须付出极大的努力来弥合这一鸿沟，最终结果会显得笨拙。

然而，视觉专家 B 原本就是用诗歌思考的。翻译变得轻而易举，最终团队配合得天衣无缝。

论文将这种现象称为结构相似性。这不在于他们知道什么，而在于他们如何组织思想。

3. 解决方案：“Gromov-Wasserstein"（GW）距离

为了在不实际聘请和训练每一位候选人（这将耗时数月且耗资巨大）的情况下衡量这种兼容性，研究人员发明了一种新测试，称为Gromov-Wasserstein（GW）距离。

以下是其工作原理的比喻：

旧方法（朴素距离）：想象你有两张地图，一张是纽约，一张是东京。如果你试图测量纽约地图上“中央公园”和“时代广场”之间的距离，并将其与东京地图上“涩谷”和“东京塔”之间的距离进行比较，数字将无法匹配，因为城市的大小和形状不同。这就是旧方法失败的原因。
GW 方法：GW 不关注绝对位置，而是关注关系。它会问：“公园与时代广场之间的关系（例如，‘它们相距 10 分钟’）是否与涩谷和东京塔之间的关系相同？”
如果两张地图之间的内部几何结构（即点与点之间的关系方式）相似，那么 GW 距离就很低。这意味着两位专家的“思维”形状相似，使它们易于配对。

4. 证据

研究人员进行了一项大规模实验：

他们计算了所有 18 位视觉专家的 GW 距离。
随后，他们实际上训练了完整系统（即“困难模式”），以观察谁才是真正的赢家。

发现：

GW 距离是唯一能正确预测赢家的指标。
相关性很强：GW 距离越低，最终 AI 的表现越好。
旧规则（规模和准确率）与最终成功几乎没有关联。

5. 为什么这很重要

这篇论文为我们提供了一种“免训练”的捷径。

以前：你必须训练 18 个不同的 AI 模型数周，才能找到最好的那个。
现在：你可以在大约一分钟内（在一台强大的计算机上）运行此 GW 计算，并确切知道哪位视觉专家与你的文本模型配合最佳。

总结比喻

将构建视觉语言模型（VLM）比作组建一个双人舞搭档。

旧智慧：“选择获奖最多、肌肉最发达的舞者。”
新智慧：“选择节奏和风格自然与你搭档契合的舞者。”

论文证明，在打造成功的 AI 团队时，节奏（结构相似性） 远比肌肉（模型规模） 或奖项（准确率） 重要得多。他们提供了一种新工具（GW 距离）来即时衡量这种节奏，从而在构建更优秀的 AI 时节省时间和金钱。

技术摘要：通过 Gromov-Wasserstein 距离视角重新思考 VLM 中的模型选择

1. 问题陈述

视觉 - 语言模型（VLM）通常遵循“先预训练后微调”的范式，其中投影层用于对齐视觉编码器和大型语言模型（LLM）的表示空间。尽管该范式已被广泛采用，但人们缺乏原则性的理解，即哪些预训练视觉编码器最适合特定的 LLM。

当前的实践通常依赖启发式方法，例如选择最大的模型或零样本准确率最高的模型。然而，作者通过综合实验证明，这些指标：

始终无法识别出最适合 VLM 对齐的视觉编码器。
与全量微调后的最终 VLM 性能仅表现出弱到中等的相关性。
未考虑视觉和文本表示空间之间的“兼容性”或结构相似性，而后者被假设为决定对齐难度的关键因素。

2. 方法论

本文提出使用Gromov-Wasserstein (GW) 距离作为一种无需训练、仅用于推理的指标，以衡量视觉表示分布与文本表示分布之间的结构相似性。

核心概念：Gromov-Wasserstein 距离

与需要公共环境空间的标准距离度量不同，GW 距离旨在比较两个可能位于不同域、具有不同维度和测度的度量测度空间（mm-spaces）。

直观理解：GW 距离不比较点的绝对位置（这在跨模态情况下是定义不明确的），而是比较每个空间内部的关系（成对距离）。它寻求一个最优传输计划（耦合） $\pi$ ，以最小化视觉空间（ $d_X$ ）和文本空间（ $d_Y$ ）成对距离之间的失真。
公式化：GW 距离定义为所有可能耦合 $\pi$ 上的期望损失的下确界：
$GW := \inf_{\pi \in \Pi} \sum_{x,x',y,y'} L(d_X(x, x'), d_Y(y, y')) \pi_{x,y}\pi_{x',y'}$
其中 $L$ 是惩罚函数（本文使用 $\ell_1$ 距离）。

实现细节

尺度匹配：为了处理模态间固有的尺度差异，作者应用了中值比率匹配。他们将视觉模态的成对距离矩阵进行归一化，使其非对角线中值与文本模态的中值相匹配。
优化：最优传输计划 $\pi^*$ 使用条件梯度方案求解（遵循 [40]），将 GW 目标视为传输多胞形上的二次泛函。
模型选择算法：
- 提取图像 - 文本对样本的视觉特征（CLS token）和文本特征（隐藏状态）。
- 计算两种模态的成对距离矩阵。
- 归一化距离并计算 GW 距离。
- 选择与目标 LLM 具有最小 GW 距离的视觉编码器，预测其将产生最佳的 VLM 性能。

3. 理论分析

本文提供了将 GW 距离与跨模态映射的可学习性联系起来的理论依据。

Lipschitz 界：作者证明了贝叶斯最优跨模态投影器 $g^*$ 的 Lipschitz 常数（ $L_{g^*}$ ）受模态间 $\infty$ -范数 GW 距离（ $GW_\infty$ ）的有界约束。
推论：较小的 GW 距离意味着 Lipschitz 常数的上界较小。由于神经网络的泛化界通常取决于 Lipschitz 常数（或谱范数），较小的 GW 距离表明，最优映射本质上更容易通过具有较低函数复杂性的假设来学习。

4. 实验结果

作者进行了广泛的实验，涉及使用 18 种不同的预训练视觉编码器和两个基础 LLM（Qwen-2.5-7B-Instruct 和 LLaMa-3.1-8B-Instruct）进行的60 多次完整 VLM 训练运行。

主要发现

卓越的选择准确性：基于 GW 的选择策略在“小”（<5 亿参数）和“大”组中，始终识别出了最优的视觉编码器（即在 9 个基准测试中产生最高平均分的编码器）。
与性能的相关性：
- GW 距离与最终 VLM 性能的相关性达到了Pearson 相关系数 0.6568和Spearman 相关系数 0.5341。
- GW 距离与性能之间的线性拟合解释了43% 的方差（ $R^2 = 0.4314$ ）。
- 相比之下，传统的基线方法如零样本准确率（ $R^2 \approx 0.21$ ）、表示相似性分析（RSA）和典型相关分析（CCA）仅显示出弱到中等的相关性。值得注意的是，MutualNN 显示出较高的 Pearson 相关系数，但 Spearman 相关系数为负，表明这是一种虚假关系。
鲁棒性：GW 距离的有效性在不同基础 LLM 和不同预训练数据集（LAION/Conceptual Captions 与 CC3M）之间得到了验证，表明该指标捕捉到了模态兼容性的可泛化模式。
效率：GW 估计是一个纯粹的推理任务。在单张 GPU 上计算 1,000 个图像 - 文本对的指标仅需约1 分钟，而完成一次完整的 VLM 训练运行则需要约 8.5 小时（68 GPU 小时）。

5. 意义与主张

本文声称首次对支配 VLM 视觉编码器选择的因素进行了系统调查，超越了朴素的启发式方法。

新颖性：它引入了模态间分布兼容性的概念作为 VLM 成功的关键决定因素，并通过 GW 距离将其形式化。
实际影响：它提供了一种计算高效、无需训练的方法，可在投入昂贵的全参数微调之前预测 VLM 性能。
理论贡献：它建立了表示空间的几何结构（通过 GW 距离衡量）与对齐投影器可学习性之间的形式化联系。

作者总结道，虽然当前的启发式方法（规模、零样本准确率）尚不充分，但通过 GW 距离衡量表示空间的结构相似性，为视觉 - 语言模型中的模型选择提供了一个稳健、理论有据且经实证验证的代理指标。