🤖 machine learning

KODA: Contrastive Representation Comparison and Alignment for Vision-Language Foundation Models

本文介绍了 KODA，这是一个基于核的框架，它通过在一种表示中优化相干结构并在另一种表示中抑制这些结构，同时利用随机近似技术扩展至大规模数据集，从而识别并对齐视觉-语言基础模型之间结构不一致的样本子集。

原作者： Youqi Wu, Mohammad Jalali, Farzan Farnia

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Youqi Wu, Mohammad Jalali, Farzan Farnia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有两位不同的艺术评论家，我们称之为 评论家 A 和 评论家 B。他们都观察着一个巨大的照片库及其描述。他们似乎都对什么是好照片有着一致的“大局观”，但如果你仔细观察，会发现他们组织这些照片的方式非常不同。

评论家 A 可能会把所有“冲浪”的照片归为一类，无论天气如何。
评论家 B 可能会把它们分为“雨中冲浪”和“阳光下冲浪”，但会将“冲浪”的照片与“滑雪”的照片混在一起，因为两者都涉及在某种物体上滑动。

通常，为了判断谁更优秀，我们只需让他们玩一个游戏（比如测验），然后看谁的分数更高。但这并不能告诉我们他们为什么不同，或者他们在哪些特定的照片上存在分歧。

这篇论文介绍了一个名为 KODA（用于差异分析的核优化）的新工具。你可以把 KODA 想象成一个侦探，专门寻找一个评论家相对于另一个评论家的特定“盲点”或“超能力”。

KODA 是如何工作的（类比）

想象你有一个装满了乱七八糟乐高积木的大盒子（数据）。

目标： 你想找到一小撮积木，在评论家 A 眼中，它们应该被组合成一座完美的塔；但在评论家 B 眼中，它们只是一堆乱七八糟掉在地上的积木。
过程： KODA 不仅仅是观察整个盒子。它使用一把数学“手电筒”来扫描这些积木。它会问：“给我展示一组评论家 A 喜欢聚拢在一起，但评论家 B 完全忽略或将其分散开来的积木。”
结果： KODA 指向了一组特定的数据。例如，它可能会说：“嘿，看看这些棒球运动员滑垒的照片。评论家 A 将它们视为一个紧密、清晰的群体，而评论家 B 则认为它们是随机、无关的图像。”

“秘诀”（简化后的技术细节）

文中提到了复杂的数学术语，但在 plain English（通俗易懂的语言）中，它们的含义如下：

对比嵌入聚类 (Contrastive Embedding Clustering)： 这只是一个高级说法，意指“寻找事物分组方式的差异”。KODA 正在寻找存在于一个模型的思维中、但在另一个模型中缺失的那些“簇”。
优化问题 (The Optimization Problem)： 想象尝试寻找照射光线的完美角度。你希望光线在评论家 A 喜欢的物体上非常明亮，但你有一个规则：光线在评论家 B 喜欢的物体上必须非常暗。KODA 通过解决这个数学谜题来找到那个完美角度。
随机傅里叶特征 (Random Fourier Features，速度技巧)： 在数百万张照片上进行这种数学运算通常就像试图逐一数清海滩上的每一粒沙子——这需要花费很长时间。KODA 使用了一种聪明的捷径（就像拍摄一张高质量的海滩照片并统计像素一样）来快速完成数学计算而不损失准确性。这使得它能够处理像 MS-COCO 这样庞大的数据集。

他们发现了什么？

作者将 KODA 测试在 CLIP、BLIP 和 SigLIP 等著名的 AI 模型上。以下是这位“侦探”发现的内容：

不同的优先级： 尽管这些模型都是为了理解图像和文本而训练的，但它们组织世界的方式各不相同。
- 例子： 一个模型可能会非常紧密地将“斑马”的图像归为一类，而另一个模型可能会将“斑马”与“马”或“条纹衬衫”混在一起。
可操作的洞察： KODA 不仅仅是说“它们不同”。它实际上提取出了具体的图像和标题列表。
- 例子： 它发现 BLIP 在将“人们冲浪”的图像聚在一起方面表现出色，而 CLIP 在这个特定主题上的表现则显得有些散乱。
修复模型： 作者展示了，如果你提取出那个让一个模型感到困惑的特定“混乱”图像组，并仅针对这些照片对该模型进行重新训练，该模型在组织这些图像方面的表现会突然变好。这就像是给学生针对他们做错的数学题进行额外练习，而不是让他们重读整本教科书。

为什么这很重要？

目前，如果你想选择一个 AI 模型，你会看排行榜上的分数。这就像仅仅根据最高时速来挑选一辆车。

KOKA 为你提供了一份技师报告。它会告诉你：“这辆车很快，但它的悬挂系统在碎石路上表现得很奇怪。”它帮助研究人员理解模型究竟在哪里以及为什么存在差异，从而允许他们修复特定的弱点，或者为特定类型的数据选择合适的模型，而不是仅仅根据一个数字来猜测。

简而言之： KODA 是一个工具，它让我们不再仅仅通过最终得分来比较 AI 模型，而是开始帮助我们理解每个模型独特的“个性”和具体的盲点。

技术摘要：KODA —— 用于视觉-语言基础模型的对比表示比较与对齐

1. 问题陈述

视觉-语言基础模型（如 CLIP、SigLIP、BLIP）是现代多模态系统的核心，然而它们的表示通常仅通过下游任务性能（如检索准确率、零样本分类）进行比较。这类聚合指标无法解释不同模型是如何在结构上组织数据或诱导不同的图文对分组的。

现有的可解释嵌入比较方法（如 SPEC 框架）分析核差异矩阵，但并未显式地强制执行非对称目标。因此，它们可能会识别出两个嵌入空间共有的结构或聚合效应，而不是隔离出那些在一种表示下呈现弱聚类但在另一种参考表示下呈现强聚类的特定样本子集。本文旨在解决**对比嵌入聚类（Contrastive Embedding Clustering）**的任务：即识别在一种嵌入空间中表现出连贯结构，而在参考嵌入空间中表现为弥散或无结构的样本子集（或方向）。

2. 方法论：KODA 框架

作者提出了 KODA（用于差异分析的核优化，Kernel Optimization for Discrepancy Analysis），这是一个被公式化为约束优化问题的基于核的框架。

2.1. 核心优化公式

给定两个在参考数据集 $\{x_i\}_{i=1}^n$ 上诱导归一化核相似度矩阵 $K_A$ 和 $K_B$ 的嵌入 $A$ 和 $B$ ，KODA 寻求一个方向 $x \in \mathbb{R}^n$ ，在最大化 $K_A$ 下的聚类程度的同时，受到 $K_B$ 下弱聚类的约束。该问题定义为：

$\begin{aligned} \max_{x \in \mathbb{R}^n} \quad & x^\top K_A x \\ \text{s.t.} \quad & x^\top K_B x \leq \epsilon \\ & \|x\|_2^2 = 1 \\ \end{aligned}$

其中 $\epsilon > 0$ 是控制在参考嵌入 $B$ 下允许的弱聚类程度的阈值。

2.2. 通过谱特征进行高效求解

尽管该问题是非凸的，但作者通过 KKT 条件证明，任何优化解 $x^*$ 都满足广义特征值方程：
$(K_A - \lambda^* K_B) x^* = \nu^* x^*$
其中 $\lambda^* \geq 0$ 是拉格朗日乘子。这使得 KODA 可以通过对 $\lambda$ 进行一维搜索来求解：对于每个 $\lambda$ ，计算 $K_A - \lambda K_B$ 的主特征向量，并检查其是否满足约束 $x^\top K_B x \leq \epsilon$ 。

为了提取多个差异模式，KODA 迭代地求解此问题，并使用投影矩阵 $P = I - UU^\top$ 来强制执行与先前找到方向的正交性。

2.3. 通过协方差块和随机特征实现可扩展性

直接对 $n \times n$ 核矩阵进行特征分解对于大规模数据集（ $n \gtrsim 20,000$ ）来说计算成本过高。KODA 通过利用显式特征表示（例如平移不变核的随机傅里叶特征，Random Fourier Features）来解决这一问题。
如果 $K_A = \Phi_A \Phi_A^\top$ 且 $K_B = \Phi_B \Phi_B^\top$ ，其特征维度为 $d_1, d_2 \ll n$ ，则 $K_A - \lambda K_B$ 的特征向量计算被简化为涉及协方差块的 $(d_1 + d_2) \times (d_1 + d_2)$ 规模的特征值问题：
$M_\lambda = \begin{bmatrix} \Phi_A^\top \Phi_A & \Phi_A^\top \Phi_B \\ -\lambda \Phi_B^\top \Phi_A & -\lambda \Phi_B^\top \Phi_B \end{bmatrix}$
这使得复杂度从 $O(n^2)$ 降低到 $O(n(d_1+d_2))$ ，从而能够应用于大规模数据集。

2.4. 向多模态嵌入的扩展

对于配对数据（如图像-文本），KODA 使用乘积核（product-kernel）公式构建统一的多模态核：
$k((u, v), (u', v')) = k_x(u, u') \cdot k_t(v, v')$
其中 $k_x$ 和 $k_t$ 是特定模态的核。生成的核矩阵是单模态核矩阵的 Hadamard 积（ $K = K_x \odot K_t$ ）。为了处理张量积特征空间（其规模为 $d_x d_t$ ），KODA 采用了联合随机傅里叶特征（Joint Random Fourier Features, RFF）。该方法利用维度为 $2r$ 的特征映射来近似乘积核，并在相对于真实乘积核的主特征空间稳定性方面提供了理论保证。

3. 核心贡献

对比嵌入聚类任务： 本文将识别在一种嵌入中强聚类而在另一种嵌入中弱聚类的样本子集，正式定义为一个约束优化问题，这与全局差异分析截然不同。
KODA 算法： 一个基于核的优化框架，通过约束二次规划求解该任务，并通过结构化谱计算实现高效求解。
可扩展实现： 通过开发协方差块缩减和联合随机傅里叶特征近似，KODA 能够在不显式构建大规模核矩阵的情况下，扩展到大规模视觉-语言数据集。
可解释的差异方向： 该方法产生与特定样本子集和模态交互相关的可解释方向，有助于有针对性的数据策展和模型对齐。

4. 实验结果

作者在包括 CLIP、DINOv2、BLIP、OpenCLIP、SigLIP 和 SigLIP2 在内的模型上，针对单模态（ImageNet、FFHQ、AFHQ）和多模态（MS-COCO）数据集对 KODA 进行了评估。

差异发现： KODA 成功识别出了具有一致性且可解释的差异结构。例如，在 FFHQ 上，它找到了 DINOv2 对样本进行连贯分组（例如特定的面部属性）而 CLIP 则没有的方向。在 MS-COCO 上，它识别出了 BLIP 比 CLIP 形成了更清晰联合结构的图文对（例如棒球或冲浪等特定运动场景）。
与基准方法的比较： 在单模态设置下，KODA 在寻找多个差异模式方面优于 SPEC 基准。定量指标（广义瑞利商）显示，与 SPEC 相比，KODA 的方向具有显著更高的非对称得分（例如，在低约束分位数处强约 20 倍）。
表示对齐： 本文证明了由 KODA 选取的样本子集可用于对比嵌入对齐。在 KODA 选取的切片（即 CLIP 较弱而 DINOv2/BLIP 较强的部分）上对 CLIP 进行微调，显著提升了这些特定切片的对齐指标（AMI、NMI、ARI），使对齐后的模型几何结构更接近目标模型。
检索分析： 在 MS-COCO 上，KODA 选取的子集放大了模型间的性能差距（例如 CLIP 与 SigLIP 之间），揭示了 SigLIP 在 KODA 识别出的 CLIP 表现挣扎的特定差异切片上保持了更好的检索性能。

5. 重要性与局限性

重要性：
本文声称 KODA 提供了一种原则性的、无监督的方法，用于在聚合下游指标之外比较基础模型。通过将差异定位到特定的样本子集，它支持了：

可解释性： 理解模型在何处以及为何在结构上存在差异。
模型选择与调试： 识别模型相对于参考模型表现欠佳的特定数据切片。
有针对性的对齐： 将发现的差异切片作为用于使表示对齐的有效训练数据。

局限性：
作者指出 KODA：

需要来自底层分布的共享参考数据集。
侧重于基于核诱导几何的无监督差异发现，未利用标记的下游任务。
未来的工作方向包括将该框架扩展到非匹配数据集、有监督的差异概念以及更强的统计解释保证。

代码已公开于 https://github.com/yokiwuuu/KODA。