💻 computer science

Beyond the Linear Separability Ceiling: Aligning Representations in VLMs

本文引入了一个以线性可分性天花板（Linear Separability Ceiling, LSC）为核心的诊断框架，旨在揭示视觉语言模型在抽象推理中的失败往往源于次优的视觉对齐而非推理缺陷，并提出了一种对比训练方法，通过将视觉表示重构为更具线性可分性的几何结构，使模型能够显著超越这一性能天花板。

原作者： Enrico Vompa, Tanel Tammet, Mohit Vaishnav

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Enrico Vompa, Tanel Tammet, Mohit Vaishnav

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

突破线性可分性天花板：对齐视觉语言模型（VLM）中的表示

核心问题：“聪明但糊涂”的机器人

想象你有一个非常聪明的机器人（视觉语言模型，简称 VLM），它能看图说话。你给它出一个谜题：“这里有 6 张猫在做某事的照片，以及 6 张猫没在做那件事的照片。请问这张新照片属于哪一类？”

有时，机器人会失败。作者提出的核心问题是：为什么？

是机器人的“眼睛”（感知）不好吗？ 也许它看不清那只猫。
还是它的“大脑”（推理）不好？ 也许它看得很清楚，但无法理解解开谜题的规则。

诊断工具：“线性天花板”

为了回答这个问题，作者构建了一个名为**线性可分性天花板（Linear Separability Ceiling, LSC）**的测试。

类比： 想象机器人的“眼睛”将每张图片转换成一长串数字列表（即嵌入/embedding）。

测试方法： 他们提取这些数字列表，并要求一个非常简单、笨拙的计算器（线性分类器）将图片分为“是”或“否”两堆。
天花板： 如果这个简单的计算器能以 90% 的准确率对图片进行分类，这意味着机器人的“眼睛”已经完成了最难的工作。信息就在那里，且易于读取。这 90% 就是原始视觉数据的“天花板”。

发现： 作者发现，对于大多数先进的机器人来说，这个简单的计算器表现得几乎和机器人本身一样出色。

“对齐差距”（The Alignment Gap）： 机器人的复杂大脑无法利用其“眼睛”提供的清晰信息。这就像是一个图书馆，书架上的书排列得井井有条（视觉数据），但图书管理员（推理大脑）却总是迷路，找不到正确的书。机器人并不是看不见，它只是“不对齐”。

为什么有些机器人能成功

一些机器人确实超越了这个简单的计算器。作者发现它们通过两种不同的方式实现了这一点：

“精炼者”（Pixtral）： 这个机器人会对眼睛获取的原始数字列表进行特殊处理，使其变得更加清晰、更容易分类。这就像把一张模糊的照片进行锐化，直到简单的计算器也能轻松读懂。
“思考者”（大多数其他模型）： 这些机器人并不让数字变得更清晰，而是利用其复杂的大脑进行非线性的、复杂的逻辑运算来得出答案。它们在进行一种简单的计算器无法完成的“脑力体操”。

解决方案：教机器人“线性思考”

作者希望修复这种“对齐差距”，让所有机器人都能更好地解决这类谜题。他们意识到，机器人被训练去预测句子中的下一个词（类似于文本生成器），但这并没有迫使它们清晰地组织视觉思维。

修复方法： 他们在机器人的训练中加入了一条新规则。

旧规则： “猜下一个词。”
新规则： “猜下一个词，并且确保你正在观察的图片在数字空间中，与其‘兄弟’图片紧挨在一起，远离‘敌人’图片。”

类比： 想象一个乱糟多的房间，红袜子和蓝袜子混在一起。

之前： 机器人只是凭直觉来猜测哪只是红的，哪只是蓝的。
之后： 机器人被告知：“把袜子分类！把所有的红袜子放在一个整齐的堆里，把蓝袜子放在另一个堆里。”一旦袜子被分类好了（视觉流形被重构），机器人就能轻松挑出正确的那一个。

结果

通过使用这种新的训练方法（将单词预测与这种“排序”规则相结合）：

视觉变得更清晰： 机器人对世界的内在图像被组织成了整齐、笔直的线条（线性几何）。
大脑实现了对齐： 机器人的推理路径终于与其清晰的视觉匹配上了。
得分更高： 机器人开始更好地解决抽象谜题（如 Bongard 问题），其表现通常超过了以前无法突破的“简单计算器”限制。

局限性（代价）

论文指出存在一种权衡。通过迫使机器人将视觉思维组织成这些整齐的直线，它们有时会变得有些僵化。

类比： 如果你教一个学生只能通过画完美的直线来解决数学题，他们可能会在处理这类特定问题时变得非常厉害，但如果老师要求他们画一个圆或写一首诗，他们可能会感到吃力。
机器人变得擅长处理这些特定的视觉谜题，但当问题的形式发生轻微变化时，有时会表现得难以应对，因为它们已经过度依赖于那种特定的“直线”结构。

总结

该论文认为，许多 AI 视觉模型的失败并非因为它们“看不见”，而是因为它们无法“组织”所见之物。通过在训练中加入一个简单的“排序”规则，作者帮助这些模型将其视觉与推理对齐，从而使其能够解决以前无法破解的抽象谜题。

技术摘要：超越线性可分性天花板：视觉语言模型（VLM）中的表示对齐

问题陈述

最先进的视觉语言模型（VLM）尽管拥有强大的视觉感知能力，但在抽象推理任务（如 Bongard 问题）中经常失败。该领域的一个核心挑战在于：如何区分这些失败究竟源于缺陷的自底向上视觉感知（无法提取必要的特征），还是缺陷的自顶向下推理（无法利用这些特征进行解释）。由于缺乏量化模型原始视觉表示与其生成式推理输出之间差距的实证方法，以往的研究难以隔离失败的主要原因。

方法论

作者引入了一个以**线性可分性天花板（Linear Separability Ceiling, LSC）**为核心的诊断框架来解决这一歧义问题。

线性可分性天花板 (LSC)： LSC 被定义为通过一个简单的线性分类器（具体为最近质心分类器）作用于 VLM 原始视觉嵌入所能达到的性能。该指标建立了初始视觉表示质量的基准。如果一个模型的端到端生成性能在统计上无法超越这一天花板，则表明失败在于推理路径而非感知路径。
诊断框架： 该框架比较了三个指标：
- LSC： 对初始视觉嵌入进行线性探测（Linear Probe）的准确率。
- 最终表示准确率 (Final Representation Accuracy)： 对 LLM 最终隐藏状态进行线性探测的准确率。
- 生成准确率 (Generative Accuracy)： 模型的标准下一标记预测（Next-token prediction）性能。
  使用统计显著性检验（卡方检验）来确定生成性能是否真正优于 LSC，或者是否存在“对齐差距”。
干预策略： 研究评估了几种参数高效微调（PEFT）方法，以弥合这一差距：
- 后缀微调 (Postfix Tuning)： 在序列末尾添加可训练的软提示（Soft Prompts），以激活潜在的推理路径，而不改变初始表示。
- LoRA (低秩自适应)： 将可训练矩阵注入注意力层和 MLP 层。
- 组合目标函数 ( $L_{combined}$ )： 一种结合了标准下一标记预测 ( $L_{NT}$ ) 与显式对比损失 ( $L_{sim}$ ) 的新型训练目标。该对比项促使查询图像的最终嵌入更接近其真实的类别质心，并远离其他类别，从而有效地将视觉流形重构为一维线性的几何结构。

关键发现

1. 普遍存在的对齐差距

通过对包括 Phi、Pixtral、Gemma、InternVL 和 Qwen 在内的八种最先进 VLM 在 Bongard 式数据集上的应用，研究揭示了广泛存在的“对齐差距”。对于大多数模型，其生成性能在统计上与自身的 LSC 无法区分，甚至更差。这表明，虽然模型拥有高质量的视觉表示（高 L LSC），但其推理路径并未有效地对齐以利用这些表示。

2. 超越天花板的两条路径

少数成功超越 LSC 的模型是通过两种截然不同的机制实现的：

增强线性可分性： 模型如 Pixtral 通过非线性过程将视觉表示细化为更具线性可分性的格式，有效地扩展了自底向上的感知过程。
非线性决策逻辑： 大多数成功的模型执行了一种非线性决策逻辑（自顶向下推理），该逻辑计算出的解无法从嵌入中线性读取。这一证据也支持了后缀微调的成功，因为它无法改变初始表示，但可以激活休眠的推理路径。

3. 瓶颈位置

消融实验证实，瓶颈存在于 LLM 的推理路径中，而非视觉编码器的感知中。将 LoRA 应用于视觉编码器，与仅对 LLM 进行适配相比，并未带来额外的性能提升。

4. 任务依赖型适配

原子概念 (Atomic Concepts)： 对于涉及原子语义概念比较的任务（例如 OpenWorld），通过提示微调（Prompt Tuning）进行激活通常就足够了。
关系概念 (Relational Concepts)： 对于需要对关系语义概念进行推理的任务（例如 Bongard-HOI），则需要通过 LoRA 进行更深层的适配才能提升性能。

5. 组合目标函数 ( $L_{combined}$ )

提出的 $L_{combined}$ 目标函数成功平衡了冲突的信号。通过将视觉流形重构为全局一致的一维线性射线，它改善了图像间的比较。这种方法使模型能够在抽象组合推理任务上显著超越 LSC，并在分布外（OOD）概念及跨领域任务（如 Winoground）中展现出鲁棒的泛化能力。

意义与主张

本文声称，VLM 抽象推理的瓶颈不是感知的根本限制，而是一个可解决的视觉对齐问题。

诊断效用： LSC 框架提供了一个几何和统计视角，将对齐差距形式化，从而区分了是推理路径失配还是根本缺乏感知知识。
机制洞察： 本研究指出，推理能力往往滞后于视觉感知的线性可分性。研究认为，全局一致的结构（线性几何）有助于向分布外（OOD）组合推理任务的迁移。
实际解决方案： 论文提供了一种通过增加对比目标的训练方法，该方法重构了视觉流形，使模型能够更好地利用其内部视觉表示，并实现更高的可解释性和性能。

作者总结道，虽然强制执行特定的几何结构可能会在提示格式上引入脆弱性，但将表示重构为线性可分格式的能力，是迈向更具能力且更具可解释性的多模态推理的关键一步。未来的工作建议将这种序列化分布表示的概念扩展到文本模态，以解决当前 VLM 的“分裂脑”（Split-brain）病理问题。