💻 computer science

Self-Consistent Latent Reasoning: Long Latent Sequence Reasoning for Vision-Language Model

本文介绍了 SCOLAR，这是一个新颖的框架，它利用轻量级去 Transformer 生成独立且自洽的视觉令牌，从而克服了限制现有潜在视觉推理方法的“信息增益崩溃”问题，进而实现了显著更长的推理链，并在真实世界基准测试中取得了最先进的性能。

原作者： Chenfeng Wang, Wei He, Xuhan Zhu, Chunpeng Zhou, Qizhen Li, Song Yan, Yufei Zheng, Chengjun Yu, Fan Lu, Wei Zhai, Yang Cao, Pengfei Yu, Zheng-Jun Zha

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chenfeng Wang, Wei He, Xuhan Zhu, Chunpeng Zhou, Qizhen Li, Song Yan, Yufei Zheng, Chengjun Yu, Fan Lu, Wei Zhai, Yang Cao, Pengfei Yu, Zheng-Jun Zha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在尝试解决一个复杂的谜题，比如一个涉及几何图形的数学问题。你有一张该图形的图片，需要“思考”它来找到答案。

在人工智能（AI）的世界里，有一个流行的概念叫做“思维链”。这就像给 AI 一个记事本，让它在下达答案之前写下思考步骤。对于基于文本的 AI 来说，写下更多的步骤通常能带来更好的答案。这就像是在说：“我思考得越多，我就变得越聪明。”

研究人员试图将这一理念应用于视觉 - 语言模型（能够“看”到图像的 AI）。他们希望 AI 在回答问题之前，先写下“潜在思维”——即关于图像的不可见、内部的笔记。他们假设，如果 AI 写下更长的这些不可见笔记列表，它在解决视觉谜题方面就会变得更聪明。

令人惊讶的问题：“耳语链”效应
研究人员发现了一些奇怪且违反直觉的现象。当这些 AI 模型试图写下关于图像的长列表不可见笔记时，它们实际上变得更笨了。

想象一个“传话”（或“耳语小径”）游戏。

旧方法：AI 写下笔记 #1。然后它阅读笔记 #1 来写笔记 #2。接着它阅读笔记 #2 来写笔记 #3。
结果：等到 AI 写到笔记 #50 时，图像的原始细节已经被扭曲和遗忘了。这就像传话游戏中，第一个人耳语“猫是蓝色的”，而到了第 50 个人，他们说的是“猫是蓝莓”。信息崩塌了。链条越长，AI 就越忘记它实际上在看什么。

这篇论文将这种现象称为“信息增益崩塌”。AI 停止学习关于图像的新事物，只是开始一遍又一遍地重复同样困惑、模糊的想法。

解决方案：SCOLAR（“快照”方法）
由 Chenfeng Wang 及其团队领导的研究人员构建了一个名为SCOLAR的新系统来解决这个问题。

SCOLAR 不使用 AI 在长链条中向自己耳语笔记的方式，而是使用一种称为“去 Transformer"（detransformer）的特殊工具。可以将这个工具想象成一位拥有超快相机的摄影师。

旧方法（自回归）：AI 查看图像，写下一条笔记，查看该笔记，再写下一条笔记，查看那条笔记……并逐渐丢失图像。
SCOLAR 方法（单次拍摄）：AI 查看图像和问题。它暂停。然后，“去 Transformer"瞬间同时一次性捕捉图像的一整套高质量“思维快照”。

简单的工作原理：

独立性：SCOLAR 创建的每一个“思维令牌”（笔记）都直接锚定在原始、清晰的图像上。它们不依赖前一条笔记而存在。笔记 #100 与笔记 #1 一样清晰，并与原始照片保持同样的连接。
无衰减：因为它们都是基于完整上下文在“一次拍摄”中生成的，信息不会消退。AI 可以拥有 1,000 条笔记的链条，而每一条仍然持有视觉谜题的清晰片段。

训练：教导 AI“视觉化思考”
为了实现这一点，团队分三个阶段教导了 AI：

学习观看：他们教导“去 Transformer"如何将 AI 的内部思维重新转化为清晰的视觉特征（就像翻译学习说图片的语言）。
学习何时停止：他们教导 AI 识别何时需要拍摄这些额外的视觉笔记。它学会说：“我需要更仔细地看这个三角形”，并触发快照工具。
强化：他们使用奖励系统（就像电子游戏得分）来鼓励 AI 仅在视觉笔记实际有助于解决问题时才使用它们，并在不需要时忽略它们。

结果
该论文声称 SCOLAR 取得了巨大成功：

可扩展性：而其他方法在大约 10 条笔记后就会失效，SCOLAR 却能处理多 30 倍的笔记（高达 1,000 条），并且链条越长，表现反而越好。
性能：在现实世界的推理测试（如理解复杂图表或现实场景）中，它显著超越了其他开源模型。
击败巨头：在一个特定测试（V*Bench）中，SCOLAR（一个 70 亿参数模型）得分83.77%，击败了著名的闭源模型 GPT-4o（得分为 67.50%）。

简而言之
该论文认为，试图通过让信息在长长的耳语链条中传递来让 AI“思考”图像是行不通的，因为信息会丢失。相反，SCOLAR 让 AI 能够一次性获得一堆全新的、高质量的自身思维照片。这使得 AI 能够尽可能深入和长久地思考，而永远不会失去对原始图像的关注。

技术摘要：自洽潜在推理（SCOLAR）

1. 问题陈述

虽然语言模型中“为性能而计算”的扩展已证明更长的思维链（CoT）能持续提升推理能力，但通过潜在视觉推理将这一原则应用于视觉 - 语言模型（VLM）却得出了反直觉的结果。现有在生成过程中引入中间潜在视觉表示的方法，随着潜在序列长度的增加，出现了系统性的性能下降。

本文指出了导致这一现象的两个根本原因，称为信息增益崩溃：

自回归依赖：在传统潜在推理中，每个 token 都是基于前一个 token 生成的。这形成了一条依赖链，导致视觉信息在传播过程中不可避免地衰减，致使后续 token 重复已有信息，而非引入新的语义内容。
无意义的监督目标：许多现有方法依赖重度池化（例如 $\ge 128\times$ ）的图像嵌入作为监督目标。作者证明，这些池化特征充当了“无意义的占位符”，提供的信号不优于噪声，无法引导有效的视觉推理。

因此，现有方法中更长的潜在链反而成为负担而非助力，限制了视觉推理的可扩展性。

2. 方法论：SCOLAR

为解决信息增益崩溃问题，作者提出了SCOLAR（自洽潜在推理，Self-COnsistent LAtent Reasoning）。其核心创新是从自回归潜在生成范式转变为单步、自洽生成方法。

架构

SCOLAR 构建于标准的 ViT–投影器–LLM 框架之上，引入了一个轻量级的**去 Transformer（detransformer）**分支：

输入：去 Transformer 以 LLM 的全序列隐藏状态（ $H$ ）（包括文本推理和触发 token）作为输入。
机制：去 Transformer 不是逐个生成潜在 token，而是在单次前向传播中生成整个辅助视觉 token 序列（ $A_0$ ）。
自洽性：每个生成的辅助 token 都独立锚定到原始视觉语义空间（输入分辨率）。这打破了自回归依赖链，确保每个 token 都引入真实、非冗余的视觉信息。
融合：辅助 token 通过门控残差加法（ $A = V + g(A_0)$ ）与原始视觉 token 融合，其中门控机制控制编辑强度。

训练流程

SCOLAR 采用三阶段监督微调（SFT）策略，随后进行强化学习（RL），以解决训练（使用真实辅助图像）与推理（使用自生成潜在表示）之间的分布不匹配问题：

阶段 1：去 Transformer 预训练：去 Transformer 被训练以重建输入图像与真实辅助图像之间的差异（ $\Delta_{aux}$ ），使用重建损失。在此阶段，LLM 骨干网络被冻结，以防止语义崩溃。
阶段 2：触发 token 学习：模型学习自主决定何时激活潜在推理。这是通过加权下一 token 预测（NTP）实现的，对 <auxiliary> 触发 token 施加更高的损失权重，以确保模型学会在必要时调用该机制。
阶段 3：结合教师强制退火的联合推理：模型学习使用其自生成的辅助 token 进行推理。为了缓解分布不匹配，训练过程从使用真实辅助特征逐渐过渡到使用自生成特征（概率从 1.0 线性衰减至 0.0）。
ALPO（辅助潜在策略优化）：由于辅助嵌入是连续的，无法通过标准的离散 token 策略梯度（如 GRPO）直接优化，作者提出了 ALPO。该方法将连续视觉推理与离散文本策略解耦。在 rollout 过程中，生成并缓存辅助嵌入；在 Actor 更新过程中，将其作为固定上下文注入，策略梯度仅针对离散文本 token 计算。一个特定的奖励分量（ $r_{aux}$ ）鼓励正确激活 <auxiliary> 触发。

3. 主要贡献

信息增益崩溃的识别：本文系统诊断了现有潜在视觉推理方法性能下降的根本原因，将其归因于自回归信息衰减以及过度使用重度池化的监督目标。
SCOLAR 框架：一种新颖的单步范式，利用轻量级去 Transformer 生成独立锚定于原始视觉空间的辅助视觉 token，实现了真正可扩展的潜在推理长度。
训练策略：开发了包含教师强制退火的三阶段 SFT，以及新颖的 ALPO 算法，以解决在离散 token 策略框架内优化连续潜在空间所面临的独特挑战。
实证验证：大量实验表明，与 prior 方法相比，SCOLAR 将可接受的潜在 CoT 长度扩展了30 倍以上，同时提升了性能。

4. 实验结果

作者在多个基准测试中，将 SCOLAR（基于 Qwen2.5-VL-7B 骨干网络）与最先进的开源模型及专有系统（GPT-4o, GPT-5.2）进行了评估：

现实世界推理：SCOLAR 在开源模型中取得了最先进的性能。
- MME-RealWorld-Lite：相比骨干网络提升了 14.12%。
- V*Bench：达到83.77%，超过 GPT-4o（67.50%）超过 16 个百分点。
- HRBench4K/8K：在细粒度空间感知任务中取得显著增益。
分布外（OOD）泛化：在完全未出现在训练数据中的VisualPuzzles基准测试上，SCOLAR 表现出强大的泛化能力，特别是在空间推理和类比推理任务中，优于其他开源模型。
潜在长度扩展：
- Monet 和 LVR：随着潜在长度从 3 增加到 1000 个 token，性能系统性下降。
- SCOLAR：随着潜在长度增加，性能持续提升，在完整分辨率（无池化）时达到峰值。
信息增益分析：利用正交投影残差，作者表明 SCOLAR 在 1000 个 token 范围内保持了高信息增益（约 10–30），而 LVR 的增益在 10 个 token 后崩溃至接近零，Monet 的增益则单调衰减。
无意义填充实验：用无意义填充替换 SCOLAR 的潜在 token 会导致灾难性的性能下降，且下降幅度随序列长度增加而增大，证实了模型依赖的是 token 的真实语义内容，而不仅仅是其结构存在。

5. 意义与主张

本文主张 SCOLAR 从根本上解决了视觉潜在推理的可扩展性瓶颈。通过将辅助 token 生成与自回归依赖解耦，SCOLAR 证明了只要 token 携带真实、非衰减的视觉语义，视觉领域的“更长链”确实能带来“更好的推理”。

作者断言，SCOLAR 弥合了小型开源模型与大型专有系统之间的差距，证明配备有效潜在扩展的 7B 模型可以在复杂推理基准测试中超越显著更大的闭源模型。这项工作挑战了潜在推理中普遍依赖重度池化特征和自回归生成的现状，为可扩展的、自洽的多模态推理提出了新方向。

承认的局限性：当前方法依赖成对的输入 - 辅助图像数据进行监督，且去 Transformer 在 RL 阶段的优化是隐式的而非显式的。未来的工作建议探索无监督设置，并为连续视觉空间开发显式的端到端梯度信号。