🤖 machine learning

Scaffolding Minds: Optimizing Latent Visual Target Representations for Multimodal Reasoning

该论文提出了“Scaffolding Minds”，这是一种通过引入专门的脚手架编码器以在监督微调中获得更好的潜在目标表示，并同时学习均值与方差以使强化学习采样器能够进行有效探索，从而通过优化多模态推理，显著超越现有基线在各种视觉推理任务上的表现的方法。

原作者： Haoqiang Kang, Yinpeng Chen, Luyang Liu, Jesper Sparre Andersen, Abhijit Ogale, Baochen Sun, Lichan Hong, Ed H. Chi

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoqiang Kang, Yinpeng Chen, Luyang Liu, Jesper Sparre Andersen, Abhijit Ogale, Baochen Sun, Lichan Hong, Ed H. Chi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

长期以来，人工智能在像人类那样观察世界方面一直面临挑战。当计算机观察一张图片时，它通常可以识别物体，但往往无法理解物体之间的关系，也无法通过复杂的视觉谜题进行推理。多年来，研究人员一直试图通过教机器“大声思考”来解决这个问题，即强迫它们在给出答案之前，先用文字写出逐步的解释。虽然这有所帮助，但它往往迫使机器将丰富、详细的视觉信息转化为笨拙的文字，从而在过程中丢失了重要的细微差别。一种更新的方法试图通过让机器保留其想法于一种隐藏的、内部语言中来解决这个问题——这是一种只存在于计算机大脑内部的连续数据流。这种被称为“潜空间推理”（latent reasoning）的方法，允许模型保留视觉细节，而不必将其描述为句子。然而，即使是这种先进的技术也遇到了瓶ط：机器生成的内部想法通常基于通用的、预制的工具，而这些工具并非为特定的问题而设计，导致机器难以探索不同的思考方式以找到最佳解决方案。

来自 Google DeepMind 和加州大学圣地亚哥分校的研究团队开发了一种名为“思维脚手架”（Scaffolding Minds）的新框架，旨在克服这些障碍。他们的工作专注于两个此类内部推理系统通常失败的特定阶段。首先，在初始学习阶段，机器通常被教导去模仿一个标准的、现成的视觉编码器（vision encoder）的输出——这是一种经过数百万张通用图像（如猫、汽车和风景）训练的工具，用于识别物体。问题在于，这个通用的工具并未针对机器试图解决的特定推理任务进行优化。它可能会保留无关的视觉细节，却忽略了解决谜题所需的关键证据。其次，当机器试图通过试错来改进自身时，现有方法通常会迫使它僵化地遵循单一的思考路径，或者仅允许它调整书面答案，而保持内部视觉推理不变。这阻碍了机器发现更好解决问题的新方法。

为了解决这个问题，研究人员引入了一个由两部分组成的系统，它就像是机器内部思想的一个定制构建的引导者。在第一阶段，他们没有依赖通用工具，而是训练了一个专门的“脚手架编码器”（scaffolding encoder）。可以将它想象成一位专门的导师，它学习的是什么样的内部笔记对特定任务最有帮助，而不是仅仅复制一本通用的字典。这位导师接收一张辅助图像（仅在训练期间提供的视觉辅助工具），并将其转换为一组优化的内部标记（tokens），这些标记经过完美调优，能够应对推理挑战。一旦机器学会了如何自主生成这些优化的笔记，导师就会被丢弃，机器便可以独立工作。

在第二阶段，研究人员用一个灵活的、基于学习的采样器（sampler）取代了通常支配机器内部思想的僵化规则。这种新方法不再强迫机器停留在单一的、预定的轨道上，而是允许机器在练习过程中对内部思想进行不同变体的采样。它学习调整思考的“均值”和“方差”，从而有效地探索更广泛的可能性，以观察哪条内部路径能导向正确答案。这种探索是由奖励引导的，鼓励机器寻找最有效的推理轨迹，而不是仅仅满足于它找到的第一条路径。

该方法的测试结果是在一系列具有挑战性的视觉推理任务上进行的，其中包括一个名为“冰湖”（FrozenLake）的空间规划游戏，其中角色必须在布满冰块和洞穴的网格中导航以到达目标。在标准的 8x8 网格上，与最强的先前尝试相比，新方法的准确率提高了 9.5%。随着谜题变得更加困难（网格扩展到 32x32），这种优势显著增长，新系统的表现优于之前的最佳方法 19%。研究人员还在另外九个需要精细观察和比较的视觉推理基准测试中测试了该系统。在所有这些测试中，该方法始终提高了性能，平均准确率提升了 5.2%。

该研究明确排除了“在推理过程中生成新图像对于成功是必要条件”的观点。其他试图通过绘制中间图像来辅助机器思考的方法，往往面临着高昂的计算成本和较慢的速度。Scaffolding Minds 方法在没有生成任何额外图像的情况下实现了卓越的结果，证明了优化视觉数据的内部、隐藏表示比创建可见的中间步骤更为有效。研究人员发现，这两个改进措施——为内部笔记定制训练的导师以及对这些笔记进行灵活探索——在结合使用时效果最好。如果没有定制的导师，灵活的探索就无法发挥其全部潜力；而如果没有探索，定制的导师也无法将其路径精炼至最佳解决方案。

这项工作表明，机器旨在达到的内部目标的质量，与其实现目标的方法同样重要。通过教机器生成经过优化的内部笔记，并允许它探索这些笔记的不同变体，研究人员创造了一个能够以更高精度和可靠性推理复杂视觉问题的系统。研究结果表明，未来的视觉推理进展可能不再仅仅取决于让机器“看”得更多或“说”得更好，而更多在于教它们如何构建其隐藏的、内部的思想，使其与手头的任务完美契合。

技术摘要：Scaffolding Minds（思维支架）

问题陈述

潜在视觉推理（Latent visual reasoning）已成为一种引人注目的多模态推理解决方案，它允许视觉语言模型（VLMs）通过在推理链中交织连续的潜在标记（latent tokens），实现文本与视觉的双重“思考”。目前的方法通常遵循两阶段训练范式：(1) 监督微调（SFT），其中一个“辅助图像”（helper image）被编码为潜在标记，作为目标，该过程使用冻结的、现成的视觉编码器；(2) 强化学习（RL），通过奖励反馈对模型进行精炼。

作者指出了现有框架中的两个关键局限性：

次优的 SFT 目标： SFT 阶段的潜在目标源自冻结的通用视觉编码器。这些编码器并未针对特定的下游推理任务进行优化，往往保留了与任务无关的感知内容，同时未能强调推理所需的中间证据。因此，模型被引导向一个虽然便利但并非最优的目标。
有限的 RL 探索： 现有的 RL 方法要么忽略潜在块（latent block），要么应用确定性正则化（例如固定方差的高斯约束）。这些方法没有采样替代的潜在动作（latent actions），从而阻碍了对多样化潜在推理轨迹的探索。这种探索能力的缺失导致性能提升微小或不稳定。

方法论：Scaffolding Minds

本文提出了 Scaffolding Minds，这是一个旨在通过优化潜在目标表示和探索机制来解决上述局限性的两阶段框架。

第一阶段：通过 Scaffolding 编码器进行 SFT

作者没有依赖冻结的现成编码器，而是引入了一个可学习的 Scaffolding 编码器 ( $\psi$ )。

支架阶段（Scaffolding Phase）： 一个专门的编码器被端到端地训练，用于将辅助图像 $h$ 映射到目标潜在块 $z^*$ 。该编码器直接通过下游任务损失（答案标记的交叉熵）进行优化，而基础 VLM 保持冻结。这确保了 $z^*$ 能够精准捕捉 VLM 所需的、对推理敏感的特征。
生成阶段（Generation Phase）： 基础 VLM 被微调为仅从输入 $x$ 生成其自身的潜在块 $z$ ，并通过与冻结目标 $z^*$ 的 $L_2$ 匹配损失进行监督。在推理时，辅助图像会被丢弃。
架构： Scaffolding 编码器由 VLM 视觉编码器的可训练副本以及一个交叉注意力池化模块组成。

第二阶段：Scaffolding RL

为了在潜在空间中实现探索，作者使用 Scaffolding RL 取代了确定性正则化，该方法对残差潜在动作（residual latent actions）采用显式的、输入自适应的高斯策略。

残差动作采样： 模型生成一个基础潜在先验 $z_\theta$ 。两个轻量级的 MLP 头分别预测一个用于高斯分布的输入自适应均值 $\mu(z_\theta)$ 和方差 $\sigma^2(z_\theta)$ 。
探索： 在展开（rollout）期间，模型采样一个残差调整 $\Delta z \sim \mathcal{N}(\mu, \sigma^2)$ ，并将其应用于先验项（即 $z_\theta + \Delta z$ ）。该采样动作会在当前策略和旧策略下进行评估，以计算受奖励引导的优势（advantage）。
稳定性： 均值头经过零初始化，使初始分布集中在先验项上；方差头则从较小的正值开始，以确保初始探索的稳定性。

核心贡献

优化的潜在目标： 本文引入了一种 Scaffolding 编码器，它通过下游任务端到端地学习潜在目标，摆脱了以往工作中次优且冻结的特征。
随机潜在探索： 提出了 Scaffolding RL，它通过学习高斯策略来采样残差潜在动作，取代了确定性正则化，从而实现了对替代推理轨迹的直接探索。
互补性： 作者证明了优化后的目标（第一阶段）与探索机制（第二阶段）具有互补性：Scaffolding 编码器提供了一个高精度的起点，而 Scaffolding RL 则通过奖励驱动的探索来进一步精炼该目标。

实验结果

该方法在 FrozenLake（空间规划）和九个以视觉为中心的推理基准测试上进行了评估。

FrozenLake（空间规划）：
- 在 8×8 到 32×32 的网格规模下，Scaffolding Minds 在最强的先验潜在基线（VaLR）基础上平均提升了 +9.5%。
- 随着任务难度的增加，性能差距进一步扩大，在最具挑战性的 32×32 网格上达到了 +19%。
- 与 SFT 基线相比，完整的方法实现了 +23.0% 的绝对提升。
- 消融研究证实，目标优化（微调视觉编码器）驱动了大部分收益（比仅改变目标函数高出 +10.0%），并且在 RL 中采样学习到的调整对于获得稳定收益至关重要（比确定性方法高出 +3.0%）。
以视觉为中心的推理基准测试：
- 在九个基准测试（包括 V★, BLINK, MMVP, CV-Bench 等）中，该方法比最强的先验潜在基线平均提升了 +5.2%。
- 在需要细粒度空间和视觉区分的任务上，增益最为显著（例如，在 MMVP 上提升了 +20.7%，在 MME-RealWorld-Lite 上提升了 +17.6%）。
- 该方法优于生成显式中间图像的“以图思考”（think-with-image）系统，在保持接近基础 VLM 推理成本的同时取得了强劲结果。
效率：
- 与基础 VLM 相比，该方法仅增加了 4.6% 的推理延迟，显著低于增加超过 100% 开销的图像生成类方法。

重要性与主张

论文声称，Scaffolding Minds 证明了潜在目标的质量和潜在空间中的直接探索对于有效的潜在视觉推理都至关重要。通过将潜在目标视为系统的一个优化组件而非固定特征，并利用随机性探索潜在轨迹，该方法在不产生中间图像计算成本的情况下，实现了相对于强基线的实质性提升。作者将这项工作定位为迈向更高效、更强大的多模态推理的一步，表明如果能对潜在空间本身进行适当的优化和探索，显式的图像生成并非严格必要。

论文也承认了局限性，指出该方法在训练阶段仍依赖于中间辅助图像的存在，并且如何为新领域自动提出此类图像仍是未来研究中一个开放性的问题。