💻 computer science

On Test-Time Scaling for Vision-Language Models

本文提出了首个关于大型视觉语言模型（LVLMs）测试时扩展（test-time scaling）的全面研究，揭示了规模较小的高性能模型能从额外的推理计算中获益最多，而较大的模型则面临失去焦点的风险，并且视觉信息主要在推理链的早期被利用，随后转向以文本为主的处理过程。

原作者： Fawaz Sammani, Tzoulio Chamiti, Nikos Deligiannis

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fawaz Sammani, Tzoulio Chamiti, Nikos Deligiannis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一支正在试图破解谜团的侦探团队。有些侦探是著名的、受过高度训练的专家（即“大模型”），而另一些则是聪明且好学的初级侦探（即“小模型”）。

长期以来，人们一直认为，为了获得最好的答案，你必须雇佣最昂贵、最大的专家。但这篇文章提出了一个简单的问题：如果我们让这些初级侦探多花点时间，让他们把思考过程说出来，并反复检查自己的工作呢？ 这个过程被称为“推理侧扩展”（Test-Time Scaling）。与其把侦探变大，不如只是在调查过程中给他们更多的“思考时间”和“草稿纸”。

以下是研究人员通过简单的类比所发现的成果：

1. “初级侦探”带来的惊喜

旧有观念： 在纯文本 AI 的世界里，人们认为小的、廉价的模型因为太笨，无法从更长的思考时间中获益。他们认为：“如果侦探本身规模很小，即便给他们更多时间也没用；他们只会变得更加混乱。”

新发现： 研究人员发现，对于视觉语言模型（能够看图并回答问题的 AI）来说，情况恰恰相反。

类比： 想象一个虽然基础知识扎实但容易紧张的小型精干初级侦探。当你给他们一份“步步为营”的清单（这种方法被称为“思维链”，Chain-of-Thought）时，他们突然变得非常出色。
结果： 这些小模型（如 2B 或 4B 参数的模型）的分数提升了高达 30% 到 40%。在许多情况下，一个拥有额外思考时间的模型，其表现甚至优于一个只给出快速直觉反应的庞大且昂贵的模型。
启示： 你并不总是需要一位超级昂贵的“大师级侦探”。一个拥有良好流程的聪明小侦探可以击败大侦探。

2. “过度思考”的危险

问题所在： 研究人员注意到，如果你让侦探在处理简单任务时思考太多，他们就会开始出错。

类比： 想象一名侦探正在看一张红苹果的照片，并被问到：“这个苹果是什么颜色的？”
- 常规做法： “它是红色的。”（正确）
- 过度思考的做法： “嗯，光线有点奇怪。也许是个陷阱。它是西红柿吗？是一个红球吗？等等，那个阴影看起来像个蓝莓……”（错误/幻觉）。
结果： 当任务仅仅涉及“感知”（即看清物体）时，给 AI 更多时间去“思考”反而会让它失去焦点。它开始编造故事并产生错误。
启示： 如果工作只是为了描述你看到了什么，请保持简短。如果你让 AI 喋喋不休，它就会开始“幻觉”（凭空捏造）。

3. “快照”效应

发现： 研究人员观察了 AI 是如何思考的。他们观察了 AI 在撰写答案时正在注视图像的哪些部分。

类比： 把 AI 的推理过程想象成在读地图。
- 第一步（快照）： 在一开始，AI 会强烈地注视图像。它拍下一张精神上的“快照”，并将视觉细节存储在记忆中。
- 第二步（行走）： 在最初的几秒钟之后，AI 停止注视图像。它闭上眼睛，利用之前拍下的“快照”在记忆中穿行，以此来解开谜题。它不再看图片，而是开始自言自语。
结果： AI 说话的时间越长，它实际观察图片的时间就越少。当它写到最后一句时，它几乎完全依赖于自己的文字，而不是图像。
启示： 视觉信息是“前置”的。AI 需要在开始时进行快速、清晰的观察，然后利用其内部推理来解决问题，而不是依赖图片。如果它话太多，就会偏离原始图像。

总结规则

根据这项研究，以下是使用这些 AI 模型的简单指南：

针对困难的逻辑/数学问题： 不要只买最大、最贵的模型。买一个规模较小、较便宜的模型，并告诉它要“步步为营地思考”。它的表现很可能会超过大模型。
针对简单的“你看到了什么？”类问题： 不要让 AI 思考太久。保持回答简短。如果你强迫它对一张简单的图片写一段长篇大论，它会开始撒谎或变得混乱。
过程规律： AI 在开始时会对图像进行快速的精神拍照，然后利用其记忆（而非图片本身）来解决问题。

简而言之：拥有良好流程的小模型可以击败大模型，但前提是你得知道何时让他们停止过度思考。

技术摘要：关于视觉语言模型的测试时缩放研究

问题陈述

测试时缩放（Test-time scaling, TTS）是一种在推理过程中利用额外计算资源来提升性能，而不修改模型权重的范式。虽然该领域在大型语言模型（LLM）中已得到广泛研究，但在大型视觉语言模型（LVLM）中的适用性仍有待深入探索。现有文献表明，TTS 方法（尤其是思维链 CoT 提示）对于小型 LLM 效果不佳，甚至可能降低 LVLM 的性能。此外，针对视觉语言任务量身定制的特定 TTS 技术已被提出，其假设是标准的 LLM 方法无法有效迁移。本研究旨在解决一个根本性问题：为 LLM 开发的传统测试时缩放方法能否直接应用于 LVLM，以及在何种条件下它们会成功或失败？

研究方法

作者进行了一项涵盖多种模型架构、规模和基准测试的全面实证研究。

模型与基准测试

模型： 本研究评估了四个系列中的 13 个指令微调模型：Qwen-2.5-VL、Qwen-3-VL、InternVL-3.5 和 Molmo2。模型规模从 2B 到 72B 参数不等。
基准测试： 使用了六个涵盖感知、推理和幻觉的多元基准测试：
- 推理类： WeMath, LogicVista。
- 感知类： RealWorldQA, A-OKVQA。
- 混合/幻觉类： MMStar, HallusionBench。

测试时缩放方法

评估了九种推理策略，分为借鉴自 LLM 文献的方法和视觉语言任务特有的方法：

思维链 (CoT)： 提示模型进行逐步思考。
结构化思维链 (S-CoT)： 引导分解过程和逻辑推理。
计划与解决 (PaS)： 在执行前制定计划。
自我一致性 (Self-Consistency)： 采样多个推理链并进行多数投票选择。
自我聚合 (Self-Aggregation)： 生成多个推理链并将其聚合成最终答案。
自我精炼 (Self-Refinement)： 对单个推理链进行迭代优化。
描述-回答 (Describe-Answer)： 在回答之前生成详细的图像描述。
组合思维链 (CCoT)： 在回答之前生成场景图。
提示重复 (Prompt Repetition)： 通过重复输入问题来模拟双向注意力。

分析技术

Token 预算分析： 通过减少输出 Token 限制（300 个 token）重复实验，以确定性能增益是依赖于冗长的推理过程，还是仅需早期停止即可。
注意力动力学： 作者分析了生成 Token 的注意力图，以衡量在生成步骤中对图像 Token ( $P_{ad}^v$ ) 与先前生成的文本 Token ( $g_{0...y-1}$ ) 的注意力分配情况。
因果干预（图像键值对丢弃）： 在不同的生成步骤（20, 50, 100, 200, 300）中将图像 Token 从键值（Key-Value）缓存中移除，以衡量在不同推理阶段移除视觉信息的影响。
理由质量评估： 使用“LLM 作为评判者”的方法和人工评估来评估生成的推理链的充分性和动态特性。

核心发现与结果

1. 小模型从 TTS 中获益最多

与 LLM 文献中发现的小型模型（<10B）通常无法从 TTS 中获益的结论相反，研究发现具备能力的指令微调小型 LVLM（2B–8B）获益最为显著。

性能提升： 小型模型在推理任务上的性能提升高达 30–40%。
超越大型模型： 一个配备 TTS（如 CoT 或自我一致性）的 4B 模型（Qwen3-VL-4B）在推理基准测试（如 LogicVista, WeMath）上，往往能匹配甚至超越未配备 TTS 的 32B 基准模型。
效率： Pareto 前沿分析表明，将计算资源分配给带有 TTS 的较小模型，通常比使用不带 TTS 的较大模型更高效。

2. TTS 可能损害纯感知任务

虽然 TTS 提升了推理能力，但它经常会降低专注于感知的基准测试（如 RealWorldQA, A-OKVQA）的性能，这些任务对推理需求有限。

过度思考： 当对于简单的感知任务被给予过多的计算量（长 Token 预算）时，LVLM 倾向于“过度思考”、做出错误假设并累积误差，从而导致幻觉。
Token 预算敏感性： 将 Token 预算减少到 300 个 token 可以提高或维持感知任务的性能，但会降低推理任务的性能。这表明推理链驱动了复杂任务的正确答案，而冗余的表述则会损害简单的感知任务。

3. 视觉信息编码较早

注意力分析显示，视觉对齐是前置化的：

早期注意力： 图像 Token 的注意力在推理链开始时达到峰值，并迅速衰减。
文本主导的推理： 在初始窗口之后，模型高度依赖先前生成的文本 Token 和图像的隐藏状态表示，而非重新关注图像。
因果证据： 在生成约 200 步后移除图像 Token 对准确率的影响微乎其微，这证实了视觉信息被及早吸收，随后的推理过程是基于文本的。

4. 理由质量

充分性： 生成的理由通常包含足够的信息，使得外部评判者在没有图像的情况下也能回答问题，尤其是在高质量模型中。
动态性： 推理链通常始于不确定性，在中期转向对正确答案的明确支持，并在链条结束前达到信息充分的状态。

重要性与贡献

本文声称提供了关于 LVLM 零样本测试时缩放的首个全面研究，其贡献如下：

重新审视假设： 它挑战了“基于 LLM 的 TTS 方法无法迁移至 LVLM”的普遍观点，证明了标准方法非常有效，尤其是对于小型模型。
准确度-计算量权衡： 它确立了部署更便宜、更快且低显存占用的 LVLM 并结合 TTS，可以获得与大型模型相当甚至更高的准确度，这为研究和工业界提供了一种实际的部署策略。
诊断性见解： 它指出由于过度计算导致的“注意力丧失”是感知任务的主要失效模式，这表明有必要通过任务分类（推理型 vs 感知型）来决定是否应用 TTS。
机制理解： 通过注意力分析和因果分析，论文阐明了视觉信息在推理过程中被早期编码，随后的步骤依赖于文本上下文，这解释了为什么过度冗长的生成会导致幻觉。

总之，作者认为零样本测试时缩放是提升 LVLM 性能（特别是小型模型）的强大杠杆，但必须谨慎应用，以避免降低那些不需要复杂推理的任务的性能。