💻 computer science

Test-time Scaling over Perception: Resolving the Grounding Paradox in Thinking with Images

该论文针对多模态大模型在“图像思考”中因缺乏证据而难以决定观察位置的“接地悖论”，提出了测试时感知扩展（TTSP）框架，通过生成并筛选多轮感知轨迹、蒸馏结构化知识及迭代优化探索，显著提升了模型在高分辨率和复杂推理任务中的鲁棒性与效率。

原作者： Zheng Jiang, Yiming Chen, Nan He, Jiahui Chen, Chaoyang Li, Houde Qian, Lifeng Sun

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Zheng Jiang, Yiming Chen, Nan He, Jiahui Chen, Chaoyang Li, Houde Qian, Lifeng Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让多模态大模型（能看图说话的 AI）变得更聪明、更靠谱的新方法。我们可以把它想象成教一个“急性子”的侦探学会如何更耐心地破案。

1. 核心难题：侦探的“死循环”困境

论文首先指出了一个有趣的现象，叫**“落地悖论”（Grounding Paradox）**。

场景：想象一个侦探（AI 模型）面对一张巨大的、细节丰富的照片，需要找出一个微小的线索（比如照片角落的一行小字，或者远处旗帜的颜色）。
困境：侦探想放大看细节（调用“放大工具”），但他必须先决定**“放大哪里”**。可是，如果不放大，他根本看不清细节，也就不知道“哪里”值得放大。
结果：这就陷入了死循环——“为了看清细节，我需要先知道细节在哪；但为了知道细节在哪，我又需要先看清细节。”
现状：现在的 AI 往往在这个环节“瞎猜”，经常放大错误的地方，或者漏掉关键证据，导致推理失败。

2. 解决方案：TTSP（测试时感知扩展）

为了解决这个问题，作者提出了 TTSP（Test-Time Scaling over Perception）。

我们可以把 TTSP 想象成**“雇佣了一支侦探小队，而不是只派一个侦探”**。

核心流程（用侦探小队来比喻）：

第一步：分头行动（并行探索）

传统做法：派一个侦探，让他猜一个地方放大，如果猜错了，全盘皆输。
TTSP 做法：同时派出 8 个（或更多）侦探（生成多条“感知轨迹”）。
- 有的侦探比较“大胆”，随机去照片的各个角落看看（新鲜线索）。
- 有的侦探比较“谨慎”，根据之前大家发现的信息，专门去检查大家有争议的地方（引导线索）。
- 目的：只要有一个侦探猜对了，就能找到关键证据。

第二步：去伪存真（基于熵的筛选）

侦探们回来后，大家七嘴八舌。有的侦探可能看错了，有的可能是在“瞎编”（幻觉）。
TTSP 有一个**“总指挥”，他会检查每个侦探的“自信程度”**（通过计算模型输出的不确定性/熵）。
- 如果某个侦探在关键问题上犹豫不决、逻辑混乱，总指挥就淘汰他。
- 只留下那些**“言之有物、逻辑清晰”**的侦探报告。

第三步：整理情报库（结构化知识提炼）

这是 TTSP 最聪明的地方。它不会把所有报告混在一起，而是建立一个**“情报板”**：
- 已确认事实：比如“所有留下的侦探都同意，那面旗子是红色的”。这就记下来，下次不用再看旗子了。
- 待解冲突：比如“侦探 A 说旗子是红的，侦探 B 说旗子是蓝的”。这就记下来，标记为**“重点怀疑对象”**。
作用：把模糊的“我觉得”变成了清晰的“事实”和“待办事项”。

第四步：迭代破案（多轮推理）

下一轮：派出新的侦探小队。
- 他们不需要再去看“已确认事实”（比如旗子颜色），节省时间。
- 他们专门去解决“待解冲突”（比如去确认旗子到底是红是蓝）。
这样，每一轮都在**“去粗取精”**，把模糊的猜测变成确定的事实，直到所有疑点都解开。

第五步：最终判决（加权投票）

最后，根据所有幸存侦探的**“自信度”**进行投票。越自信的侦探，票数权重越高，最终得出答案。

3. 为什么这个方法很厉害？

不再“瞎蒙”：它承认 AI 一开始看不清，所以不强迫它一次猜对，而是通过“人多力量大”和“多轮修正”来逼近真相。
越用越聪明：就像侦探队一样，随着轮数增加，大家知道的信息越来越多，剩下的问题越来越少，推理效率反而越来越高（用的 Token 更少，但更准）。
适应性强：不管照片是 4K 还是 8K，不管问题多难，这个方法都能通过“增加人手”（增加计算量）来解决问题，而且比单纯把模型训练得更大更有效。

总结

这篇论文的核心思想是：当 AI 看不清细节时，不要逼它“一眼定乾坤”，而是给它机会“多看看、多商量、多修正”。

TTSP 就像给 AI 装了一个**“集体智慧 + 纠错机制”**，让它从“单兵作战的莽夫”变成了“分工明确、去伪存真的精英侦探团队”。这不仅解决了“看不清怎么放大”的悖论，还让 AI 在处理复杂图像任务时变得更加稳健和高效。

1. 研究背景与核心问题 (Problem)

背景：
多模态大语言模型（MLLMs）正在从“一次性图像理解”向“图像思维（Thinking with Images）”范式转变。后者赋予模型视觉工具（如放大、裁剪），使其能够在推理过程中主动检查图像的特定区域，以获取高分辨率信息。

核心挑战：落地悖论 (The Grounding Paradox)
尽管引入了视觉工具，现有系统在细粒度视觉推理中仍然脆弱。作者提出了一个核心概念——落地悖论：

定义：模型需要调用视觉工具（如放大）来获取细粒度的证据以回答问题，但决定“在哪里”调用工具（即选择正确的区域）本身就需要细粒度的判别信息，而这些信息恰恰是全局感知状态（Global Perceptual State）中所缺乏的。
后果：这导致了一个循环依赖。模型必须在“尚未感知到证据”的情况下决定“去哪里寻找证据”。这导致模型经常检查无关区域、遗漏关键证据，或者在需要细节时未能调用工具。现有的方法往往只是模仿工具调用模式，而无法在初始感知不完整或错误时，通过主动探索来恢复正确的证据。

2. 方法论：感知层面的测试时扩展 (Methodology: TTSP)

为了解决上述悖论，作者提出了 TTSP (Test-Time Scaling over Perception) 框架。其核心思想是将感知本身视为一个可扩展的推理过程，而不仅仅是下游的推理步骤。TTSP 通过多轮迭代、并行探索和结构化知识蒸馏来打破循环依赖。

核心流程 (Algorithm 1 & Figure 2)

TTSP 将推理过程分为 $N$ 轮，每轮包含以下三个耦合步骤：

并行感知探索 (Parallel Perceptual Exploration)：
- 在每一轮中，并行生成 $K$ 条感知轨迹（Traces）。
- 混合采样策略：为了平衡探索（Exploration）与利用（Exploitation），TTSP 将轨迹分为两类：
  - 新鲜轨迹 (Fresh Traces, 比例 $\alpha$ )：不依赖之前的知识，独立探索图像，保持对视觉空间的广泛覆盖，防止陷入局部最优。
  - 引导轨迹 (Guided Traces, 比例 $1-\alpha$ )：基于上一轮生成的结构化知识进行引导，专注于解决未解决的冲突或验证假设。
- 这种设计模拟了蒙特卡洛树搜索（MCTS）中的策略，在感知假设空间中进行搜索。
可靠性评分与过滤 (Reliability Scoring & Filtering)：
- 并非所有轨迹都是可靠的。TTSP 利用**基于 Token 级别的熵（Entropy）**来评估每条轨迹的可靠性。
- 计算轨迹中关键决策点（如选择边界框坐标、最终答案）的最高熵 Token 的平均负熵作为得分。
- 根据得分对轨迹进行排序，剔除底部 $\rho$ 比例的低置信度轨迹（防止幻觉和错误证据污染后续过程）。
结构化知识提取与迭代精炼 (Structured Knowledge Extraction & Iterative Refinement)：
- 将过滤后的轨迹蒸馏为一个结构化知识记忆（Structured Knowledge Memory），包含两个互补部分：
  - 已确认知识 (Confirmed Knowledge)：在多条独立轨迹中一致支持且经图像验证的观察结果。这些被视为事实，后续轮次无需重复检查。
  - 开放冲突 (Open Conflicts)：不同轨迹之间存在分歧的未决问题。每个冲突包含竞争观点和空间指令（指示下一轮应检查的具体区域）。
- 这种记忆被注入到下一轮的引导轨迹中，使后续探索从“盲目搜索”转向“针对未解决不确定性的聚焦调查”。
最终聚合：
- 在所有轮次结束后，对所有保留的轨迹进行可靠性加权聚合（Reliability-weighted Aggregation），生成最终答案。

3. 主要贡献 (Key Contributions)

理论洞察：首次明确定义了落地悖论，指出工具增强型视觉推理的主要瓶颈不在于工具本身，而在于缺乏在不确定性下进行“有根据的感知搜索”的机制。
框架创新：提出了 TTSP，这是首个将测试时扩展（Test-time Scaling）从纯文本推理扩展到主动视觉证据搜索的框架。它不依赖单一轨迹，而是通过多轨迹探索、验证和迭代精炼来应对感知不确定性。
实证突破：在高分辨率和通用多模态推理基准测试中，TTSP 在多种骨干网络（Backbone）上均显著优于现有强基线（包括 GPT-4o, Thyme, DeepEyes 等），证明了扩展感知过程比单纯扩展推理过程更有效。

4. 实验结果 (Results)

基准测试表现：
- 在 V*Bench, HR-Bench (4K/8K), TreeBench 等高分辨率基准上，TTSP 在属性识别、空间关系、细粒度感知等任务上取得了 SOTA 成绩。
- 在 MME-RealWorld-Lite 通用基准上，TTSP 在感知和推理子集上均表现出显著提升。
- 相比基线模型（如 Qwen3-VL-4B/8B），TTSP 带来了显著的性能提升，且随着模型规模增大，优势依然保持。
消融实验 (Ablation Study)：
- 移除可靠性过滤 (w/o RF)：性能下降，证明过滤不可靠轨迹的必要性。
- 移除结构化知识 (w/o SK)：性能下降最明显，证明迭代精炼和知识蒸馏是核心驱动力。
- 移除加权聚合 (w/o WA)：性能下降，证明高置信度轨迹应获得更高权重。
可扩展性 (Scalability)：
- 模型规模：TTSP 与模型参数扩展呈互补关系，在大模型上依然有效。
- 感知宽度 (Perception Width)：增加并行轨迹数量能显著提升性能，符合“增加并行感知轨迹以提高命中正确区域概率”的假设。
- 感知深度 (Perception Depth)：增加迭代轮次能带来持续收益，表明深度精炼比简单的重采样更有效。
效率分析：
- 尽管 TTSP 涉及多轮推理，但通过结构化知识避免了对同一区域的重复检查，其Token 消耗量实际上低于并发方法 RTWI，表现出更高的推理效率。
- 随着轮次增加，工具调用次数和推理链长度（CoT Length）均呈下降趋势，表明模型越来越依赖已确认的知识，减少了冗余探索。

5. 意义与展望 (Significance)

范式转变：TTSP 证明了在测试时扩展感知过程（而不仅仅是推理过程）是解决多模态不确定性问题的有效途径。它改变了“一次性猜测”的工具使用模式，将其转变为“假设 - 验证 - 精炼”的迭代过程。
解决根本矛盾：通过引入多轨迹探索和结构化记忆，TTSP 有效缓解了“落地悖论”，使得模型能够在缺乏初始细粒度信息的情况下，通过主动搜索逐步构建正确的证据链。
通用性：该方法不依赖于特定的模型架构，适用于各种 MLLM，为未来的多模态智能体（Multimodal Agents）在复杂、高分辨率场景下的推理提供了新的设计思路。

总结：这篇论文通过提出 TTSP 框架，成功地将测试时计算能力转化为感知能力的提升，通过并行探索、熵值过滤和结构化知识迭代，解决了多模态推理中“不知道看哪里”的根本性难题，显著提升了模型在细粒度视觉任务中的鲁棒性和准确性。