The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images

技术摘要：视觉工具使用的幻觉

问题陈述
“以图思考”（thinking-with-images）范式为多模态大语言模型（MLLMs）提供了主动视觉操作能力（如裁剪与缩放），使其能够获取超越单一全局视图的细粒度证据。然而，实证观察揭示了一个“边际收益悖论”：尽管工具的使用带来了显著更高的 Token 成本，但利用这些工具的模型相比直接推理往往仅获得边际收益，甚至出现准确率下降。此外，工具增强的展开过程（rollouts）经常在直接推理可以回答的问题上失败，表现为反复裁剪无关区域。核心问题在于：这些工具返回的视觉证据是否在因果层面上影响了模型的最终预测，还是说工具使用仅仅是一种表演性的仪式。

方法论：因果审计框架
作者将视觉工具使用建模为关于输入图像 $I$、查询 $Q$、工具动作序列 $T_{1:n}$、返回观测值 $O_{1:n}$ 以及最终答案 $Y$ 的结构因果模型（SCM）。该框架区分了从输入到输出的两条因果路径：

1. 观测中介路径 ($T \to O \to Y$)：即观测到的视觉内容真实地支撑了答案。
2. 动作诱导捷径 ($T \to Y$)：即仅仅是工具动作的存在影响了答案，而与观测内容本身无关。

为了审计这些路径，论文提出了一个三层干预协议：

• 策略层（Policy-Level）：通过比较工具启用策略（$\pi_{tool}$）与直接推理策略（$\pi_{direct}$）来衡量对准确率的平均处理效应（ATE）。
• 轨迹层（Trajectory-Level）：在展开过程中动态地破坏所有返回的观测值（$O_i$）（例如，将其替换为来自同一图像的随机裁剪区域），以衡量移除视觉证据的总效应，包括由诱导的策略反应（如预算耗尽）带来的影响。
• 步骤层（Step-Level）：引入了视觉证据增益（Visual Evidence Gain, VEG），这是一个反事实估计量。对于特定步骤 $i$，模型在调用前、调用真实观测后以及调用反事实观测（来自不同位置的裁剪）后的置信度差距被进行测量。$VEG_i = \Delta M^{real}_i - \Delta M^{cf}_i$ 隔离了特定视觉内容的因果贡献，从而过滤掉动作诱导的捷径。

核心贡献

1. 因果公式化：论文将视觉工具使用形式化为一个因果图，通过三层干预协议将观测中介效用与动作诱导捷径进行解耦。
2. 识别策略失配（Policy Miscalibration）：研究指出“策略失配”是核心瓶颈，其特征表现为两种截然不同的失败模式：
   • 只调用不看（Calling Without Looking, CWL）：模型发起了工具调用，但视觉内容对答案没有因果影响（由于先验置信度已饱和或属于结构性无效调用）。
   • 只看不计划（Looking Without Planning, LWP）：视觉内容具有信息量，但调用计划不连贯（例如，在答案已确定后继续调用，或在无信息区域耗尽预算）。
3. 轨迹层诊断：一个确定性分类器将每次展开过程分为四组：无调用（No-call）、模式 1 (CWL)、模式 2 (LWP) 以及 校准型（Calibrated，即有效使用）。
4. 收益分解：作者将总体的策略级准确率增益分解为这些组别的贡献，揭示了改进几乎完全集中在“校准型”这一少数群体中。

结果
在六个代表性模型（包括 DeepEyes, Mini-o3, Qwen3-VL 和 Thyme）和五个细粒度感知基准测试上进行了评估：

• 边际收益：策略层 ATE 通常很小或为负。例如，DeepEyes 几乎没有提升，而 Mini-o3 和 Qwen3-VL-8B 在特定基准上显示出微弱增益。
• 因果无效性：轨迹层干预（破坏观测值）导致 Mini-o3 和 Qwen3-VL 等模型出现巨大的准确率下降，这表明它们严重依赖工具接口结构而非视觉内容，或者在反馈被破坏时规划会崩溃。
• VEG 分析：步骤层分析显示，对于许多模型（如 DeepEyes），VEG 在所有调用中都接近于零，表明视觉内容被忽略了。对于其他模型（如 Qwen3-VL-8B），仅在模型尚未饱和时 VEG 较高，但模型经常在饱和后继续调用（过度扩展/Over-Extension）。
• 幻觉：有效使用工具的“校准型”子集仅占展开过程中的少数（例如，取决于模型不同，占比约 20%-45%）。基准测试中报告的总体准确率增益几乎完全由这一子集驱动，而大多数工具调用要么与答案脱节（CWL），要么调度不连贯（LWP）。

意义与主张
论文旨在揭示**“视觉工具使用的幻象”**：基准测试中观察到的总体准确率增益创造了一种误导性的印象，即视觉工具使用在广泛且因果层面上是有效的。实际上，对于广泛的展开过程而言，返回的视觉证据并不在因果上中介答案。

作者提出了 RL-陷阱假设（RL-trap hypothesis），认为仅基于结果的强化学习（仅奖励最终正确的答案）会强化 $T \to Y$ 捷径（模式 1），并且无法惩罚冗余或有害的中间步骤（模式 2），因为“校准型”轨迹和“模式 1”轨迹在获得相同的最终答案时会得到相同的奖励。

这项工作的意义在于将评估重点从“模型是否调用了工具？”转向“模型是否在用图像思考？”。所提出的诊断方法提供了多种实际用途，例如超越准确率的评估指标、推理时自适应（针对模式 1 跳过工具或针对模式 2 进行早停）以及用于改进训练的过程感知信用分配。作者指出，其结论受限于具有白盒访问权限以进行步骤级干预的开源模型，且主要关注“裁剪与缩放”这一操作。