💻 computer science

Beyond the Eye: Efficient Multimodal Reasoning via Self-Regulated Implicit Visual Tools

本文介绍了 Beyond the Eye (BEE)，一种通过结构化监督微调和自我调节奖励驱动对齐的两阶段训练过程来集成隐式视觉工具的新型多模态模型，该模型实现了自适应工具调用，在显著降低推理延迟的同时，保持了在细粒度视觉感知方面的最先进性能。

原作者： Xiuwei Chen, Quanlin Chen, Wentao Hu, Zisheng Chen, Kun Xiang, Zehua Ma, Mingyang Zhang, Jianhua Han, Hanhui Li, Hang Xu, Xiaodan Liang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiuwei Chen, Quanlin Chen, Wentao Hu, Zisheng Chen, Kun Xiang, Zehua Ma, Mingyang Zhang, Jianhua Han, Hanhui Li, Hang Xu, Xiaodan Liang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它非常喜欢解谜。但这个机器人有一个怪癖：无论谜题多么简单，它总是坚持要召集一支外部专家团队，打开工具箱，并一遍又一遍地重新扫描图片，只为了找到缺失的一个碎片。这就像是在客厅里找钥匙，但你不是直接去找，而是叫来了一支施工队，拆掉墙壁，用激光扫描地板，然后再把房间重建好，最后才去拿钥匙。虽然这行得通，但既慢又贵，而且让人精疲力竭。

这正是研究人员在当前的“图像思维”AI模型中发现的问题。这些模型过度依赖调用外部视觉工具，这造成了巨大的延迟并浪费了计算能力。

由此诞生了 BEE（超越双眼），一种新型的机器人大脑，它学会了停止过度调用专家。与其每次都跑向工具箱，BEE 学会了先审视自己的内心。如果谜题很简单，BEE 会说：“我能行，”然后立即利用自身的知识解决问题。如果谜题确实很难，它才会悄悄激活一个“隐式工具”——一种通过模拟放大或旋转图像而不实际停止调用外部程序的心理捷径。

重大发现
主要的发现是，BEE 可以完美地平衡自身脑力与这些心理捷径，使其在处理复杂的视觉谜题时，比那些规模大得多或使用真实外部工具的模型更快、更准确。事实上，在测试高分辨率图像（8192 像素）时，BEE 比之前的顶尖方法 DeepEyes 快了约 86.2%。这就像是从一只背着沉重背包的蜗牛，变成了一只知道何时冲刺的猎豹。

BEE 不是什么
论文明确说明了它并非此类模型。它不是一个随机调用工具或不断调用工具的模型。研究人员明确反对“模型应该始终依赖外部工具”或“模型应该在不知道何时停止的情况下仅仅通过‘思考更多’来解决问题”的观点。他们表明，旧模型即使在已经知道答案时也会调用工具，这是一种浪费时间。BEE 的设计初衷正是为了避免这种冗余。它不仅仅是一个更快的工具，更是一个知道何时不使用工具的更聪明的决策者。

他们是如何教导它的
研究人员并不仅仅是告诉 BEE 要变快，而是通过两个有趣的阶段来教导它：

“练习”阶段： 他们向 BEE 展示了数千个例子，在这些例子中，它必须决定是否使用工具。他们提供了一个特殊的“形式化”训练指南（类似于带有工具插槽的速查表），以帮助它理解哪些问题可以靠自己解决，哪些需要帮助。
“奖励”阶段： 这是神奇的秘诀。他们引入了一个名为 净工具增益 (NTG) 的指标，用来衡量工具到底提供了多少帮助。他们发现，第一版 BEE 调用工具过于频繁（就像一个明明知道答案却一直找人帮忙的孩子）。因此，他们创建了一个特殊的奖励系统（MC-Reward），如果 BEE 能用工具解决难题，它会得到一颗“小红星”；但如果它在简单的题目上使用工具，则会受到“暂停处罚”。这教会了 BEE 先信任自己的大脑。

结果
数据本身就具有说服力。在 HRBench 测试（该测试使用高分辨率图像）中，BEE-7B（一个拥有 70 亿参数的模型）击败了之前的开源冠军。更令人印象深刻的是，在 MME-RealWorld 测试中，BEE-8B 和 BEE-4B 的得分实际上高于拥有更多参数的海量商业模型 Kimi-K2.6。

但真正的胜利在于速度。由于其他模型不断调用外部工具，处理单张图像需要数秒时间，而 BEE 仅需一次通过即可完成。在测试中，BEE-7B 每秒处理 1.61 个样本，而 DeepEyes 模型每秒仅能处理 0.07 个样本。这是一个巨大的效率飞跃。

论文并未声称的内容
作者谨慎地表示，这并不是解决所有问题的灵丹妙药。他们承认，对于非常简单的任务（如阅读文本或识别基本形状），BEE 完全不需要使用工具，强行使用反而会损害性能。他们还指出，虽然 BEE 在处理“细粒度”细节（如在拥挤场景中发现微小物体）方面表现出色，但它并不一定会让模型在原本擅长的领域（如基础逻辑或 OCR）变得更好，除非任务本身涉及视觉操作。

简而言之，BEE 是一个学会了“知之为知之，不知为不知”的机器人。它不再在简单任务上浪费时间寻求帮助，而是只在谜题真正棘手时才动用其心理工具。结果如何？一种更聪明、更快、更高效的 AI 看世界的方式。

技术摘要：Beyond the Eye (BEE)

1. 问题陈述

近期的多模态大语言模型（MLLMs）通过“以图促思”（Thinking with Images, Twi）范式推进了细粒度感知能力，即模型通过迭代地调用外部视觉工具（如缩放、裁剪）来重新编码图像区域。尽管这种方法行之有效，但存在两个关键局限性：

计算开销： 频繁的外部工具调用和重复的图像重编码引入了显著的推理延迟和 I/O 瓶颈。
缺乏能力边界意识： 现有的模型（包括显式基于工具的模型和新兴的隐式推理方法）都难以自适应地确定何时依赖内部参数知识，以及何时调用工具。这导致模型在能够自行解决的任务上进行冗余的工具使用，在不提升准确性的情况下浪费了计算资源。

2. 方法论：Beyond the Eye (BEE)

作者提出了 BEE，一种以自我调节能力为核心的新型**隐式视觉工具（Implicit Visual Tool, IvT）**范式。BEE 不再调用外部 API，而是将视觉工具的调用直接融入模型的训练目标中，学习生成隐式视觉表示（语义 Token），从而在单次前向传播中模拟工具效果。

该框架采用了两阶段训练过程：

第一阶段：形式化的思维链（CoT）监督微调（SFT）

目标： 激活模型的隐式工具表示、自适应切换机制和基础推理能力。
数据构建： 作者通过整合来自 Refocus、Thyme、mini-o3 和 Visual-CoT 的异构数据，构建了 BEE-SFT-320K 数据集。
- 轨迹精炼（Trajectory Polishing）： 将显式的工具调用（基于代码）转化为隐式表示。通过预训练的语义分词器将辅助图像（如缩放/裁剪视图）编码为语义 Token（<tool_pad>），以替换推理轨迹中的代码段。
- 混合调用状态： 数据集包含具有工具调用槽位与不含工具调用槽位的混合推理轨迹。这明确引导模型学习何时调用工具以及何时依赖内部知识。
- 辅助对齐： 使用辅助标题预测任务来强化模型理解这些新隐式视觉 Token 的能力。

第二阶段：自我调节的奖励驱动对齐

问题识别： 对经过 SFT 训练的模型进行分析发现，其缺乏能力边界意识。模型倾向于在可以内部解决的任务上也过度使用工具。
净工具增益（Net Tool Gain, NTG）指标： 为了量化这一现象，作者引入了 NTG 指标，用于衡量工具调用对任务成功的边际贡献（ $NTG = \frac{|G| - |L|}{|C_{tool}|}$ ），其中 $G$ 是有效增益， $L$ 是工具导致的幻觉， $C_{tool}$ 是调用工具的样本集。SFT 模型表现出较低的 NTG（6.2%），表明存在显著的冗余。
MC-Reward（自我调节置信度校准）： 设计了一个复合奖励函数，旨在惩罚无效的工具依赖并鼓励知识路由。
- 动态能力信号： 模型根据 Rollout 组内采样轨迹的平均准确率来估计任务难度（ $p$ ）。
- 奖励逻辑：
  - 简单任务 ( $p \geq \tau$ )： 如果模型在不使用工具的情况下解决了任务，则获得高奖励；如果进行了不必要的工具调用，则受到惩罚。
  - 困难任务 ( $p < \tau$ )： 如果模型通过使用工具解决了困难任务，则获得奖励；如果需要在时未能使用工具，则受到惩罚。
- 实现： 奖励函数采用平滑连续函数（包括余弦门控）构建，以确保训练稳定性，并通过 DAPO 算法优化策略。

3. 核心贡献

BEE 范式： 一种由自我调节驱动的隐式视觉工具框架，通过将工具行为内化，避免了冗余的工具使用并降低了推理延迟。
形式化 CoT 标签与 NTG 指标： 构建了具有混合调用状态的专门 SFT 数据集以激活自适应切换，并提出了 NTG 指标，用于定量评估工具使用的边际价值。
自我调节奖励机制： 一种新型奖励目标（MC-Reward），使模型能够动态评估自身的认知边界，抑制简单任务上的冗余工具调用，同时在困难任务中充分利用工具。
实证验证： 证明了 BEE 在细粒度视觉感知方面达到了最先进的性能，同时与显式基于工具和隐式推理的基线相比，显著提高了推理效率。

4. 实验结果

作者在多个基准测试上对 BEE 进行了评估，包括 V*、HRBench (4K/8K)、MME-RealWorld、LogicVista 和 POPE。

性能表现：
- BEE-8B 和 BEE-4B 在感知任务的平均准确率上超越了商业模型 Kimi-K2.6。
- BEE-8B 在真实世界理解基准测试中的平均准确率达到 75.3，超过了最强的开源基线 Qwen3-VL-235B 1.2 个百分点。
- 在各种规模下，BEE 始终优于智能体模型（如 DeepEyes、Thyme）和隐式推理模型（如 Monet、EVA）。
效率表现：
- 延迟降低： 在 8K 分辨率设置下，与 DeepEyes 方法相比，BEE 实现了高达 ~86.2% 的推理加速。
- 吞吐量： BEE-7B 的吞吐量为 1.61 samples/s，而 DeepEyes 为 0.07 samples/s，DeepEyesV2 为 0.33 samples/s。
- 成本： 每 1K 个样本的操作成本从 ~$6.40 (DeepEyes) 降至 $0.72。
消融实验：
- 移除隐式工具或将其替换为无意义的 Token 会导致性能持续下降，验证了隐式工具设计的必要性。
- MC-Reward 机制显著将 净工具增益 (NTG) 从 6.2% (BEE-Static) 提升至 66.0% (BEE-7B)，证实了自我调节机制在减少冗余方面的有效性。

5. 意义与主张

本文声称 BEE 为开发结合了强大认知能力与极低延迟的隐式工具 MLLM 提供了一个极具前景的方向。通过建立自我调节的能力边界，BEE 使模型能够在内部知识与隐式工具使用之间进行自适应平衡，从根本上解决了推理深度与推理效率之间的权衡问题。作者断言，这种方法推动了自我调节型 MLLM 的发展，为传统“以图促思”范式沉重的计算开销提供了一种可扩展的替代方案。