Perceive, Interact, Reason: Building Tool-Augmented Visual Agents for Spatial Reasoning

本文介绍了 PERIA，这是一种通过将轻量级感知与交互工具与一种新颖的训练方案相结合，从而增强视觉语言模型空间推理能力的工具增强型视觉智能体，它在多种基准测试中实现了最先进的性能，同时足以媲美规模大得多的模型。

要点

想象一下，你正试图解开纸上画的一个复杂迷宫，但你被蒙上了眼睛，只能让朋友向你描述纸上极其微小且具体的局部。

这篇论文介绍了一个名为 PERIA 的新型“智能助手”，旨在解决需要理解空间关系的视觉谜题，例如阅读地铁线路图、寻找隐藏物体或追踪路径。

以下是它的工作原理，使用了简单的类比：

问题所在：“盲眼的天才”

目前的 AI 模型（比如你正在聊天的那些）就像是视力极差的天才。它们可以阅读书籍并理解复杂的故事，但如果你给它们看一张杂乱的地图或一个拥挤的房间，它们往往会根据它们“认为”应该是什么样子来猜测答案，而不是真正去“观察”细节。

作者发现，仅仅给这些 AI 一个工具箱（比如放大镜或直尺）是没用的。如果你把放大镜交给一个不知道何时该使用它，或者不知道如何解读通过放大镜看到的内容的人，他们只会盯着玻璃看并进行瞎猜。

解决方案：PERIA（“带着工具包的侦探”）

作者构建了 PERIA（感知-交互-推理智能体）。请将 PERIA 视为不仅仅是一个大脑，而是一个遵循严格三步流程来破案的侦探：

1. 感知（“扫描”）：
   PERIA 不仅仅是扫一眼整张图片，它使用特殊的工具来扫描图像。它表现得像一个金属探测器或文本扫描仪，提取出特定的事实：“这里有一个‘图书馆’的标识，”或者“‘咖啡馆’位于这些精确的坐标处。”它将模糊的图像转化为一份硬性的事实清单。

2. 交互（“调查”）：
   这是神奇的一步。如果侦探看到了线索但不确定，他们不会瞎猜。他们会使用交互工具。

   • 类比： 想象这张图像是一张巨大的海报。PERIA 可以使用虚拟放大镜来放大一个微小的街道名称，或者使用虚拟荧光笔在地图上连接两个点。它通过物理手段操纵图像以获得更好的观察效果，就像人类会眯起眼睛或凑近纸张观察一样。

3. 推理（“得出结论”）：
   一旦侦探收集了所有放大后的事实并画好了线条，他们然后才会动用大脑，将这些碎片拼凑起来并给出最终答案。

训练方式：在做（和失败）中学习

论文解释说，你不能仅仅通过展示答案解析来教这个侦探。你必须教他们如何使用这些工具。

• “配方”： 研究人员创建了一个庞大的“练习案例库”，其中由一个超级智能的 AI 使用这些工具来解决问题。他们利用这一点来教授 PERIA 基础知识（监督式微调）。

• “教练”（OR-GIGPO）： 这是最技术性的部分，但你可以把它想象成一个聪明的教练。当 PERIA 进行练习时，它会犯错。一个普通的教练可能只会说：“你的最终答案错了。”但这个特殊的教练（OR-GIGPO）会观察整个过程。它会说：“你在第 2 步正确使用了放大镜，但在第 4 步漏掉了一个线索。”即使最终答案错误，它也会对正确的步骤给予肯定，并指出错误的步骤。这有助于侦探随着时间的推移更有效地学习使用工具。

结果：小而强大

研究人员将这种新型侦探与其他的 AI 模型进行了对比测试。

• 结果： 一个相对较小的 PERIA 版本（拥有 80 亿个“脑细胞”）在空间任务上击败了更大、更昂贵的模型。
• 启示： 这证明了，比起一个仅仅试图凭记忆进行猜测的巨型 AI，一个知道如何观察以及如何使用工具的 AI 更加聪明。它的表现几乎接近于当今最强大、最昂贵的“超级 AI”，但其大脑规模要小得多。

简而言之： 论文表明，要让 AI 擅长处理空间谜题（如地图和 3D 形状），你不仅需要一个更大的大脑；你还需要教会它拿起放大镜、放大观察、画线，并在给出答案之前检查自己的工作。PERIA 是第一个掌握这种“观察、触摸，然后思考”方法的模型。

技术摘要

技术摘要：PERIA —— 构建用于空间推理的工具增强型视觉智能体

问题陈述

近期的视觉语言模型（VLMs）在多模态理解方面表现出了强大的能力，但在需要主动获取证据和多步视觉交互的空间推理任务方面仍存在局限性。这些任务——如地铁线路图推理、视觉探测和视觉重建——不仅要求对静态视觉表示进行推理，还要求模型能够通过中间步骤来定位细粒度证据、提取任务相关细节并进行空间关系推理。

现有的工具增强型 VLM 在结构化任务（如图表理解）中展现了潜力，因为这类任务的答案源于明确的证据。然而，它们在复杂的空间任务中往往表现不佳，原因在于：

1. 缺乏全局感知能力： 它们会遗漏局部视觉细节，或无法恢复全局空间结构。
2. 工具使用差距： 仅仅提供视觉工具的使用权限并不保证其能够胜任。在没有专门训练的情况下，开源 VLM 在获得原始工具访问权限时性能往往会下降，表现为无法正确选择工具、调用工具不当或无法有效整合反馈。
3. 训练局限性： 现有方法通常使用受限的工具空间或特定领域的数据，缺乏一个统一的策略来组合感知与交互工具以实现通用的空间推理。

方法论：PERIA

作者引入了 PERception-Interaction-reason Agent (PERIA)，这是一种工具增强型视觉智能体，旨在弥合“拥有工具”与“有效使用工具”之间的差距。PERIA 将视觉问题解决过程组织为一个统一的三阶段流程：感知（收集全局空间证据）、交互（执行细粒度的局部分析与验证）以及推理（综合观察结果以产生答案）。

1. 工具沙盒

PERIA 在一个模块化的工具沙盒内运行，该沙盒包含分为两个互补家族的 18 个工具：

• 视觉感知工具： 旨在暴露文本、符号和空间证据。例如 text_spotting（文本检测）、map_text_ocr（地图文本 OCR）、grounding_dino（用于目标检测）和 auto_segment（自动分割）。这些工具将图像转化为结构化观测结果（坐标、文本、边界框）。
• 视觉交互工具： 旨在操纵视觉上下文、追踪路径并验证空间关系。例如 image_crop（图像裁剪）、draw_path（绘制路径）、bounding_box（边界框）和 image_highlight（图像高亮）。这些工具允许智能体进行缩放、标注或在图像上追踪路线。

2. 训练流水线

PERIA 的训练包含三个不同的阶段：

• 阶段 A：工具沙盒构建： 构建一个包含基于功能的实用程序和轻量级工具智能体（如 PaddleOCR-VL、Grounding DINO、SAM3）的环境，以支持灵活的工具调用。
• 阶段 B：有监督微调（SFT）轨迹合成：
  • 使用专有模型（GPT-5）通过**探索与利用（explore-and-exploit）**策略生成高质量、可执行的工具使用轨迹。
  • 该过程涉及扩展推理-动作前缀，直到找到正确答案或达到轮次预算。
  • 使用专家级开源模型（Qwen3-VL-235B）在保持工具调用和观测结果固定的情况下，使中间推理风格（思维过程）多样化，从而创建一个多样化的 SFT 数据集。
• 阶段 C：基于 OR-GIGPO 的强化学习：
  • 为了优化多步工具使用，作者提出了观察放松的组内组策略优化（Observation-Relaxed Group-in-Group Policy Optimization, OR-GIGPO）。
  • 动机： 标准的组内组策略优化（GIGPO）依赖于精确的状态匹配。在视觉工具使用中，语义等价的工具调用可能会返回略有不同的观测结果（例如，OCR 文本的变化），这使得精确匹配过于严苛。
  • 机制： OR-GIGPO 使用观察放松匹配取代了精确的状态匹配。它按任务输入对 Rollout 进行分组，并使用一个放松的锚点组进行步级优势计算，通过使用字符串相似度指标来匹配语义相似而非完全相同的观测结果。
  • 信用分配： 该算法结合了回合级优势（轨迹质量）和步级优势（局部工具决策质量），从而在多步轨迹中进行信用分配。
  • 奖励设计： 一个复合奖励函数包括重复惩罚、针对有效工具使用标签的格式奖励，以及正确性奖励（针对问答任务为二元奖励，针对路径追踪任务为基于 NDTW 的连续奖励）。

核心贡献

1. 统一框架： 引入了 PERIA，这是一个通用的工具增强型视觉智能体框架，它整合了感知与交互工具，用于在多种空间任务中进行推理、规划和验证。
2. 多样化工具集与轨迹合成： 开发了专门的感知-交互工具集，并合成了高质量、多样化的轨迹数据集用于有监督微调，从而实现了可靠的工具调用。
3. OR-GIGPO 算法： 提出了观察放松的组内组策略优化，这是一种新型强化学习方法，能够处理视觉工具观测结果的多变性，实现有效的细粒度多步工具使用信用分配。
4. 实证验证： 证明了 PERIA-8B 显著优于强基线模型，并接近性能更强大的专有模型。

实验结果

作者在涵盖8 个数据集的 13 个基准测试上评估了 PERIA-8B，涵盖了分布内（MapTrace, ReasonMap, Visual Probing）和分布外任务（Ball Tracking, Paper Folding, Cube 3-View 等）。

• 性能提升： PERIA-8B 在分布内基准测试中比 Qwen3-8B 主干模型提升了 10.0%，在分布外基准测试中提升了 4.4%。
• 对比 SOTA： 它比同等规模的先前最先进基线模型（如 VTool-R1, Mini-o3）高出 7.0%–14.8%。
• 扩展性： PERIA-8B 达到了与显著更大的模型（如 Qwen3-VL-235B-A22B-Thinking 和 GPT-5）相媲美的性能。
• 消融实验：
  • OR-GIGPO： 去除 RL（w/o RL）会导致性能大幅下降（分布内平均下降 7.2%），且 OR-GIGPO 明显优于其他 RL 算法（GRPO, DAPO）。
  • 工具访问： 去除工具（w/o Tool）会导致性能失衡，并在某些空间领域出现灾难性遗忘。
  • SFT： 直接使用 RL 而不进行 SFT（w/o SFT）会导致性能极差，凸显了有监督轨迹合成的必要性。
  • 工具类型： 感知工具和交互工具都是必要的；移除其中任何一类都会降低性能。

重要性与主张

本文声称，经过训练的视觉工具使用是构建具备空间推理能力的智能体的关键方向。核心见解在于，“拥有工具”与“使用工具”之间的差距是一个策略学习问题。通过将多样化的工具集与统一的训练方案（SFT + OR-GIGPO）相结合，PERIA 使智能体能够：

• 获取全局空间证据。
• 执行细粒度的局部验证。
• 基于累积的观测结果进行推理，以解决复杂的空间任务。

作者强调，他们的方法使得较小的模型（8B）能够与规模大得多的专有模型相抗衡，这表明有效的工具使用训练可以带来超越单纯增加主干模型规模带来的收益。作者也承认了一些局限性，例如由于计算限制而专注于 8B 模型，以及目前 10 轮交互的限制，并建议未来的工作方向包括扩展到 3D 推理、具身任务以及更大的轨迹数据集。