TIGeR: Tool-Integrated Geometric Reasoning in Vision-Language Models for Robotics

本文提出了 TIGeR 框架，通过让视觉语言模型调用外部工具执行精确几何计算而非依赖内部感知，结合自研数据集与两阶段训练策略，成功实现了机器人任务中所需的厘米级几何推理精度。

要点

想象一下，你正在教一个非常有才华的“大脑”（也就是现在的 AI 大模型）如何像机器人一样在现实世界里干活。

这篇论文介绍了一个名为 TIGeR 的新系统，它的核心思想可以概括为：“别光靠猜，要会算”。

为了让你更容易理解，我们可以把现有的 AI 机器人比作一个**“凭感觉的艺术家”，而 TIGeR 则是一个“带着计算器的工程师”**。

1. 痛点：以前的 AI 是个“大概派”

现在的视觉语言模型（VLMs）很聪明，能看懂图片。如果你问它：“那个苹果在杯子的左边吗？”它能回答“是的”。
但是，如果你让机器人去抓那个苹果，并说：“请把苹果移到杯子左边 5 厘米 的地方”，以前的 AI 就懵了。

• 为什么？ 因为它们像艺术家，只能凭感觉说“大概在那边”，却算不出精确的坐标。它们没有“尺子”，也没有“计算器”。
• 后果： 机器人抓东西时，要么抓空，要么抓偏，甚至把杯子碰倒。在需要毫米级精度的现实世界里，这种“大概”是行不通的。

2. 解决方案：TIGeR 的“外挂”策略

TIGeR 不想让 AI 的大脑（神经网络）去硬记复杂的几何公式（那太难了，而且容易算错）。相反，它给 AI 装了一个**“工具箱”**。

• 以前的做法： 让 AI 自己在大脑里硬算 $3 \times 3$ 的矩阵变换，结果往往是幻觉（瞎编）。
• TIGeR 的做法：
  1. 识别需求： AI 看到任务说“需要精确计算 5 厘米的距离”。
  2. 调用工具： AI 不自己算，而是写一段代码，调用外部的“专业计算器”（比如深度传感器数据、相机参数库、几何计算库）。
  3. 执行计算： 外部工具像计算器一样，给出精确到毫米的答案。
  4. 执行动作： AI 拿着这个精确答案，指挥机器人手臂去抓。

打个比方：
这就好比你要做一道复杂的菜。

• 旧 AI 是凭记忆和感觉炒菜，经常盐放多了或者少放了。
• TIGeR 是那个会看菜谱、知道该用多少克盐，并且会拿起电子秤和量杯，精确称量后再下锅的专业厨师。

3. 核心装备：TIGeR-300K 数据集

为了训练这个“带工具箱”的 AI，作者们造了一个巨大的训练场，叫 TIGeR-300K。

• 这不仅仅是 30 万张图片，而是 30 万个**“解题步骤”**。
• 每一个样本不仅告诉 AI“答案是什么”，还详细记录了**“怎么调用工具”、“中间计算过程是什么”**。
• 就像教学生做题，不仅给答案，还要求把“设未知数、列方程、代入计算”的每一步都写清楚。

4. 训练方法：先学规矩，再练内功

作者用了两阶段训练法，就像培养一个实习生：

• 第一阶段（SFT - supervised Fine-Tuning）： 老师手把手教。给 AI 看大量的“标准解题步骤”，让它学会什么时候该拿尺子，什么时候该拿计算器。
• 第二阶段（RFT - Reinforcement Fine-Tuning）： 放它去实战，并给**“分层奖励”**。
  • 如果它格式写对了，给个小红花（格式奖励）。
  • 如果它选对了工具，给个小红花（工具奖励）。
  • 如果它算出来的数字准，给个大红花（答案奖励）。
  • 如果它中间步骤写错了，哪怕答案蒙对了，也不给分。
  • 目的： 强迫 AI 不仅要结果对，过程也要严谨、可解释。

5. 成果：从“大概”到“精准”

在实验中，TIGeR 展现了惊人的能力：

• 空间定位： 它能准确算出“植物上方 5 厘米”的具体坐标，而不是模糊地指一下。
• 跨视角推理： 即使换了个角度看物体，它也能算出物体在空间中的真实距离。
• 复杂任务： 比如“把黑色袋子放到桌子上的空位，不能碰到其他东西”。TIGeR 能写出代码，在虚拟空间里模拟无数种摆放位置，算出哪个位置既空又不碰撞，然后指挥机器人精准放置。

总结来说：
TIGeR 并没有试图把 AI 变成全知全能的“神”，而是承认 AI 不擅长做精确数学题，于是它给 AI 配了个“计算器”和“尺子”。通过让 AI 学会**“何时调用工具”以及“如何编写计算代码”**，它成功地把机器人从“凭感觉瞎摸”变成了“精准操作的工匠”，让机器人真正能在现实世界中干精细活。

技术摘要

这是一份关于论文 TIGeR: Tool-Integrated Geometric Reasoning in Vision-Language Models for Robotics 的详细技术总结。

1. 研究背景与问题 (Problem)

现有的视觉 - 语言模型（VLMs）在空间推理方面表现出色，但主要局限于定性（Qualitative）的评估（如“在左边”、“可到达”），缺乏机器人操作所需的定量（Quantitative）精度。

• 核心痛点：
  • 缺乏计算精度：现有模型无法利用深度传感器和相机标定参数进行精确的几何计算（如厘米级定位、3D 姿态估计、碰撞检测）。
  • 感知与输出局限：感知端通常将深度信息降级为类图像表示，丢弃了几何属性；输出端多为统计回归或 2D 像素预测，无法生成满足机器人运动规划所需的精确 3D 轨迹和约束。
  • 本质缺陷：现有方法将几何推理简化为模式识别任务，牺牲了真实世界机器人所需的计算保真度。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 TIGeR（Tool-Integrated Geometric Reasoning，工具集成几何推理）框架。其核心理念是将 VLM 从“感知估算器”转变为“几何计算机”。

A. 核心架构

TIGeR 不试图在神经网络内部内化复杂的几何运算，而是赋予模型识别推理需求、生成计算代码、调用外部工具的能力。

• 工作流程：
  1. 感知与工具选择：模型根据任务需求，调用视觉感知工具（如获取相机内参/外参、深度传感器数据、SAM2 分割掩码）。
  2. 代码生成与执行：模型生成 Python 代码，利用几何库（如处理点变换、姿态估计、轨迹生成）进行精确计算。
  3. 结果反馈：将计算出的精确数值（如 3D 坐标、距离）反馈给模型，用于最终决策。

B. 工具分类

工具分为两类，形成层级工作流：

1. 视觉感知工具：提取像素级或相机级信息（相机内参/外参、深度数据、物体分割）。
2. 几何计算工具：处理数据以推导几何属性（2D 转 3D 框、3D 点转 2D 投影、任意几何计算代码执行器）。

C. 数据集：TIGeR-300K

为了支持该范式，作者构建了包含 30 万样本的大规模数据集 TIGeR-300K：

• 内容覆盖：点变换、姿态估计、轨迹生成、空间兼容性验证。
• 生成策略：
  • 模板化生成：基于 CA-1M 数据集，利用结构化模板生成精确可控的几何查询（约 27.4 万样本）。
  • 大模型重写：利用 SSR-CoT 数据集，通过大模型将思维链（CoT）重写为包含工具调用的版本（约 3.5 万样本）。
• 特点：每个样本不仅包含问题和答案，还包含完整的工具调用序列和中间计算步骤。

D. 训练策略：两阶段管道

采用 SFT（监督微调） + RFT（强化微调） 的两阶段训练：

1. SFT 阶段：在 TIGeR-300K 上进行监督微调，使模型学会基本的工具使用和推理链生成。
2. RFT 阶段：使用 GRPO 算法进行强化微调，引入作者提出的分层奖励设计（Hierarchical Reward Design），包含五个维度的奖励：
   • 格式奖励 (Format)：检查空间 Token 和工具语法的正确性。
   • 工具调用奖励 (Tool)：评估工具选择和参数格式的正确性。
   • 参数内容奖励 (Parameter)：针对连续值（如坐标）和离散值（如视图索引）分别评估精度。
   • 代码生成奖励 (Code)：评估代码是否可执行及输出是否正确。
   • 答案奖励 (Answer)：评估最终答案与真值的接近程度。

3. 主要贡献 (Key Contributions)

1. 概念与方法创新：重新定义了 VLM 在机器人控制中的角色，提出通过代码生成和执行外部工具来实现精确几何计算，而非依赖纯数据驱动的近似。
2. 数据集发布：发布了 TIGeR-300K，这是首个专门针对通过程序化工具调用进行几何推理的大规模数据集。
3. 性能突破：通过两阶段训练和分层奖励机制，在几何推理基准测试中达到 SOTA，并在真实机器人操作中实现了厘米级精度。

4. 实验结果 (Results)

• 基准测试（Spatial & Geometry Reasoning）：
  • 在 CV-Bench, BLINK, RoboSpatial, Q-Spatial++ 等基准上，TIGeR 取得了零样本 SOTA 性能（综合准确率 79.30%），超越了 Gemini 2.5-Pro 等强基线模型。
  • 特别是在需要数值计算的 Q-Spatial++ 任务中表现优异。
• 仿真环境（Open6DOR V2）：
  • 在位置跟踪任务中，TIGeR 的成功率比现有的 VLA 基线（如 Octo, OpenVLA）高出 11.3%，有效缓解了遮挡下的 2D 检测模糊问题。
• 真实世界机器人实验：
  • 部署在 UR5 机械臂上，执行需要厘米级精度的操作（如“将物体放置在植物上方 5cm 处”、“将物体放置在桌子后方”）。
  • 在“精确放置”任务中，TIGeR 成功率达到 55%，而基线模型（OpenVLA, RoboPoint）在类似任务中成功率极低（0%-10%）。
  • 能够处理部分遮挡和复杂的空间关系（如“后方”、“上方”），这是纯 2D 像素模型无法做到的。

5. 意义与影响 (Significance)

• 填补了感知与行动之间的鸿沟：TIGeR 证明了将 VLM 的语义理解能力与外部几何计算工具相结合，是实现高精度机器人操作的关键路径。
• 可解释性与适应性：通过显式的工具调用和代码生成，推理过程具有高度可解释性。同时，模型可以方便地集成新的工具或 SOTA 模型，无需昂贵的重新训练即可适应新任务。
• 推动具身智能发展：该工作为具身智能（Embodied AI）从“定性理解”迈向“定量执行”提供了新的范式，对于需要高精度操作（如精密装配、医疗机器人、家庭服务机器人）的应用场景具有重要价值。

总结：TIGeR 通过“工具集成”和“代码生成”将 VLM 升级为几何计算器，结合大规模专用数据集和分层奖励训练，成功解决了 VLM 在机器人领域缺乏定量精度的核心瓶颈，实现了厘米级的真实世界操作能力。