💬 NLP

SpatialThinker: Reinforcing Scene Graph-Grounded Spatial Reasoning via Dense Rewards

SpatialThinker 是一种新型多模态大语言模型，它通过使用带有密集空间奖励的在线强化学习，在单次传递中统一了场景图生成与视觉推理，从而在有限的训练数据下，在空间基准测试中实现了最先进的性能。

原作者： Hunar Batra, Haoqin Tu, Hardy Chen, Yuanze Lin, Cihang Xie, Ronald Clark

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Hunar Batra, Haoqin Tu, Hardy Chen, Yuanze Lin, Cihang Xie, Ronald Clark

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：AI 对空间是“盲目”的

想象一下，你给一个非常聪明但有点笨手笨脚的机器人展示一张杂乱书桌的照片。你问它：“红灯是不是直接在笔记本电脑上方？”

目前的 AI 模型（比如这篇论文中的示例模型）通常根据“直觉”来猜测。它们可能会说：“嗯，灯通常都在物体上方，所以是的，”或者它们可能会对左右方向感到困惑。它们难以理解物体在 3D 空间中相对于彼此的位置，即使它们能完美地描述出这些物体是什么。它们就像是一个知道足球队所有球员名字，却无法告诉你谁站在谁前面的解说员。

解决方案：“SpatialThinker”

研究人员构建了一个名为 SpatialThinker 的新 AI。你可以不把它仅仅看作一个聊天机器人，而是一个在回答问题之前先画好地图的制图师。

SpatialThinker 不仅仅是观察图片并进行猜测，它每次看到图像时都会遵循一个严格的四步流程：

观察 (Observe)： 它观察图片。
绘图 (Map It - 场景图)： 它画出一张脑中的“连点成线”地图。它识别物体（如“笔记本电脑”、“灯”），并在它们之间连线，并标注标签，如“在……上方”、“在……左侧”或“在……后面”。
思考 (Think)： 它利用这张地图进行逻辑推理。
回答 (Answer)： 它根据地图给出最终答案，而不是凭直觉猜测。

秘密武器：“密集奖励” (GPS 式训练器)

他们是如何教会 AI 正确绘制这些地图的呢？他们并没有仅仅向它展示数千张图片，并在它答对最终问题时说“做得好”。那就像是通过只在行程结束时告诉司机“你到达了！”来教开车一样，如果司机开错了街区，你却没有及时纠正。

相反，他们使用了密集奖励 (Dense Rewards)，这就像是一个GPS 训练器，会提供持续的反馈：

格式奖励 (Format Reward)： “你按正确的格式画图了吗？”（是/否）
计数奖励 (Count Reward)： “你数对了物体的数量吗？”（如果你说有 3 把椅子，但实际只有 2 把，你就会扣分）。
准确度奖励 (Accuracy Reward)： “你得到最终正确的答案了吗？”
空间奖励 (Spatial Reward)： “你在地图上的位置放对了吗？”

AI 会因为过程中的每一个步骤都正确而获得积分，而不仅仅是因为最终答案正确。这迫使它去学习世界的“位置”和“方式”，而不只是学习“是什么”。

训练数据：一个微小但高质量的图书馆

大多数 AI 模型需要阅读数百万本书（或观察数百万张图片）来学习。SpatialThinker 则不同。

研究人员创建了一个名为 STVQA-7K 的特殊数据集。
它仅包含 7,000 个示例（与其它模型使用的数十亿数据相比，这简直是沧海一粟）。
然而，每一个示例都是高质量的，并经过两个不同 AI 系统的验证，以确保这些“地图”是完美的。

类比： 想象你在教一名棋手。与其让他们进行 1,000,000 场随机对局，不如给他们 7,000 场经过完美分析的大师级对局，且每一步棋都有详细解释。他们学习游戏“原则”的速度和质量，会比那些只玩过数百万场粗糙对局的人快得多，也强得多。

结果：小数据，大智慧

该论文声称取得了一些令人印象深刻的成果：

击败巨头： 其 70 亿参数版本的 SpatialThinker 在空间任务上的表现，能够媲美甚至超越 GPT-5 和 GPT-4o 等庞大的商业模型。
300 亿参数的强力版本： 更大的 30B 版本在 14 项测试的平均表现上击败了 GPT-5 和 Claude 4 Sonnet。
泛化能力： 因为它学习的是空间的“结构”（即“地图”的概念）而非仅仅记忆模式，它在处理现实世界的通用问题时也表现得更好。它减少了“幻觉”（凭空捏造）现象，因为它必须在地图上的特定位置进行说明，才能证明其答案的合理性。

总结

SpatialThinker 是一种通过强制自己在回答问题前绘制物体间关系的“脑内地图”，从而学会“感知”空间的 AI。通过使用严格的“GPS 式”训练系统，对绘图过程中的每一步正确性进行奖励，它仅利用其他模型所需数据的一小部分，就学会了理解 3D 空间和物体位置，并超越了规模更大、成本更高的 AI 系统。

技术摘要：SpatialThinker

问题陈述

多模态大语言模型（MLLMs）在视觉-语言任务中取得了显著进展，但在空间推理（尤其是 3D 空间）方面仍面临挑战。这种能力对于具身智能、导航和增强现实至关重要。现有改进空间推理的方法通常依赖于：

数据密集型流水线： 从 3D 场景图或点云中生成大规模合成数据集（数十万到数百万个样本）。
架构修改： 添加显式的 3D 输入（深度图、点云）或辅助空间标记（tokens）。
稀疏强化学习（RL）： 使用仅基于准确率的简单奖励，这无法提供足够的引导来进行具有视觉基准（visually-grounded）的推理。

一个关键的差距在于将场景图生成（SGG）直接集成到推理过程中。现有方法通常将 SGG 视为离散的预处理步骤用于数据策展，或将其作为孤立的生成目标，未能利用结构化场景表示来端到端地引导推理链。此外，现有的 RL 方法缺乏足够的稠密、结构化反馈，来强制执行精确的空间定位和关系理解。

方法论：SpatialThinker

作者提出了 SpatialThinker，这是首个通过**在线强化学习（RL）**将场景图生成（SGG）与视觉推理统一在单次传递中的 MLLM。该框架通过构建任务相关物体及其关系的“心理场景图”来模拟人类的空间感知，然后基于这一结构化表示进行推理以得出答案。

1. 核心架构与训练

基座模型： 基于 Qwen2.5-VL (3B, 7B) 和 Qwen3-VL (30B)。
训练范式： 模型使用**组相对策略优化（GRPO）**进行训练，这是一种在线 RL 方法，通过组内比较来估计优势，从而避免了评论家网络（critic networks）。
无 SFT： 模型直接在 RL 目标上进行训练，无需在训练集上进行先前的监督微调（SFT）。
推理： 模型生成包含 <observe>、<scene>（一个 JSON 格式的场景子图）、<thought> 和 <answer> 的结构化响应。

2. 多目标稠密奖励设计

其核心创新是一个稠密的、词典序门控的多目标奖励函数（ $R_{total}$ ），它引导模型完成结构化的推理过程：观察 → 定位 → 推理 → 回答。该奖励由四个部分组成：

格式奖励 ( $R_f$ )： 强制执行结构化推理模板。它验证 <scene> 标签内的 JSON 是否可解析，并确保存在必需字段（ID、边界框）以及有效的“主语-谓语-宾语”三元组。
计数奖励 ( $R_c$ )： 惩罚预测的物体和关系数量与真实值之间的偏差。这可以防止模型为了最大化随机空间匹配而生成过多物体的“奖励黑客”（reward hacking）行为。
准确率奖励 ( $R_a$ )： 基于与标准答案字符串精确匹配的二元评分。它具有最高的权重（ $w=0.5$ ），以优先保证任务的正确性。
空间奖励 ( $R_s$ )： 仅在最终答案正确时计算（通过词典序门控）。它使用匈牙利算法，基于**完全交并比（Complete IoU, CIoU）**和语义相似度来匹配预测物体与真实物体。这为物体定位提供了稠密监督。

词典序门控（Lexicographic Gating）： 奖励顺序为 格式 ≻ {计数, 准确率} ≻ 空间。模型必须首先满足格式要求，然后优化计数和准确率，只有在答案正确时才会获得空间奖励。这确保了空间基准（grounding）是强化有效的推理，而不是覆盖它。

3. 数据集：STVQA-7K

为了促进奖励对齐训练，作者构建了 STVQA-7K，一个高质量的空间 VQA 数据集：

来源： 源自 Visual Genome 中的人工标注场景图。
规模： 7,587 个具有空间基准的多选题 VQA 对。
内容： 涵盖九种推理类型（关系、大小、方向、距离、深度、触及、位置、计数、存在），并包含 3D 推理问题（如深度、方向）。
质量控制： 使用双 LLM 验证流水线（Claude Sonnet 4 生成，GPT-4o 验证）以确保高质量，从最初的 56,224 个样本池中仅保留了顶部的 7,587 个样本。
可扩展性： 该流水线能够生成高达约 108K 个样本。

核心贡献

统一 SGG 与推理： SpatialThinker 是首个通过在线 RL 将场景图构建直接集成到推理链中的 MLLM，而非将其视为预处理步骤。
STVQA-7K 数据集： 一个高质量、基于场景图的空间 VQA 数据集，具有可扩展的合成流水线，仅需 7K 个样本即可实现有效的训练。
稠密空间奖励设计： 一种带有词典序门控的新型多目标奖励系统，用于强制执行结构化基准。该设计不仅提高了分布内（in-distribution）性能，还提升了分布外（OOD）泛化能力，几乎使稀疏 RL 基线的性能增益翻倍。

实验结果

作者在 14 个基准测试（8 个空间类，6 个真实世界/通用 VQA 类）上评估了 SpatialThinker，并将其与专有模型（GPT-5, GPT-4o, Claude 4 Sonnet）及开源基线进行了对比。

有限数据下的表现： 仅使用 7K 个样本进行训练，SpatialThinker-7B 在空间基准上的平均表现即可媲美 GPT-5，并超越了 GPT-4o 和 Claude 4 Sonnet。
缩放效应： SpatialThinker-30B 的平均表现超过了 GPT-5 和 Claude 4 Sonnet，并在 CV-Bench 3D（93.6%，比 GPT-5 高出 3.3%）和 3DSRBench 上达到了最先进水平（SOTA）。
泛化能力： SpatialThinker 在真实世界 VQA 任务（如 RoboSpatial-Home, HallusionBench）上展示了卓越的 OOD 泛化能力。
- 稀疏 RL vs. 稠密 RL： 虽然稀疏 RL（Vanilla GRPO）能将基座模型提升约 4.4%，但稠密空间奖励设计实现了约 7.7% 的提升（1.7 倍的增益）。
- 真实世界迁移： 与稀疏 RL 的 +1.9% 相比，SpatialThinker-7B 在真实世界基准上实现了 +5.3% 的提升，证实了结构化空间基准能增强广泛的视觉感知并减少幻觉。
消融实验： 去除计数奖励会导致奖励黑客行为（准确率仅 23.7%）。加入词典序门控和 RoI 过滤后，性能恢复至 76.3%，而双 LLM 数据集过滤则将其提升至 87.9%（验证集）。

重要性与主张

论文声称，通过稠密奖励实现的结构化空间基准使得在有限数据下实现鲁棒的空间理解成为可能，挑战了“高水平空间推理必须依赖大规模预训练或显式 3D 输入”的观点。

效率： 该模型仅使用 7K 个合成样本就达到了最先进的结果，这仅为现有空间 MLLM（通常使用数百万个样本）所用数据的极小部分。
涌现的 3D 推理： 尽管是在 2D RGB 图像和 2D 奖励上进行训练，但由于关系型场景图的监督，模型编码了与深度和方向相关的线索，从而使其发展出了涌现的 3D 推理能力。
泛化性： 该方法不仅提升了空间任务，也提升了通用视觉感知和真实世界 VQA 的表现，表明强制执行结构化推理可以减少幻觉并强化细粒度的视觉辨别力。

作者总结道，他们的方法证明了奖励对齐的推理结合场景图基准是实现 MLLM 鲁棒空间理解的一条可行且高效的路径。