技术摘要：将神经符号程序蒸馏至 3D 多模态大语言模型 (APEIRIA)

1. 问题陈述

目前的 3D 空间推理方法面临着可解释性与灵活性之间的根本权衡：

• 神经符号 3D (NS3D) 学习器： 这些方法通过将查询分解为由特定概念网络执行的组合程序，实现了可解释且系统化的推理。然而，它们受限于闭集词汇表（无法处理如“舒适的椅子”等开集词汇概念），并且需要密集、逐步的监督，而这在现实世界的数据集中往往难以获得。
• 3D 多模态大语言模型 (3D MLLMs)： 这些模型利用 LLM 的语义灵活性来处理复杂的、开集词汇的自然语言指令。然而，它们以黑盒形式运行，缺乏显式的推理结构或验证步骤。当它们失败时，无法追踪并诊断错误究竟是源于物体识别、关系理解还是逻辑组合。

本文认为，该领域正受困于可解释但受限的 NS3D 方法与强大但模糊的 MLLM 之间。核心挑战在于将“概念学习”与“推理学习”解耦，即将系统性的“语法”推理能力从符号程序转移到具有语义灵活性的 MLLM 中。

2. 方法论：APEIRIA

作者引入了 APEIRIA（希腊语意为“无限”），这是一种神经符号 3D MLLM，通过将符号推理模式蒸馏到自然语言思维链 (CoT) 中来弥合上述两种范式。该模型通过三阶段课程学习进行训练：

3.1. 以物体为中心的表示

APEIRIA 使用高效的以物体为中心的场景表示，以最小化输入 Token（约 400 个 Token，而基于视频的 MLLM 则需 10k–40k 个）。

• 分割： 使用 Mask3D 将场景分割为物体实例。
• 特征提取： 通过 Uni3D 提取视觉-几何特征，通过 DINOv2 提取 2D 外观特征。
• 空间编码： 物体的位置和尺寸通过可学习的位置嵌入进行编码。
• 输入： 这些特征被拼接并与指令 Token 交织在一起，作为 LLM 的输入。

3.2. 基于课程的推理蒸馏

训练过程通过三个阶段逐步构建推理能力：

第 1 阶段：感知对齐

• 目标： 将 3D 视觉-几何特征对齐到 LLM 的文本嵌入空间。
• 方法： 在包含物体中心任务（识别、定位和描述）的混合数据集上进行标准的 3D 视觉-语言预训练，使用来自 ScanNet 和 MMScan 等数据集的约 193K 指令-响应对。
• 结果： 模型学会识别物体类别、属性和位置，为场景理解奠定基础。

第 2 阶段：符号推理注入 (CoT-SFT)

• 目标： 教会模型空间推理的“语法”（迭代分解与验证）。
• 方法： 使用源自神经符号程序的追踪记录，通过思维链监督微调 (CoT-SFT) 对模型进行微调。
  • 数据构建： 将来自合成数据集 (Sr3D) 和标注数据集 (ScanNet, MMScan) 的程序解析为执行追踪。每个步骤被序列化为包含以下内容的自然语言：
    • 计划 (Plans)： 显式的推理目标（例如，“寻找所有类别为‘花瓶’的物体”）。
    • 执行 (Executions)： 包含物体细节（ID、位置、尺寸）的逐步输入与输出。
  • 追踪结构： CoT 显式地将符号操作（如 filter、relate）映射到透明的推理步骤，确保物体通过唯一的 ID 和空间配置进行引用。
• 结果： 模型学会了系统的查询分解和逐步空间验证，在不依赖僵化、特定概念网络的情况下，内化了 NS3D 的推理模式。

第 3 阶段：开集与复杂推理泛化 (CoT-RL)

• 目标： 将学到的推理模式扩展到涉及开集词汇概念以及缺乏逐步监督的深度嵌套场景的现实世界中。
• 方法： 使用群体相对策略优化 (GRPO) 进行思维链强化学习 (CoT-RL)。
  • 奖励函数： 使用复合奖励来引导探索：
    • 软对齐奖励 (Soft Grounding Reward)： 评估预测物体与真实物体之间的配置相似度（位置和尺寸），以提供密集反馈，避免标准 IoU 指标的稀疏性问题。
    • 格式奖励 (Format Reward)： 一个二元约束，确保模型保持结构化的 CoT 格式（计划和思考标签），以防止由于直接回答导致的“结构坍塌”。
• 结果： 模型能够适应复杂的嵌套指令和开集词汇描述符（如“舒适的家具”），同时保留系统性的推理结构。

3.3. 模块化推理增强

APEIRIA 的一个独特之处在于显式地解耦了规划（推理）与执行（感知）。

• 外部计划注入： 推理追踪可以接收由外部更强大的 LLM（如 GPT-4, Claude）生成的计划，而无需重新训练。
• 感知模块替换： scene() 原语执行可以被替换为来自最先进 3D 感知模型（如 SegDINO3D）的输出，只需将其输出格式化以匹配 CoT 追踪即可。这使得系统能够动态地利用感知模型的改进。

3. 核心贡献

1. APEIRIA 架构： 一种神经符号 3D MLLM，通过将推理建模为透明的思维链，将符号方法的系统严谨性与 LLM 的语义灵活性统一起来。
2. 基于课程的蒸馏框架： 一种新颖的三阶段训练流水线，通过从感知对齐、通过符号推理注入，到通过强化学习实现开集泛化，逐步将推理模式从神经符号程序转移到 3D MLLM 中。
3. 实证验证： 证明了 APEIRIA 在 3D 空间推理基准测试上超越了先前的神经符号方法，并达到或超过了最先进的 3D MLLMs。

4. 实验结果

评估在 ScanRefer 和 Multi3DRefer 上进行空间定位测试，在 SQA3D 上进行情境问答测试，并在 Scan2Cap 上进行密集描述测试。

• 空间推理性能： APEIRIA 在 ScanRefer 上实现了 58.4% Acc@0.25 和 51.2% Acc@0.5；在 Multi3DRefer 上实现了 59.2% F1@0.25 和 53.8% F1@0.5。通过模块化推理增强（使用外部规划器/感知器），这些分数分别提升至 60.5% 和 53.2% (ScanRefer)，以及 60.9% 和 55.2% (Multi3DRefer)，超越了包括 Chat-Scene 和 Inst3D-LMM 在内的所有基线模型。
• 零样本泛化： 在 Nr3D 的零样本设置下（仅在合成的 Sr3D 数据上训练），APEIRIA 达到了 36.5% 的准确率，超过了全监督 NS3D 基线 (33.9%) 2.6 个百分点。这证明了该模型处理开集词汇概念（如“凌乱的”、“舒适的”）的能力，而传统 NS3D 方法无法处理此类概念。
• 任务泛化： 该框架成功迁移到 SQA3D 和 Scan2Cap，而无需修改符号推理流水线（仅需更改输出奖励），证实了该范式的通用性。
• 消融研究：
  • 去除第 3 阶段 (RL) 会导致性能显著下降 (ScanRefer 下降 6.9%)，证实了 RL 对于适应复杂现实世界指令的必要性。
  • 去除第 2 阶段 (CoT-SFT) 会导致灾难性失败，证明了结构化“热启动”推理的需求。
  • 去除“思考 (Thinking)”追踪（强制直接回答）会导致性能下降，表明显式的推理过程对于释放完整的空间推理潜力至关重要。
  • 推理复杂度分析显示，随着推理步骤的增加，RL 的收益也随之增加，这为 SFT 缺乏追踪的复杂链条提供了监督。

5. 重要性与主张

本文声称 APEIRIA 成功弥合了可解释但受限的符号方法与灵活但模糊的端到端 MLLM 之间的鸿沟。通过蒸馏推理模式而非特定概念的知识，该方法保留了神经符号方法的核心优点：

• 透明性： 推理过程通过显式的推理追踪是透明的，允许进行故障诊断和调试。
• 模块化： 规划与感知的分离允许在无需重新训练的情况下，通过即插即用集成更强的组件（如更好的 LLM 或 3D 检测器）。
• 可扩展性： 该方法能够将系统性的推理能力从合成的、全监督的环境转移到现实世界的、开集词汇的场景中。

作者将这项工作定位为迈向可解释且实用的具身智能体的第一步，提供了一个在 3D 环境中进行系统化且可验证定位的框架。他们同时也承认了局限性，指出其性能仍受限于底层的 3D 感知模块，且极深层次的推理链或基于物理规律的推理仍是未来的探索领域。