🤖 AI

From Hallucination to Grounding: Diagnosing Visual Spatial Intelligence via CRISP

本文介绍了 CRISP，这是一种利用度量 3D 场景图和先验干预来解耦感知与推理的新型诊断评估范式，该范式揭示了虽然闭源模型尽管具备鲁棒的潜层推理能力，却在度量估计方面存在不准确的问题，而开源模型则在本质上受限于缺乏多跳组合推理能力。

原作者： Zhixing Li, Yinan Yu

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhixing Li, Yinan Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在测试一个机器人的房间导航能力。你问它：“杯子在书的左边还是右边？”机器人回答道：“左边”，并且答对了。你可能会想：“太棒了！它理解空间！”

但根据这篇论文，这个机器人可能实际上是个**“骗子”**。它并没有通过观察房间来得出答案，而只是根据人类通常如何描述杯子和书来进行猜测。这就像一个背下了答案解析、却从未翻开过教科书的学生。

这篇论文的作者 Li 和 Yu 开发了一种名为 CRISP 的新测试，旨在识破这些“骗子”，并观察机器人究竟是真的能“看见”3D世界，还是仅仅在“猜测”词汇。

问题所在：“智能”的幻觉

目前的 AI 模型（称为视觉语言模型，Vision-Language Models）非常擅长识别物体。它们可以指出哪里是“狗”或“椅子”。但当涉及到空间智能（Spatial Intelligence）时——即理解物体确切的位置、它们之间的距离以及它们如何在 3D 空间中相互配合时——它们往往会失败。

论文指出，这些模型正遭受着**“幻觉”**的困扰。它们能说出正确的词汇，但其内部的房间心理地图却是完全错误的。它们是在利用语言技巧进行“正确猜测”，而不是利用眼睛进行“正确观察”。

解决方案：CRISP 测试

为了解决这个问题，研究人员创建了一个名为 CRISP（空间感知中的推理一致性，Consistency of Reasoning In Spatial Perception）的两部分测试。你可以把它看作是 AI 的“测谎仪”。

CRISP 不仅仅是向 AI 提问，它还强制要求 AI 同时完成两件事：

回答问题：（例如：“椅子离墙有多远？”）
绘制地图： AI 必须构建一个 3D 场景图（3D Scene Graph）。这就像是房间的蓝图或骨架，AI 必须在其中写下每个物体的精确尺寸以及它们之间的精确距离。

神奇之处在于： 研究人员随后会对两者进行对比。

如果 AI 在回答中说“椅子距离 2 米”，但在绘制的地图中却显示椅子距离 10 米，那么它失败了。
这证明了 AI 并不是利用图像来回答问题，而是在利用语言模式进行猜测。

他们的发现

当他们用这个测试去检测目前最智能的 AI 模型（包括昂贵的“闭源/专有”模型和免费的“开源”模型）时，发现了三种主要的失败类型：

“语义捷径”型骗子（多见于开源模型）：
这些模型能给出问题的正确答案，但画出的地图却极其糟糕且荒谬。它们就像是一个因为听过这个谜题而知道答案的人，却无法在脑海中构思出实际的场景。它们依赖于“语言先验”（即猜测人类通常会怎么说），而不是观察图片。
“断层”的大脑（多见于专有模型）：
这是最令人惊讶的发现。那些昂贵的模型（如 Gemini 和 GPT-5）其实非常擅长绘制地图！它们能很好地估算距离和大小。然而，当它们回答问题时，却忽略了自己的地图。这就像一位出色的建筑师画出了完美的蓝图，但在被问到门在哪里时，却给出了一个随机的猜测，因为他忘记去看自己的图纸了。它们拥有强大的“推理引擎”，但这个引擎与它们的“视觉”是脱节的。
“一致性”的胜出者：
只有少数模型能够同时把地图和答案都做对。这些模型才真正展现出了空间智能。

“先知”实验：它们拥有大脑吗？

为了证明这些“断层”模型确实具备推理能力，研究人员进行了一个特别的实验。他们将这些“作弊”的模型与一张完美的、预先绘制好的地图（就像给学生一张带有正确蓝图的“小抄”）以及图片一起提供给它们。

结果： 模型的表现大幅飙升。突然之间，它们能够完美地回答复杂的问题。

结论： 这证明了 AI 模型已经具备了解决这些问题的逻辑和推理能力。问题不在于它们“愚笨”或缺乏逻辑，而在于它们无法将“眼睛”（感知）与“大脑”（推理）连接起来。它们之所以失败，是因为它们无法信任自己的视觉数据。

总结

论文的结论是，我们一直被那些看起来很聪明、实则靠猜测正确词汇来蒙混过关的 AI 模型所欺骗。为了构建能够真正与物理世界交互（例如机械臂抓取玻璃杯）的机器人，我们不能仅仅询问问题，而必须开始检查 AI 的内部“心理地图”是否与其回答保持一致。

未来的路径不仅仅是让 AI 变得更大，而是要强迫 AI 保持一致性——确保其推理始终基于它所看到的真实内容，而不是基于它认为自己“应该”说出的话。

技术摘要：从幻觉到落地：通过 CRISP 诊断视觉空间智能

问题陈述

当前针对视觉语言模型（VLM）在视觉空间智能方面的评估，存在一个关键问题：即语言先验（language priors）与真实空间推理能力之间的严重混淆。传统的问答（QA）基准测试往往允许模型利用“语义捷径”——依赖训练数据中的统计共现关系，而非感知物理场景。因此，模型可能会产生正确的语言输出，但其内在的隐式 3D 模型却是错误的，从而造成了“空间智能的错觉”。

现有的诊断工具（如文本解释或 2D 认知地图）无法提供具身智能所需的度量精度。此外，标准基准测试未能将感知瓶颈（观察与测量能力）与推理缺陷（逻辑处理空间概念的能力）进行解耦。这种脱节阻碍了我们深入理解模型的失败究竟是源于感知不准，还是源于无法利用其自身的结构化表示。

方法论：CRISP 基准测试

为了解决这些局限性，作者引入了 CRISP（空间感知推理一致性，Consistency of Reasoning In Spatial Perception），这是一种结构化诊断评估范式。CRISP 将关注点从结果导向的正确性转向过程导向的落地（grounding），通过将判别式问答与生成式 3D 场景图（SGC）任务相结合来实现。

1. 数据集构建

来源： 该基准测试从 nuuses 和 ScanNet++ 中精选了 1,162 个高质量静态场景（室内及室外）。
地面真值（Ground Truth）： 通过严格的自动化流水线将 3D 注释投影到 2D 图像上，并针对可见性和分辨率进行过滤。至关重要的是，它使用唯一的数值 ID 而非文本描述来构建主 3D 场景图，以防止语义泄露。
规模： 该数据集包含 9,839 个问题，涵盖七种空间能力：距离估计、尺寸估计、方向感知、计数、空间排序、视角变换和逻辑演绎。

2. 双任务范式

CRISP 在两个不同但相关的任务上评估模型：

空间问答（Spatial QA）： 模型回答有关场景的选择题（MCQ）和数值题。这测试的是显式推理。
3D 场景图构建（SGC）： 模型被给定一组物体 ID，必须生成一个星型拓扑结构的子图。这要求预测：
- 节点（Nodes）： 3D 尺寸和到摄像机的距离（度量估计）。
- 边（Edges）： 语义方向谓词以及物体间的度量欧几里得距离。
- 注： SGC 任务强制模型将其隐式的 3D 模型外部化为一种结构化的、具备度量意识的格式，从而起到严格的信息瓶颈作用。

3. 评估指标

QA 分数： 选择题的准确率以及数值题的平均相对准确率（MRA）。
SGC 分数： 一个综合指标，通过基于比例的 IoU 来评估度量估计（ $S_{est}$ ，包括尺寸比例和距离相对准确度），以及评估边谓词语义一致性的关系分数（ $S_{rel}$ ）。
自洽性分数（Self-Consistency Score）： 一种新型指标，用于验证两个任务之间的一致性。它使用确定性求解器从生成的 SGC 中推导出 QA 答案（ $A_{derived}$ ），并将其与模型的直接 QA 回答（ $A_{QA}$ ）进行比较。这可以区分“真实的理解”与“一致的幻觉”（即模型在两个任务中都错了，但错得很有规律）。

4. 干预协议

为了分离感知与推理，作者采用了以下手段：

盲测（Blind Tests）： 使用仅文本输入（仅数值 ID）对模型进行评估，以建立语言先验的基准。
结构化干预： 向模型提供地面真值（GT）3D SG 或其预测（Pred）SG 以及图像。这测试了潜在推理的“天花板”以及模型对模态冲突的鲁棒性。

关键结果

1. 感知与推理的脱节

对 13 种最先进的 VLM（包括 Gemini、GPT-5 等闭源模型，以及 Qwen、InternVL 等开源模型）的分析揭示了一个系统性的脱节：

闭源模型（Proprietary Models）： 拥有强大的潜在推理引擎，但在度量估计方面表现不佳，且无法利用其自身的隐式结构化表示。它们通常能构建合理的结构模型（中等的 SGC 分数），但在执行端到端 QA 生成时却无法有效利用这些模型。
开源模型（Open-Source Models）： 经常表现出语义捷径。它们通过依赖语言先验获得了较高的 QA 分数，但在生成精确的度量结构方面表现较差（低 SGC 分数）。
一致性： 大部分模型表现出“一致的幻觉”（占 10-12% 的情况），即它们基于根本错误的几何落地进行连贯的推理。

2. 空间智能的错觉

语义捷径： 在仅文本输入的盲测中，模型保持了近乎完美的 SGC 格式合规性（>99%），但依赖的是分布先验。当加入视觉输入后，像 Qwen2.5-VL 这样的模型显示出显著的 QA 提升，但 SGC 增益微乎其微，这表明视觉编码器识别了物体，但未能将其转化为空间位置。
专业化模型： 出人意料的是，专门的空间模型（如 VG LLM、Cambrian-S）在一致性方面表现不如通用基准模型，这表明空间微调可能会激活局部线索，但无法确保推理引擎利用这些线索。

3. 通过干预解锁潜在推理

先知增益（Oracle Gain）： 当提供地面真值 3D SG 时，模型的性能大幅飙升（例如 Gemini 2.5 Flash 提升了 30.3%）。这证实了当前的 VLM 已经具备强大的潜在推理能力，但受限于感知能力。
模态冲突： 当提供其预测 SG 时，大多数模型出现了性能崩溃，它们优先考虑错误的文本外部化信息，而非原始视觉证据。这凸显了“信任偏差”以及在解决模态冲突时缺乏鲁棒性。
推理深度： 闭源模型在获得 GT SG 后，在组合逻辑（多跳推理）方面表现出显著提升，而开源模型主要在原子任务上有所改善，这表明两者在推理深度上存在本质差异。

意义与主张

本文声称 CRISP 为超越端到端后训练的多模态对齐提供了严谨的路线图。其主要贡献在于：

诊断而非猜测： CRISP 超越了通过语言先验进行“正确猜测”，转向真正的“感知、验证与推理”。它提供了传统黑盒 QA 无法提供的细粒度诊断。
重新定义瓶颈： 研究结果重新定义了具身智能的发展路线图。主要的瓶颈并非 VLM 固有的逻辑缺陷，而是感知与推理之间的结构化对齐失败。
可操作的洞察： 该框架识别了未来发展的三个不同失败模式：
- 语义捷径： 需要更好的视觉编码器来进行度量感知。
- 感知-推理脱节： 需要重新设计多模态对齐策略，以弥合内部利用能力的差距。
- 模态信任偏差： 需要升级 LLM 后台，以提高冲突解决能力和组合推理能力。

最终，作者认为，仅仅依靠扩展端到端训练是不够的。真正的视觉空间智能需要显式地强制执行结构一致性，确保逻辑演绎严格基于显式感知的 3D 几何结构。