🤖 AI

NoRA: Evaluating Grounded Reasonableness in Visual First-person Normative Action Reasoning

该论文介绍了 NoRA，这是一个包含 1,420 个带注释视频剪辑的视觉第一视角基准测试，旨在通过显式的“事实-推理-动作”支持图谱，评估多模态系统生成并证明合理动作的能力，并揭示了当前的模型尽管通常能识别出看似合理的单个动作，但在构建完整的动作空间以及将动作正确绑定至可见证据方面仍存在困难。

原作者： Sichao Li, Sai Ma, Daniel Kilov, Secil Yanik Guyot, Zhuang Li, Seth Lazar

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sichao Li, Sai Ma, Daniel Kilov, Secil Yanik Guyot, Zhuang Li, Seth Lazar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文 NORA: Evaluating Grounded Reasonableness in Visual First-person Normative Action Reasoning（NORA：评估视觉第一视角规范性行动推理中的具身合理性）的解析，通过简单的概念和日常类比进行了拆解。

核心问题：知晓 vs. 执行

想象你正在教一个机器人在繁忙的公园里走路。

旧方法： 你给机器人展示三个选项：“A) 向左走”，“B) 向右走”，或 “C) 坐下”。机器人选择了 “B”。你检查 “B” 是否为“正确”答案。
本文对现状的批判： 这就像是在做选择题。但在现实生活中，没有人会递给你一份只有三个选项的菜单。你必须观察情境，弄清楚正在发生什么，构思出属于你自己的行动清单，然后从中选出最好的一个。

作者认为，目前的 AI 模型擅长从给定的菜单中挑选正确答案（就像在考试中靠猜来选答案的学生），但它们不擅长构思这个“菜单”本身，也无法解释为什么要选某道菜。

解决方案：NORA（“推理健身房”）

作者创建了一个新的测试系统，名为 NORA（规范性行动推理）。NORA 不再只是问 AI “我该做什么？”并检查答案是否符合预设的正确答案，而是要求 AI 同时完成三件事：

观察场景： 观看一段以第一视角拍摄的视频片段（类似于戴在头上的 GoPro 视角）。
构建菜单： 生成一份接下来可以采取的合理行动清单。
证明选择的合理性： 针对清单上的每一个行动，根据视频中实际可见的内容，解释其为何合理。

类比： 把 NORA 想象成一场烹饪比赛，而不是一场选择题考试。

旧测试： 评委给你三种食材，问你：“哪一个最好？”
NORA： 评委向你展示一个厨房，台面上很乱，还有一个饥肠辘辘的客人。你必须：
- 识别台面上的食材（事实/Facts）。
- 想出几种你可以做的料理（候选行动/Candidate Actions）。
- 解释为什么“意面”是一个好选择，因为“客人饿了”且“我们有番茄”（理由/Reasons）。
- 至关重要的一点是： 如果你说“我要做牛排”，但台面上根本没有肉，那么即使“牛排”是个很棒的主意，你也失败了。

如何衡量成功：“支持图谱”（The Support Graph）

论文引入了一种特定的评分方式，称为具身合理性得分（Genced Reasonableness Score）。他们不仅看最终答案，还要看“支持图谱”。

想象一棵树：

根部（事实/Facts）： 实际看到了什么？（例如：“有一个小孩在跑”，“地面是湿的”）。
树干（理由/Reasons）： 这为什么重要？（例如：“小孩可能会滑倒”，“在湿草地上跑步很危险”）。
果实（行动/Actions）： 我们应该做什么？（例如：“拦住小孩”，“走到干燥的草地上”）。

评分标准：

行动一致性（Action Alignment）： AI 是否提出了一个好的“果实”列表？
事实具身性（Factual Grounding）： “根部”是真的吗？（AI 是否凭空捏造了一个并不存在的孩子？）
支持绑定（Support Binding）： “果实”是否连接到了正确的“根部”？（AI 说“拦住小孩”是因为“湿草地”，还是因为它看到了一个并不存在的“狗”？）

研究发现：“看似合理实则错误”的陷阱

研究人员使用这个新的“健身房”测试了 12 种不同的 AI 模型（包括 GPT-5 和 Gemini 等知名模型）。以下是他们的发现：

它们擅长描述房间： 大多数 AI 都能正确识别可见的事实（例如：“那里有一台割草机”）。
它们能勉强挑选“果实”： 它们通常能选出一个合理的行动（例如：“继续割草”）。
它们在“菜单”和“为什么”上栽了跟头：
- 缺失菜单： 它们难以生成一份完整的合理选项列表。它们经常遗漏人类会考虑的其他替代行动。
- 逻辑连接松散： 它们往往选出了一个好的行动，却挂钩了错误的理由。例如，它们可能会说“继续割草”是因为“天气很好”，而真正的理由（在视频中可见的）应该是“草很长，需要修剪”。

类比： 想象一个学生举手说：“答案是 42！”

旧测试： 如果 42 是正确答案，他就得了 A。
NORA 测试： 老师问：“请写出你的计算过程。” 学生回答：“因为 6 乘以 7 等于 42。”
- 如果题目原本是“求 1764 的平方根”，这个学生虽然给出了答案 42，但由于他没有针对特定问题展示出正确的推理过程，他在测试中是不及格的。
- NORA 发现，目前的 AI 擅长大喊“42！”，但却很难展示出数学逻辑，以此证明为什么 42 是针对这段特定视频的最优选择。

三种“提示词”（Prompt）风格

为了测试 AI 的思考方式，研究人员用三种不同的方式提问（就像改变烹饪比赛的规则）：

直接式（Direct）： “直接告诉我该做什么。”（不允许解释）。
深思熟虑式（Deliberate）： “边想边说。列出几个选项并解释它们，然后选出一个。”
结构化式（Structured）： “填写这个特定表格：列出事实、列出理由、列出行动，然后选一个。”

结果： “结构化”方法（填写表格）有助于表现最好的 AI 模型发挥得更好。它迫使它们放慢速度，并将事实与其行动联系起来。然而，对于其他一些模型来说，强制要求它们填写表格反而让它们表现变差了，就好像这些死板的规则干扰了它们的思维。

总结

论文得出结论：虽然 AI 在“观察”和“挑选”方面正在进步，但它们在**经过证实的推理（Justified Reasoning）*方面仍面临挑战。它们通常能猜中正确的动作，但无法可靠地仅根据视频中看到的内容来解释为什么*这个动作是正确的。

NORA 是一个衡量这一差距的工具。它将问题从“AI 能否选出正确答案？”转向了“AI 能否构建一个逻辑严密、基于视觉事实且足以自圆其说的论据？” 目前来看，答案是：它们正在接近，但仍未看到全貌。

技术摘要：NORA —— 评估视觉第一视角规范性行动推理中的具身合理性

问题陈述

当前针对大语言模型（LLMs）和视觉语言模型（VLMs）在规范能力（特别是其在现实环境中导航社会规范和行动实际理由的能力）方面的评估是不充分的。现有的基准测试通常依赖于两种存在缺陷的范式：

仅文本的道德判断： 评估模型在明确描述的文本案例上的表现，这无法测试模型从视觉证据中分离相关特征的能力。
多选题（MCQs）： 即使在视觉设置中（例如 EGONORMIA），模型也被呈现一个固定的选项菜单。这种方法测试的是答案匹配能力，而非构建一个从零开始的合理行动空间的能力。

论文指出，这些方法仍停留在“知”与“行”差距的“判断侧”。在实践中，智能体必须从第一视角视频中识别出具有规范相关性的特征，对其进行推理，并在没有预定义候选列表的情况下生成一个合理的行动。目前的模型往往无法构建完整的合理备选空间，也无法将选定的行动与正确的局部支持（事实与理由）进行绑定。

方法论：NORA 基准测试

作者引入了 NORA（规范性行动中的推理），这是一个旨在评估**具身合理性（grounded reasonableness）**的基准测试。该概念被定义为模型识别显著场景事实、表征针对候选行动的正反理由、并在社会情境化背景下选择一个由这些理由所支持的行动的能力。

数据集构建

NORA 基于 Ego4D 数据集的片段构建，并根据经过哲学家审核的指令进行标注。该数据集包含 1,420 个已标注的视频片段，分为两个层级：

HUMANGOLD-190： 由人类标注者验证的 190 个片段集。
LLMSILVER-1230： 通过 LLM（GPT-5.4 和 Gemini-3.1-Pro）针对人类金标准进行验证的 1,230 个片段集，以确保规模。

标注模式：
每个片段都被标注为一个结构化的决策问题，遵循三个原则：

第一视角： 严格基于场景中可见的视觉证据。
事实–理由–行动顺序： 标注按严格的序列记录可见事实、基于事实的理由以及基于理由的候选行动，避免事后辩解。
合理行动的多样性（Pluralism）： 如果多个行动在视觉证据的支持下是合理的，且其理由未被更强的上下文考量所击败，则这些行动均可视为合理。

标注以**行动根植的支持图（action-rooted support graphs）**表示（ $G = \{G_a : a \in A\}$ ），其中边编码了局部支持关系（ $f \to r \to a$ ）。

评估协议

评估通过将模型输出与参考支持图进行比较来衡量具身合理性。该指标分解为三个组成部分：

行动对齐度 ( $Q_A$ )： 候选下一步行动的语义恢复。
事实落地度 ( $Q_F$ )： 可见场景事实的恢复。
支持绑定度 ( $Q_S$ )： 事实与理由是否正确地绑定到相应的行动上。

主要的综合指标是这三个组成部分的几何平均值： $R = (Q_A \cdot Q_F \cdot Q_S)^{1/3}$ 。这确保了模型不能仅仅通过生成一个看似合理的行动，而在未能将其植根于事实或未能将其绑定到正确理由的情况下获得高分。

提示词方案（Prompting Regimes）：
研究在三种不同的提示条件（测试不同层级的解释程度）下评估了 12 个 VLM：

直接式（简单）： 要求提供下一步行动，附带极少的解释（模拟部署场景）。
审慎式（中等）： 要求在选择之前对候选行动和理由进行自由形式的分析。
结构化（复杂）： 明确要求使用“事实–理由–行动”架构，与基准测试的标注格式高度一致。

核心贡献

NORA 基准测试： 一个视觉第一视角视频基准，要求模型生成候选行动并通过显式的支持图进行辩护，超越了多选题（MCQ）模式。
具身合理性指标： 一种评估协议，区分了恢复广泛的合理行动空间与承诺单一受良好支持行动之间的能力差异，使用了集合级和选定行动级指标。
实证分析： 对 12 个最先进的 VLM（包括 GPT-5.x、Gemini、Qwen 和 Grok 系列）进行了全面的基准测试，揭示了规范推理中的特定失败模式。

结果

对 12 个 VLM 的基准测试表明，虽然目前的模型通常可以恢复合理的行动和相关的场景事实，但它们在完成具身合理性的完整任务方面持续面临困难：

性能差距： 前沿模型（GPT-5.2, GPT-5.1）取得了最高的得分（在结构化提示下 $R \approx 0.38$ ），但仍显著低于标注参考上限（GPT-5.4 的 $R \approx 0.558$ ）。
组件分析： 事实落地度通常是最强的组成部分，而行动对齐度（恢复完整的合理行动空间）是最弱的部分。模型通常能正确描述场景，但无法构建适当的候选下一步行动集。
提示词效应： 结构化提示通常通过提供脚手架作用来提高高能力模型（如 GPT-5.2, Gemini-3-Flash）的表现，但对于其他模型来说可能是一种约束。然而，在选定行动层面，相比于审慎式提示，结构化提示能持续提升最终决策及其局部落地的质量。
集合 vs. 选择： 集合层级的合理性与选定行动的合理性之间存在强相关性，但它们是两种不同的能力。选择一个合理的行动比恢复完整的合理行动空间要容易。

重要性与局限性

论文声称 NORA 将评估问题从“模型能否选择一个行动？”转向了“模型能否基于正确的可见理由来证明一个恰当行动的合理性？”它为当前 VLM 在执行情境化规范推理方面的能力提供了一个可衡量的差距，强调了当前系统往往缺乏构建充分选项集并将其与局部证据绑定的能力。

作者承认的局限性：

标注的多样性： 人类标注必然是合理行动空间的非完整样本；存在多种有效的解释。
比较性评分： 具身合理性评分旨在用于比较性诊断，而非绝对的规范能力度量。
偏差： 该基准测试可能会反映源视频分布（Ego4D）、标注者群体以及所使用的特定规范类别中的偏差。

作者将 NORA 定位为既作为一种评估框架，也作为一种潜在的训练信号，用于开发必须在社会环境中进行合理行动的具身智能体，并强调当前的现状在弥合“知”与“行”的差距方面仍有巨大的提升空间。