🤖 AI

Physics Question Scene Graph: Fine-grained Evaluation of Physical Plausibility in Text-to-Video Generation

本文介绍了物理问题场景图（Physics Question Scene Graph, PQSG），这是一种层级化的、基于图的评估流水线，它利用视觉语言模型来以细粒度的精度评估文本生成视频在物理上的合理性，并通过新的 FinePhyEval 数据集进行了验证，该数据集证明了 PQSG 与人类判断的相关性优于以往的方法。

原作者： Atin Pothiraj, Jaemin Cho, Yue Zhang, Elias Stengel-Eskin, Mohit Bansal

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Atin Pothiraj, Jaemin Cho, Yue Zhang, Elias Stengel-Eskin, Mohit Bansal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一个机器人厨师，根据你写的食谱来烹饪一顿饭。这个机器人非常擅长切菜和摆盘；最终的菜肴看起来精美且逼真。然而，当它尝试烧开水时，水却变成了向上漂浮的冰块；或者汤水直接消失在了锅里，而不是冒泡。这个机器人失败了物理定律，尽管画面看起来很漂亮。

这正是论文 “Physics Question Scene Graph (PQSG)” 所要解决的问题。虽然 AI 视频生成器在制作“看起来真实”的视频方面做得越来越好，但它们往往无法做到“表现得真实”。它们会打破基本的规则，比如重力、液体的流动方式或固体物体的反弹。

以下是作者如何改进我们测试这些 AI 机器人的方式的简单拆解。

1. 问题所在：“一刀切”的评分制

以前，如果你想给一段 AI 视频打分，你可能会要求人类（或计算机）给出一个单一的分数，比如“7 分（满分 10 分）”。

缺陷： 如果一个视频得了“7 分”，你并不知道它为什么不及格。是因为机器人忘了把勺子放入汤里？还是勺子漂浮了？或者是汤变成了果冻？
论文的洞察： 你不能只给一个模糊的分数。你需要像老师批改数学题一样，通过检查每一个计算步骤，而不是只看最终答案，来对视频进行逐步检查。

2. 解决方案：“侦探的清单”（PQSG）

作者创建了一个名为 Physics Question Scene Graph (PQSG) 的系统。你可以把它想象成一个 AI 用来检查视频的层级化侦探清单。

系统不是在问“这段视频好吗？”，而是将视频分解为一个由特定问题组成的树状结构。至关重要的是，这些问题像流程图一样相互连接：

第一层：物体（角色）
- 问题： “这里有纸巾吗？”
- 逻辑： 如果答案是**“否”**，侦探就会停止。如果纸巾都不存在，那么询问纸巾是否吸收了液体就毫无意义。
第二层：动作（情节）
- 问题： “抓取工具是否松开了纸巾？”
- 逻辑： 如果纸巾存在但尚未被释放，那么物理测试甚至还没有开始。
第三层：物理（自然法则）
- 问题： “纸巾是吸收了液体，还是溶解了？”
- 逻辑： 只有到了这一步，我们才会检查物理定律是否被遵守。

关于“图（Graph）”的部分：
“场景图（Scene Graph）”只是一个高级说法，意指这些问题是相互关联的。如果第一个问题失败了，系统会自动知道后续问题是无效的。这可以防止 AI 因为物体根本不存在而对从未发生的物理现象产生“幻觉”（编造事实）。

3. 新的数据集：“FinePhyEval”

为了测试这个新的侦探清单，作者构建了一个名为 FinePhyEval 的新数据集。

他们选取了 65 个棘手的提示词（例如“球掉落在枕头上”），并使用顶尖的 AI 模型（如 Sora 2、Veo 3 和 Wan 2.1）生成了视频。
然后，他们让真人观看这些视频并回答完全相同的清单问题。
这创造了一个“黄金标准”，用以观察他们的 AI 侦探是否能达到人类的水平。

4. 他们的发现

当他们将新的系统（PQSG）与旧的视频评分方式进行对比时，发现：

更好的评分： PQSG 与人类的观点相关性更高。它能准确知道视频为什么不好，而不仅仅是觉得它“还可以”。
“闭源模型”的优势： 私有的、昂贵的模型（Sora 2、Veo 3）在遵循物理规律方面比开源模型（Wan 2.1）表现得更好。
弱点： 即便是最好的 AI 模型，在制作物体（球）和动作（丢下它）方面很擅长，但在处理物理过程（球是否真实地反弹？）时仍然很吃力。
AI 侦探的极限： 该系统使用一种智能 AI（视觉语言模型）来提问并回答问题。虽然这种 AI 在识别物体方面很出色，但在处理复杂的物理问题时仍会出错，经常在答案应该是“否”时猜“是”（即“是倾向性偏见”）。这就像是一个非常有自信但有时在科学判断上出错的侦探。

5. 加分项：修复视频

论文还展示了该清单不仅用于评分，还用于修复。

他们利用清单来告诉视频生成器哪里出了错（例如：“烟雾应该向上飘，而不是横着飘”）。
他们将这些反馈重新输入到 AI 中以生成新的视频。
结果： 经过这一轮“纠正”后，视频质量有了显著提升。

总结

这篇论文引入了一种新的 AI 视频评分方式，它扮演着一个结构化的、循序渐进的检查员的角色。它不再给出模糊的分数，而是按照逻辑顺序，针对物体、动作和物理现象提出具体问题。这有助于我们准确理解 AI 视频生成器在哪些地方违反了物理定律，并为帮助它们修复这些错误提供了工具。

技术摘要：物理问题场景图 (PQSG)

问题陈述

尽管文本生成视频模型在照片级真实感方面取得了显著进展，但它们经常无法遵循基本的物理定律（例如，固体力学、流体动力学、光学）。推动这些模型进步的一个关键瓶颈在于缺乏可靠、细粒度且自动化的评估方法，能够定位特定的物理违规行为。现有的指标通常提供粗略的聚合评分，无法捕捉物理推理中固有的逻辑依赖关系（例如，一个物体必须先存在并执行动作，其物理交互才能被判定）。此外，当前的方法难以区分生成失败（例如，物体缺失）与物理合理性失败（例如，物体下落方式不符合常理），往往会被那些视觉上连贯但物理上不可能实现的视频所“欺骗”。

方法论：物理问题场景图 (PQSG)

为了解决这些局限性，作者引入了物理问题场景图 (Physics Question Scene Graph, PQSG)，这是一种层次化的、基于问题的评估流水线。PQSG 将生成的视频评估分解为一个由文本提示词生成的原子验证问题的有向无环图 (DAG)。

核心组件

层次化结构： 该图将问题组织为三个不同的类别：
- 物体 (Object)： 验证提示词中提到的关键物体的存在及其属性。
- 动作 (Action)： 验证物体是否正在执行提示词中指定的正确动作。
- 物理 (Physics)： 评估交互和动力学的合理性（例如，形变、吸收、重力），这些通常属于隐性的物理常识，而非显性的提示词指令。
逻辑依赖 (Edges)： 该图强制执行严格的逻辑依赖关系。只有当其前提父节点回答为“是”时，才会查询相关问题。例如，如果一个“物体”节点回答为“否”（即物体缺失），则与之相关的所有后续“动作”和“物理”节点都会被自动标记为“否”，而无需进行查询。这防止了幻觉现象，并确保了查询的上下文有效性。
两阶段流水线：
- 问题生成 (QG)： 通过上下文示例提示视觉语言模型 (VLM)，从文本提示词生成层次化的问题图。
- 问题回答 (QA)： 将生成的视频和 PQSG 图传递给 VLM。模型按顺序回答问题，提供带有推理支持的二元判断（“是”/“否”）。最终得分是“是”响应的比例，并分别为物体、动作和物理类别计算得分。

数据集：FinePhyEval

为了验证 PQSG 并对子任务进行基准测试，作者构建了 FinePhyEval 数据集，该数据集包含：

195 个经人工标注的“提示词-视频”对。
提示词： 来源于 Physics-IQ，旨在测试物理理解。
视频： 由多种最先进的模型生成：Sora 2、Veo 3、Wan 2.1 和 Cosmos-Predict2.5-14B。
标注： 包括人类在四个类别（物体、动作、物理、整体）上的 Likert 量表判断（1-5 分），以及针对 QG 和 QA 子任务的地面真值 (ground-truth) 标注（444 个 QA 对）。

关键结果

1. 与人类判断的相关性

与之前的指标（VideoScore, VideoPhy-2, PhyGenEval, DSG）相比，PQSG 展示了更优越的人类整体 Likert 评分相关性。

PQSG (配合 GPT-5.5)： 实现了 0.478 的皮尔逊相关系数 $r$ ，优于表现次优的基准模型（直接 VQA 为 0.382）。
粒度： 不同于聚合指标，PQSG 提供细粒度的反馈，能够精准指出是哪个类别（物体、动作或物理）导致了失败。
人类一致性： 研究发现，人类的“整体”评分与物理类别的相关性最强（ $r=0.85$ ），这强调了物理真实感是人类质量评估的主要驱动因素。

2. 模型基准测试

使用 PQSG，作者对视频生成模型进行了排名：

专有模型 vs. 开源模型： 专有模型（Sora 2、Veo 3）在物理真实感方面显著优于开源模型（Wan 2.1、Cosmos-14B）。
类别表现： 所有模型在动作和物理生成方面的难度都高于物体生成。例如，Wan 2.1 在动作上的得分为 0.53，物理为 0.46，而物体为 0.86。

3. 子任务评估 (QG 和 QA)

问题生成： 与人类标注相比，VLM（Gemini-2.5-Pro, GPT-5.5）在生成验证问题方面达到了极高的精确度 (>92%) 和召回率 (>95%)。
问题回答： 虽然 VLM 在物体和动作类别上表现良好（准确率约 88%），但在物理问题上表现挣扎（准确率约 64%）。
失效模式： QA 模型表现出“是倾向 (yes-bias)”，即当视频显示并非如此时，它们经常会幻觉出物理交互（例如，烟雾上升正常）。这表明当前的 VLM 缺乏鲁棒的时空物理推理能力。

4. 迭代优化

作者展示了 PQSG 可以集成到迭代循环中以改进视频生成。通过使用 PQSG 反馈来优化提示词（通过 GPT-5.5）并重新生成视频，平均 PQSG 得分在单次迭代中增加了近 15%，并在两次迭代后在 ~82% 处达到平台期。这是在不修改模型架构或进行重新训练的情况下实现的。

意义与主张

本文声称 PQSG 通过提供一种结构化、细粒度且自动化的物理合理性评估指标，解决了视频生成评估中的关键空白。

诊断能力： 它超越了“视频好不好？”的问题，转向“为什么视频在物理上不合理？”，从而隔离出物体存在、动作执行或物理定律方面的失败。
依赖建模： 通过在问题图中强制执行逻辑依赖，PQSG 确保了评估的上下文有效性并减少了幻觉，这是以往非结构化方法所缺失的特性。
基准测试效用： 引入 FinePhyEval 为评估视频生成模型以及用于评估它们的 VLM 的物理推理能力提供了标准化的基准。
实际应用： 该框架被证明是一个通过提示词优化来提高视频生成质量的实用工具，为无需重新训练模型的机器人技术和具身智能提供了实现更高保真度模拟的路径。

作者对当前的局限性保持谦逊，指出系统的性能受限于底层 VLM 的物理推理能力，特别是在 QA 阶段，其在物理问题上的准确率仍低于人类水平。