World Models in Words: Auditing Physical State-Transition Commitments in Vision-Language Models
本文介绍了\wmw，这是一个评估框架和\tracebank 数据集，它通过要求视觉语言模型生成类型化的物理状态转换轨迹来审计这些模型，从而揭示隐藏的推理失败，并实现传统仅答案基准所遗漏的物理一致性改进。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在雇佣一名学生来解决一道物理题。在旧有的测试方式中，你只查看他们写在纸上的最终答案。如果答案数字正确，你就给他们 A；如果错误，就给他们 F。
问题在于，学生可能纯粹靠运气、靠猜测，或者凭借完全错误的逻辑却恰好碰上了正确答案而得出正确结果。你无法知道他们是如何得出答案的，只知道他们得出了什么。
这篇论文介绍了一种测试人工智能模型（特别是视觉 - 语言模型）的新方法，称为“文字中的世界模型”（World Models in Words, WMW）。研究人员不再仅仅检查最终答案，而是强制人工智能逐步展示其解题过程，就像一份详尽的思维日记。
新的“展示解题过程”测试
研究人员要求人工智能生成一个“轨迹”（Trace），这是一个包含四个部分的故事：
- 起始场景（）：人工智能此刻看到了什么？（例如：“一个球正停在斜坡上。”）
- 动作（）：正在发生什么规则？（例如：“重力正在将球向下拉。”）
- 结果（）：接下来发生了什么？（例如：“球沿着斜坡滚了下去。”）
- 答案（）：最终结论。
人工智能必须以一种非常具体、结构化的格式（如 JSON 代码块）来撰写这个故事，以便计算机能够进行检查。
“混合验证器”（严格的老师）
一旦人工智能写出了它的故事，一个名为“混合验证器”（Hybrid Verifier）的特殊计算机程序就会对其进行阅读。这不仅仅是一个简单的拼写检查器。它像一位严格的物理老师那样进行检查：
- 你是否看到了正确的物体？（那是球还是盒子？）
- 物理原理是否真实？（重力是向上拉还是向下拉？）
- 故事是否合乎逻辑？（如果球向下滚，它最终会停在底部吗？）
- 答案是否与故事相符？（如果故事说球向左滚，但答案说是“右”，那么人工智能就在撒谎。）
如果人工智能得出了正确答案，但讲述了一个虚假的故事（例如：“球向左滚是因为魔法”），验证器会将其识破。论文将这种情况称为“隐藏的不一致性”（Hidden Inconsistency）。
重大发现：“幸运猜题者”
研究人员测试了 7 种不同的人工智能模型。他们发现了一个令人惊讶的事实：
- 许多模型得出了正确的最终答案。
- 但是，在这些“正确”答案中，约有 18% 到 42% 的案例，人工智能为得出答案所讲述的故事在物理上是不可能的。
这就像一名学生在数学考试中猜对了答案，但写下的解题过程却涉及除以零。旧有的测试会给他们 A；而这项新测试则揭示出他们实际上并不理解数学。
物理故事的“世界银行”
为了使这项测试成为可能，作者创建了一个名为 WMW-TRACEBANK 的大型库。
- 它包含 200 个精心设计的物理场景（如斜坡、弹簧和碰撞）。
- 它拥有 3,200 对“好故事”与“坏故事”。在“坏故事”中，他们只改变了一个微小的细节（例如翻转力的方向），以观察人工智能能否发现错误。
- 这个库有助于训练人工智能停止猜测，开始讲述关于物理世界如何运作的真相。
修复人工智能
论文还测试了修复这些“说谎者”的方法。
- 重排序：他们让人工智能生成 8 个不同的故事，并挑选出通过验证器检查的那一个。这提高了故事的质量，而无需改变最终答案。
- 偏好训练：他们利用这 3,200 对数据，教导人工智能偏好“好故事”而非“坏故事”。这将隐藏谎言的数量减少了 41%。
核心结论
这篇论文的主要目的并非构建一个更优秀的物理计算器。而是要构建一个 真相探测器。
在我们信任人工智能协助处理现实世界任务（如机器人规划或教学）之前，我们需要了解它们对世界的内部描述是否与现实相符。这篇论文为我们提供了一种工具来审计这种描述，确保当人工智能说“球向下滚”时，它实际上理解了“为什么”和“如何”，而不仅仅是猜对了正确的词语。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。