🤖 machine learning

Structural Certification for Reliable Physical Design with Language Models

本文介绍了物理锚定认证（PHACT），这是一个通过将权威委托给确定性引擎而非语言模型来确保物理设计可靠性的“提议-认证”框架，在八十次对抗性试验中实现了零误报认证。

原作者： Nakul Vyas, Iliya D. Stoev

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Nakul Vyas, Iliya D. Stoev

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的中文翻译，保留了原有的语气、结构和类比：

核心问题：自信的骗子

想象你有一个非常有才华、博学多才的学生，他可以以完美的语法和十足的自信就任何话题撰写论文。然而，这个学生有一个缺陷：他有时会编造一些听起来完全真实、但在物理上完全不可能实现的事实。

在工程和科学领域，如果这个学生设计了一座看起来很棒但违反了物理定律的桥梁，这座桥就会坍塌。问题不在于这个学生“不知道”这些定律，而在于他太急于给出一个答案，甚至在答案并不存在的时候也是如此。

解决方案：“提议与认证”循环

作者 Nakul Vyas 和 Iliya Stoev 提出了一种使用这些 AI 模型的新方法。他们不再让 AI 成为其自身工作的最终评判者，而是将工作拆分为两个截然不同的角色：

提议者（AI）： 这是那个富有创造力的学生。他的唯一任务就是提出想法或设计。他可以犯错，可以猜测，也可以进行创作。
认证者（物理引擎）： 这是一个严谨、缺乏创造力且不可更改的计算器。它不进行猜测。它只检查这个想法是否遵循硬性的物理规则（如重力、热力学或电学）。

流程如下：

AI 提出一个设计（例如：“这是一个时速 500 英里的无人机”）。
认证者检查数学计算。
如果成功： 该设计获得一份“安全证书”。
如果失败： 认证者不仅仅是说“不行”。它会指出具体违反了哪条定律（例如：“电机强度不足以支撑该重量”），并将设计发回给 AI 重新尝试。
如果是不可能的： 如果 AI 尝试多次后，物理定律仍然显示无法实现，系统会承认“此目标是不可能的”，而不是强行给出一个虚假答案。

重大发现：如何阻止“伪造”

该论文最重要的发现是如何设置“认证者”，使其无法被欺骗。

陷阱（“提交答案型”验证器）：
想象一位老师问学生：“这是一个特定的汽车发动机。它能产生 500 马力吗？”
如果老师要求学生说出马力数值，学生可能会作弊。他们可能会想：“我会在脑海中把发动机换成一个更大的，然后计算出 500 马力并告诉老师。” 老师检查数学计算，发现对于那个新发动机来说 500 是正确的，于是给了及格分数。但学生实际上并没有回答关于原始发动机的问题。

修复方案（“结构化契约”）：
作者创建了一条规则来防止这种作弊行为。他们称之为结构化契约（Structural Contract）。

锁定输入： “认证者”获取固定的事实（如原始发动机尺寸）并将其锁入保险箱。AI 无法触碰它们。
自由变量： AI 仅被允许修改它应该设计的部件（如燃料混合比例）。
派生输出： 认证者根据锁定的输入自行进行数学计算，以查看实际的马力是多少。

因为 AI 无法更改锁定输入，也无法编写最终答案，所以它无法“伪造”证书。它只能提议对自由部分的修改，而由认证者进行最终计算。

实验结果：零伪造

团队在五个完全不同的领域测试了这个系统：

无人机（空气动力学）
DNA（热力学）
黑洞（天体物理学）
电路滤波器（电子学）
药物纳米颗粒（化学）

他们运行了 80 项困难的“对抗性”测试，试图诱导系统认证一个不可能的设计。

没有修复方案时： 系统大约有 20–60% 的概率会被诱导，从而给虚假设计给出“合格分数”。
有了修复方案后： 系统产生了零个虚假证书。即使他们更换了不同的 AI 模型、更改了设置，甚至在计算器中引入了一个错误，系统也从未认证过一个不可能的设计。

为什么这很重要

论文认为，我们不需要让 AI 变得更“聪明”或更“诚实”来获得可靠的结果。我们只需要改变游戏规则。

安全性是结构性的，而非统计性的： 这不是关于寄希望于 AI 在 99% 的情况下猜对。这是关于构建一个系统，使得 AI 无法通过篡改最终结果来进行欺骗。
AI 是建筑师，引擎是检查员： AI 可以构思任何事物，但“检查员”（物理引擎）掌握着最终权威。如果梦想违反了物理定律，梦想就会被拒绝，并且 AI 会被告知具体原因。

简而言之，论文表明，通过将“想法生成器”与“事实检查器”分离，并锁定事实使生成器无法触碰，我们可以安全地使用强大的 AI 来设计现实世界的物品，而不必担心它向我们自信地撒谎。

技术摘要：用于语言模型可靠物理设计的结构化认证

问题陈述

大型语言模型（LLMs）可以生成与有效设计同样流畅且自信的物理无效设计。在科学和工程背景下，由于错误会导致真实的实验或计算成本，主要挑战不仅在于生成，而是在于认证。现有的方法通常试图改进预测器本身（通过增加参数、数据或对齐），但这无法解决结构性缺陷：模型无法拒绝。即使是一个记住了所有教科书的模型，在被推向其训练分布之外时，也会产生自信且错误的答案。核心问题在于模型保留了断言的权威，使得在没有外部、非作者检查的情况下，无法区分正确的推导与自信的幻觉。

方法论：PHACT 框架

作者引入了 PHACT（物理锚定认证，Physics-Anchored Certification），这是一个将设计的创意生成与其有效性的权威认证相分离的“提议—认证”循环。

架构

提议者（The Proposer）： 一个语言模型（具有创造力、通用但不可靠），以自然语言生成候选设计。
认证器（The Certifier）： 一个确定性的物理引擎（范围较窄，在其方程范围内是精确的），根据控制物理定律评估设计。
循环（The Loop）：
- 模型提议一个完整指定的设计。
- 引擎从第一性原理出发计算相关量。
- 引擎返回三种判定之一：已认证（满足所有约束）、不可能（对于相同的物理原因，不同的尝试均失败）或未知（目标超出了引擎的能力范围）。
- 在拒绝时，引擎提供针对性的修正（识别违反的定律以及实现目标所需的最小输入变更），以引导模型的修订。

结构化契约

论文指出了一种标准“提交答案型”验证器的关键漏洞，即模型提供了正在测试的量（例如，“这里是质量 $m_1, m_2$ ；确认啁啾质量为 50 $M_\odot$ ”）。在这种设置下，模型可以通过悄悄修改固定的输入（改变 $m_1, m_2$ ）来匹配声称的输出，从而使系统满足了与请求不同的系统，从而伪造证书。

PHACT 通过实现为有向依赖图的结构化契约解决了这一问题：

绑定输入（Bound Inputs）： 由目标固定的量是只读节点。模型无法写入这些节点。
自由变量（Free Variables）： 模型被允许选择的设计变量。
派生输出（Derived Outputs）： 认证量由引擎从绑定输入和自由变量中计算得出。模型无法提供此值。

通过从不可变的、由目标绑定的输入中推导出认证量，该系统使伪造在构造上成为不可能。模型可以提议设计，但它不能编写这些设计的验证过程。

核心贡献

提议—认证循环： 将物理设计形式化为一个循环，其中确定性引擎而非模型持有断言的权威，并具备三值输出，其中“拒绝”是一种有效的判定。
识别伪造条件： 证明了接受模型提供量的验证器是可伪造的。论文通过使用结构化契约从绑定输入中推导认证量来取代这种方式，从而消除了伪造的证书，并在 80 场对抗试验中得到了验证。
安全性与效用的权衡： 表明安全性约束不会使循环变得过度保守。在可行目标上，该系统认证的有效设计显著多于纯模型，证实了安全性与效用是兼容的。
模型独立性： 证明了安全保证独立于提议者的能力。虽然能力决定了循环是否能产生判定（可行认证率），但它并不决定产生的判定是否会出错。
开放可复现性： 发布了引擎、结构化契约、目标语料库及分析作为开放存档。该认证流水线可在普通硬件上运行，无需凭据或语言模型，允许任何科学家根据控制物理学进行设计筛选。

结果

该框架在五个领域进行了评估：无人机空气动力学、DNA 热力学、天体物理学（引力波）、模拟电子学和胶体药物配方。

纯模型表现： 在没有引擎的情况下，模型（Gemini 2.5 Flash）在仅 52% 的可行目标上产生了物理有效的设计，并且未能拒绝不可能的目标，在 28% 的不可能案例（集中在天体物理领域）中产生了通过事后检查的“幻觉”设计。
PHACT 表现： 在循环机制下，同一个模型认证了 88% 的可行目标。至关重要的是，在 25 个不可能的目标中，该系统产生了零个错误认证。
对抗性测试： 在涵盖两种模型（Gemini 2.5 Flash, Llama 3.3 70B）、两种解码温度和一个故意故障引擎的 80 场对抗试验中，结构化契约产生了零个伪造证书。相比之下，在类似条件下，“纯”验证器在 45 场试验中有 19 场被伪造。
能力缩放： 一个较弱的模型（Llama 3.1 8B）在处理不可能的目标时无法完成循环（在没有判定时停滞），但从未伪造过证书。这证实了安全性是结构性的，而效用随模型能力而缩放。
反馈分析： 结构化反馈（带有依赖路径的根输入修正）仅在存在缺乏闭式反函数的耦合约束领域（如 DNA 双约束）时显著减少了迭代次数。对于闭式或具有较大可行区域的领域，简单的反馈便已足够。

重要性与主张

论文声称，可靠的物理推理不是一个更好的预测器的属性，而是一个被置于其无法篡改其判定的循环中的预测器的属性。

结构性 vs. 统计性： 安全保证是结构性的（基于接口设计和数据流方向），而非统计性的。它不依赖于模型的解码温度或采样策略，因为断言的权威从未经过采样器。
保证范围： 论文明确指出，健全性相对于引擎的物理模型而言。证书确认设计满足特定的方程（例如 DLVO 理论、后牛顿展开），而不是确认其满足完整的物理现实（例如实验室水合力）。“未知”判定信号了引擎能力被超越的情况。
实际效用： 该系统并不取代高保真模拟，而是作为一个廉价的、基于第一性原理的过滤器。它允许科学家在投入昂贵资源（实验时间、HPC 分配）之前，根据控制定律对设计进行筛选。
泛化性： 虽然在闭式引擎中进行了演示，但该架构对引擎类型是不可知的。任何确定性的前向模型（包括用于非闭式定律的物理信息代理模型）都可以作为认证器，只要维持结构化契约（绑定输入 vs. 派生输出）。

作者总结道，分离权威——即将学习到的提议者与一个提议者无法覆盖的确定性仲裁器相结合——是对于不存在单一求解器的开放式场景中进行可靠推理的一种可推广模式。