Fifty Years of Specification Completeness: What Aviation Certification Tells AI Governance About Epoch Limits, Proof Surfaces, and the Structural Gap
本文认为，人工智能治理框架缺乏航空认证中所强制执行的结构完整性要求——具体包括纪元限制、证明曲面和客观证据架构——并提出通过 PromptQ 的七原则框架，将这些可迁移的文档级属性应用于治理随机性人工智能系统。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是使用简单语言和日常类比对该论文进行的解释。
核心理念：“说明书”问题
想象你正在制造一辆非常复杂的自动驾驶汽车。在航空领域（飞机飞行的世界），对于如何编写软件的说明书有着严格的规定。你不能只说“安全驾驶”，你必须证明说明书中的每一句话都对应着一项特定的测试，并且你必须证明如果天气变化或路况改变，该说明书就会失效。
本文认为，AI 治理文档（即我们用来告诉 AI 该做什么的提示词、规则和政策）目前被当作随意的待办事项清单来对待，而航空业则是将说明书视为法律合同。
作者 Christo Zietsman 表示：“我们现在不需要去修复 AI 本身（因为 AI 太不可预测了）。相反，让我们去修复那些告诉 AI 该做什么的文书工作。”
以下是本文从航空业借鉴并应用于 AI 的三个主要教训：
1. “地图与指南针”规则（结构化关联）
在航空领域： 如果飞行手册说“在山峦处左转”，工程师必须证明有一项特定的测试可以检查飞机是否在那个山峦处左转。如果飞机的代码中有一段功能在手册中没有对应的规则，那就是失败；如果手册中的一条规则没有对应的测试，那也是失败。一切都必须是相互关联的。
在当今的 AI 领域： 我们经常给 AI 一个提示词，比如“要乐于助人，不要刻薄”。但我们并没有一个清单来证明什么是“乐于助人”，也没有一个测试来捕捉 AI 何时变得“刻薄”。本文认为，这就像给飞行员一张缺失街道的地图。
解决方法： AI 说明书中的每一项主张都必须链接到一种可以检查其是否属实的方法。如果你无法验证它，它就不应该出现在说明书中。
2. “保质期”规则（纪元限制）
在航空领域： 飞行手册仅对今天的天气和今天的跑道有效。如果出现了新的风暴系统，或者跑道关闭了，那份特定的手册会立即“过期”。飞行员必须停下来，在飞行前获取一份更新后的手册。
在当今的 AI 领域： 我们写下一条 AI 规则后就假设它永远有效。我们不会说“这条规则仅在新闻变化前有效”或者“如果 AI 开始谈论政治，这条规则就失效”。研究发现，他们所查看的 AI 文档中，100% 的文档都没有设置过期日期。它们就像是一张永不过期的驾照，即使驾驶员忘记了如何驾驶，或者交通法规发生了变化，它依然有效。
解决方法： 每份 AI 说明书都需要一个明确的“有效期至”日期或触发条件。例如：“如果数据源发生变化，本说明书即失效。请停止运行并咨询人类。”
3. “工作证明”规则（证明表面）
在航空领域： 你不能只说“我们检查了引擎”。你必须展示具体的日志、使用的具体扳手以及检查人员的签名。规则定义了究竟什么才算作“证明”。
在当今的 AI 领域： 我们经常说“我们监控了 AI”。但本文认为这很模糊。这就像是在没有展示日志的情况下说“我检查了引擎”。本文称之为“证明表面”（Proof Surface）——即我们预先定义的、用来证明 AI 正在履行职责的具体方式。
解决方法： 在我们部署 AI 之前，必须先写下我们将收集哪些证据来证明它正在正常工作。不仅仅是“我们会观察它”，而是“我们会统计错误次数，如果达到 5%，我们就停止”。
“差距”与证据
本文研究了 34 份真实的 AI 说明文档（如系统提示词和策略文件）。
- 结果： 94% 的文档未能通过基本的结构化测试。
- 重大失败： 没有任何一份文档设置了过期日期或停止使用它们的触发器。它们都是作为如果无论环境如何变化都能完美运行的指令而编写的。
作者将此与“五眼联盟”（一个盟国情报组织）承认的情况进行了对比，即他们目前还没有成熟的方法来评估这些 AI 规则。本文指出：“我们知道规则是破碎的，但我们还没有修复文书工作。”
解决方案：“PromptQ”
本文提出了一个名为 PromptQ 的新框架。你可以把它看作是编写 AI 指令的“安全检查清单”。它强制要求编写者在允许 AI 运行前回答七个问题：
- “成功”看起来是什么样的？
- 我们如何对其进行测试？
- 边界在哪里（AI 不应该 做什么）？
- 它正在使用什么数据？
- 质量关口是什么（谁来检查工作）？
- 该文档内部是否一致？
- 这份文档何时过期？（这是最缺失的部分）。
总结
本文并不是说 AI 很危险是因为数学逻辑错了。本文认为 AI 之所以有风险，是因为我们对它的指令太草率了。
航空业花了 30 年时间确保他们的说明书严密、可追溯且有过期日期。而目前的 AI 治理并没有做到这些。本文认为，我们不需要等待 AI 变得完美；我们只需要开始为现有的 AI 编写更好、更严格的说明书。
简而言之： 如果你不会让一名飞行员拿着一份既没有过期日期、又无法证明规则被遵守的说明书去驾驶飞机，那么你也不应该让一个缺乏这些要素的提示词来驱动 AI 运行。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。