🤖 machine learning

Who Analyses the Analyser? Self-Validating LLM Hazard Analysis with Constitutional Meta-STPA

本文通过引入“宪制元 STPA”（Constitutional Meta-STPA）来解决分析用于安全分析的 AI 工具这一关键空白，该框架是一种自我验证框架，它将系统理论过程分析（STPA）应用于其自身以推导并执行治理宪法，从而确保受大语言模型（LLM）辅助的分析器经过严格审计，以防止幻觉和不可验证的约束。

原作者： Samuel Tetteh, Udip Shrestha, Joshua R. Waite, Cody Fleming

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Samuel Tetteh, Udip Shrestha, Joshua R. Waite, Cody Fleming

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你制造了一个超级聪明的机器人助手，它的工作是检查其他机器是否存在安全缺陷。它非常擅长发现汽车里的破碎齿轮或泵里的漏气阀门。但问题在于：从来没有人问过，“谁来检查这个机器人？”

这篇论文正是提出了这样一个问题：谁来分析分析器？

作者们意识到，虽然大家都在信任这些用于编写安全报告的 AI 工具，但这些工具本身可能会出现故障。它们可能会捏造虚假的安全规则，忘记记录工作内容，或者给出看似自信实则荒谬的答案。这就像雇佣了一名从不记录线索、有时还会伪造证据的侦探。

自我检查的机器人

为了解决这个问题，团队构建了一个特殊版本的安全工具，让它将显微镜转向自身。他们使用了一种称为 STPA（一种寻找安全风险的严谨方法）的方法，来分析该 AI 工具自身的设计。

这就像是一个机器人构建了自己大脑的地图，找到了薄弱环节，然后根据这些发现为自己编写了一本规则手册。他们并没有仅仅靠猜测来制定规则；而是让工具通过对自身的“安全分析”来生成规则。

两部分的规则手册

该工具最终生成了一份由两个截然不同的层面组成的“宪法”（规则手册）：

“工具原则”（行为层）： 这些是关于 AI 在执行任务时应如何行动的 21 条规则。例如，“不要捏造安全标准”、“明确说明你无法做到的事情”以及“始终检查你的工作”。
“元安全原则”（治理层）： 这些是关于运行 AI 的机器应如何表现的 8 条规则。其中包括“对每一个问题和答案保留永久日志”、“锁定所使用的特定版本的大脑以确保任务中途不发生变化”以及“在通过严格清单检查前，不得让 AI 导出报告”。

大惊喜：它不是魔法，而是肌肉

作者通过让不同的 AI 模型来分析该工具本身进行了测试。以下是他们的发现：

强力模型： 当他们使用最先进的 AI 模型（一个由两个顶尖模型组成的“前沿集成”）时，该工具仅通过观察其自身设计，就成功找到了 21 条行为规则中的 18 条 以及 全部 8 条治理规则。
弱力模型： 当使用较弱、较便宜的模型时，它们仅找到了 21 条行为规则中的 12 条 以及 8 条治理规则中的 3 条。

核心结论： 问题不在于规则本身，而在于进行分析的那个“大脑”。“宪法”确实有效，但前提是 AI 必须足够聪明，能够发现自身的漏洞。

究竟是什么让 AI 更安全？

团队进行了一项棘手的测试，使用了 20 个“对抗性探测器”——这些是旨在诱导 AI 变得不安全或撒谎的陷阱问题。他们测试了带有不同版本规则手册的 AI：

无规则： AI 的平均安全得分仅为 1.03。
通用规则： 添加通用的“保持乐于助人且诚实”的列表完全没有帮助（得分：1.05）。
21 条工具原则： 当他们添加了这 21 条具体的行为规则时，安全得分跃升至 1.85。这是一个 79% 的提升，且具有显著的统计学意义。
8 条治理规则： 添加 8 条治理规则（如日志记录和版本锁定等内容）并未改变这些特定陷阱问题的得分。

教训： 具体的行为规则（即 21 条工具原则）才是防止 AI 在回答中出错的关键。治理规则（即 8 条元安全原则）对于系统（如保留审计追踪）至关重要，但它们本身并不能神奇地让 AI 的文本回答变得更安全。

关于“覆盖率”

作者还研究了 AI 安全领域的一个常见观点：“如果我们只是让 AI 检查更多的项，它就会更安全。”他们测量了 AI 在其分析中“覆盖”了多少规则。

他们发现了一些奇怪的现象：在提示词中加入更多规则并不总是意味着更高的安全覆盖率。

当他们在标准硬件机器（如汽车刹车）上进行测试时，“元安全”规则（关于审计日志和版本的规则）得分是 0/8。AI 没有提到它们，因为汽车本身没有审计日志。
当 AI 分析自身时，得分跳升至 6/8。

这证明了“覆盖率”并不是一个可以随意调高的魔法旋钮。它是一个检测器。它告诉你正在观察的是什么样的系统。如果 AI 在谈论审计日志，它正在分析一个 AI 工具；如果它对日志保持沉默，它正在分析一台机器。你不能仅仅通过强迫 AI 说“我检查了日志”来让它变得更安全；日志必须真实存在。

“失误”时刻

作者对他们犯的一个错误也非常坦诚。早些时候，他们认为增加规则会让 AI 发现更多安全问题，呈现出一种线性增长关系（就像服用药物的剂量一样）。但当他们使用严格的固定设置重新进行测试时，这种“剂量反应”的概念消失了。他们发现，随着规则的增加，发现的问题数量实际上是下降或持平的。他们公开了这一“失败”的结果，表明有时 AI 只是变得更加专注，从而停止了胡言乱语，而不是发现了更多问题。

底线

这篇论文并不声称已经“解决”了 AI 安全问题。相反，它构建了一个工具，该工具：

通过分析自身设计来编写自己的规则手册。
证明了具体的行为规则（21 条工具原则）能让 AI 的回答安全得多（79% 的提升）。
展示了通用的“保持友善”类规则并无实效。
开源了所有内容：代码、规则手册和日志，以便任何人都可以重现完全相同的实验。

作者得出结论：如果你正在构建一个 AI 安全工具，你需要具体的行为规则来阻止 AI 产生幻觉，需要治理规则来保留纸质追踪。但你首先需要一个真正聪明的 AI 模型来开展工作。如果没有一个有能力的“大脑”，即使是最完美的规则手册也救不了你。

技术摘要：宪法级元 STPA (Constitutional Meta-STPA)

1. 问题陈述

大语言模型（LLMs）正越来越多地被用于自动化生成严谨框架（如系统理论过程分析，STPA）中的安全分析工件（损失、危险、不安全控制动作 [UCA] 和约束）。然而，存在一个关键的盲点：虽然目标系统（例如飞机、医疗设备）正在被分析，但执行这些分析的 LLM 辅助工具本身却很少受到审查。这些工具本身就是具有安全相关性的系统，它们可能会幻觉出标准、输出无法验证的约束，并无法维持审计追踪。本文提出了一个根本性的问题：“谁来分析分析者？” 当前的文献缺乏一种正式分析 LLM 辅助安全工具的方法，这使得该工具容易受到 STPA 本旨在防止的那些不安全控制动作的影响。

2. 方法论：宪法级元 STPA (Constitutional Meta-STPA)

作者提出了 Constitutional Meta-STPA，这是一种闭环方法论，通过将 STPA 应用于 AI 辅助安全工具这一类对象，从而推导出其自身的治理宪法。

2.1. 元 STPA 流程

该工具并非分析一个物理系统，而是将 AI 安全流水线视为受分析的系统。

控制器： LLM、验证层、投票机制、导出门控以及值班工程师。
控制动作： 生成损失/危险/UCA、标记错误、报告模型间的分歧、以及导出报告。
推导： 通过对这些控制动作进行四种 UCA 类型的遍历，系统识别出了 AI 工具特有的危险（例如：未记录的 LLM 调用、静默的版本漂移、被篡改的描述）。
约束生成： 每个识别出的危险都会产生一个安全约束，从而构成治理宪法。

2.2. 宪法结构

推导出的宪法由绑定到特定代码强制执行点的 29 条原则组成：

21 条工具原则 (TP)： 一个行为层，用于塑造分析的内容（例如：系统性枚举、禁止捏造、可衡量的约束）。
8 条元安全原则 (MSP)： 一个治理层，用于管理工具的机制（例如：审计日志、运行清单、模型版本锁定、语义匹配投票、验证器门控导出）。

2.3. 流水线实现

该工具运行一个五步流水线 ( $\Pi$ )，将系统描述 ( $S$ ) 和宪法 ( $C$ ) 映射为工件 ( $A$ )：

LLM 生成： 自由生成损失、危险和控制结构。
确定性枚举： 引擎为每一个（控制器、动作、UCA 类型）三元组创建固定槽位。LLM 必须在这些槽位中填入具体的 UCA 或明确的“不适用”理由。这确保了无论模型是否尽责，都能保证结构的完整性。
约束生成： 每个非 N/A 的 UCA 创建一个约束槽位。
验证： 八个确定性的正则表达式/结构验证器检查完整性、语言模糊性、过度自信以及证据缺失问题。
门控： 如果存在验证错误，则“验证器门控导出”（MSP-07）会阻止可分发的工件（PDF、电子邮件），除非工程师提供记录在案的覆盖操作。

2.4. 可复现性与审计

清单 (Manifests)： 每次运行都会生成一个 run manifest.json，锁定工具版本、模型、种子、温度以及系统描述和宪法的 SHA-256 哈希值。
审计日志： 每次 LLM 调用都会记录提示词/响应的 SHA-256 哈希、Token 数量和延迟。
语义投票： 为了处理模型间的分歧，工具使用 Token-Jaccard 相似度匹配器（阈值 $\tau=0.4$ ）而非严格的 ID 相等，从而在保持确定性的同时处理同义词问题。

3. 核心贡献

元 STPA 方法： 一种通过对工具本身应用 STPA 来推导其治理宪法的方法，最终产生了一份已发布的 29 条原则的宪法。
受控行为评估： 一个隔离了不同宪法层影响的实验，证明了特定任务的工具原则能显著改善安全行为，而通用的“有用/无害”前言则不然。
覆盖率框架： 对“宪法边际覆盖率”的正式定义及其完备性引理。论文报告了一个负面结果：在固定系统上，词汇覆盖率与宪法强度之间不是单调的，而是作为一种系统判别器（区分 AI 工具与硬件）。
全复现性产物： 发布了代码、宪法、清单和带种子的调用，允许通过单条命令行重放每一个结果。

4. 实验结果

4.1. 自我推导（工具能否分析自身？）

强前沿模型： 通过 claude-opus-4.8 和 claude-sonnet-4 的投票集成，从工具自身的设计中恢复了 18/21 条规范的工具原则和 全部 8/8 条元安全原则。
弱模型： 较弱的模型组合（gpt-4o-mini + gpt-4o）仅恢复了 12/21 条工具原则和 3/8 条元原则。
结论： 元层是受限于模型能力的，而非受限于宪法。对于有能力的模型，这些原则是可以从设计中恢复出来的，而不仅仅是断言。
泛化性： 当应用于第二个独立编写的 AI 工具（代码审查助手）时，强集成模型恢复了全部 8/8 条治理原则，证实了这些是 AI 工具类的属性，而非特定工具设计的产物。

4.2. 行为影响（宪法是否改变行为？）

设置： 测试了 20 个对抗性探针，针对五种宪法变体（无、通用、工具原则、工具+通用、完整）。
发现：
- 添加 21 条工具原则 (cv2) 使平均安全得分从 1.03 提升至 1.85（+79%， $p<0.001$ , $d=1.29$ ）。
- 通用的“有用/无害”前言 (cv1) 与无宪法相比没有显著改善。
- 将 8 条元安全原则 (MSP) 添加到工具原则中，并未进一步提高单轮对抗得分，因为 MSP 监管的是分析时的机制（日志、门控），而非文本生成本身。

4.3. 覆盖率与构念效度

非单调性： 在固定系统上，增加宪法强度并未线性增加词汇元覆盖率。事实上，空控制组 (cv0) 往往比完整宪法组显现出更多的元危险，因为这些危险是 AI 工具结构固有的。
系统判别： 对于硬件系统（AEB、输液泵、无人机），元覆盖率为 0/8；但对于 AI 自我系统，该值上升至 6/8。这证实了覆盖率是区分 AI 工具与硬件的判别器，而非一个可以最大化的“剂量”指标。
可复现性： 在固定种子下，该工具在不同供应商之间表现出高度稳定性（gemini-2.5-flash 是完全可复现的；claude-sonnet-4 表现出低方差）。

5. 意义与主张

本文声称通过证明“分析者可以分析自身”，回答了“谁来分析分析者？”的问题。

有据可依的宪法： 治理原则并非手工构建的断言，而是通过 STPA 从工具自身设计中推导出来的。
操作安全性： 宪法通过代码（验证器、门控、清单）进行强制执行，而非仅仅依靠提示词指令。
模型能力作为瓶颈： 恢复治理原则的能力取决于底层 LLM 的能力，而非宪法的措辞。
透明度： 作者公开报告了无法复制早期探索性结果（即覆盖率随强度单调上升）的情况，并将覆盖率重新定义为系统判别器，而非剂量反应曲线。

本文得出结论：为了使 LLM 辅助的安全工具值得信赖，它们必须包含一个任务特定的行为层（工具原则）和一个治理基座（元安全原则），并且这些内容必须硬编码到工具的执行流中，以确保工具自身的安全约束是可审计且可强制执行的。