Defining Operational Conditions for Safety-Critical AI-Based Systems from Data

本文提出了一种新颖的自动化安全设计方法，该方法利用基于多维核的表示从收集的数据中推导出运行设计域（ODD），从而解决安全关键人工智能系统的认证挑战，其有效性已通过蒙特卡洛模拟和真实世界的航空防撞用例得到验证。

要点

想象一下，你正在教一架机器人驾驶飞机。你希望机器人是安全的，因此你需要确切地告诉它在哪里以及何时被允许飞行。在人工智能安全领域，这个“允许区域”被称为运行设计域（ODD）。

传统上，专家们会坐在白板前，试图手工绘制这个区域，写下诸如“不要在雨中飞行”或“不要在 30,000 英尺以上飞行”之类的规则。但现实世界是混乱的。天气、交通和风向以复杂的方式相互作用，无法在白板上完美地一一列举。这往往会导致安全漏洞：机器人认为自己是安全的，但实际上它正处于一个未被告知的危险境地。

本文提出了一种绘制该安全区域的新方法：让数据为你绘制它。

以下是他们如何做到的简要说明，使用了日常类比：

1. 问题：“空白地图”

想象你有一张城市地图，但街道隐藏在迷雾中。你知道城市存在，但你不知道确切的道路在哪里，悬崖又在哪里。

• 旧方法： 专家根据经验猜测道路的位置。他们可能会错过隐藏的悬崖。
• 新方法： 你在地图上撒下成千上万颗发光的弹珠（数据点）。弹珠落下的地方，你知道是安全的；弹珠没有落下的地方，你假设可能是危险的。

2. 解决方案：“发光网”

作者们创造了一种方法，将这些分散的数据点转化为平滑、连续的安全地图。他们称之为基于核的表示（Kernel-Based Representation）。

将每个数据点（一个安全的飞行条件）想象成一堆篝火。

• 火焰： 就在篝火旁，非常温暖（非常安全）。
• 热量： 当你远离篝火时，热量逐渐消散。它不会突然停止，而是变得越来越凉，直到几乎察觉不到。
• 网： AI 系统通过结合所有这些篝火的热量，创建了一个巨大的、无形的“热力图”。
  • 如果你站在热量强烈的地方，你就在安全区域内。
  • 如果你站在篝火之间的寒冷地带，你就在安全区域之外。

这比在篝火周围画一个硬框要好，因为它考虑了中间的“灰色地带”。

3. 错误的“安全网”

如果你不小心在一个实际上危险的地方（比如悬崖边缘）掉落了一颗弹珠怎么办？系统需要知道不要在那里生火。

• 作者们添加了一条规则：如果一个“危险”的数据点从附近的篝火获得了太多热量，系统会自动调暗其周围的篝火，直到危险点再次变冷。
• 这确保了安全区域永远不会意外覆盖已知的危险。

4. 这对认证为何重要

为了让飞机或汽车获得使用批准，监管机构需要知道规则是稳固的。

• 确定性： 该论文声称，如果你用相同的数据两次运行此过程，每次都会得到完全相同的安全地图。这不是“黑盒”猜测，而是数学计算。
• 顺序无关性： 无论你是在早上还是下午将数据输入计算机，或者以不同的顺序输入，结果总是一样的。
• 保守性： 如果系统不确定某个地点是否安全（因为那里没有数据点），它会假设它是不安全的。这是一种“宁可安全，不可后悔”的方法，对于安全关键系统至关重要。

5. 证明：“飞行模拟器”测试

作者们通过两种方式测试了这种方法：

1. 数学模拟： 他们在计算机上创建了一个虚假的、完美的安全区域，然后尝试仅使用分散的数据点重建它。他们的“发光网”方法以超过98% 的准确率重建了原始区域。
2. 现实世界航空： 他们将此方法应用于一个真实的航空问题：防撞。他们使用了旨在防止飞机相互碰撞的系统的数据。该方法成功绘制了该复杂系统的安全运行条件，证明即使面对真实、混乱的数据，它也能发挥作用。

总结

本文提出了一种工具（称为autoSAFE），它从安全关键系统中获取原始数据，并自动围绕其绘制精确的、经数学证明的“安全区域”。它不是猜测规则，而是从数据本身学习边界，确保 AI 仅在已被证明安全的地方运行。这使得为飞行飞机或驾驶汽车等任务认证 AI 系统变得容易得多。

技术摘要

技术摘要：从数据中定义安全关键型 AI 系统的运行条件

1. 问题陈述

人工智能（AI）在安全关键领域（如航空、汽车）的快速部署， necessitates 严格的安全保障与认证。基于 AI 系统认证的核心要求之一是定义运行设计域（ODD）——即系统被设计为安全运行的特定环境与操作条件集合。

传统上，ODD 由领域专家在开发生命周期早期手动定义。然而，对于复杂的现实世界系统，这种方法面临重大挑战：

• 复杂性：定义参数间的相互关系（本体论）（例如，天气如何影响着陆速度）既困难又往往不完整。
• 静态性质：专家定义的 ODD 可能无法捕捉隐式的参数依赖关系，或无法适应新数据。
• 认证缺口：当前的数据驱动方法通常缺乏确定性的、与顺序无关的表示形式，或缺乏用于 ODD 相似性的形式化框架，而这些是正式认证的先决条件。

现有的数学表示（如凸多胞形）无法建模非线性的 ODD 本体论，而基于神经网络的方法则引入了顺序依赖性和不确定性。因此，亟需一种直接从数据中推导 ODD 的方法，该方法必须是确定性的、与顺序无关的、有界的且可解释的。

2. 方法论

本文提出了一种安全设计（Safety-by-Design）方法，利用多维核表示从收集的数据中后验地定义 ODD。核心方法论包括以下步骤：

2.1 数学形式化

作者将 ODD 形式化为数学结构 $O = (X, R^O, f^O, \Omega^O)$，其中 $X$ 是分类法（参数空间），$R^O$ 是本体论（约束），$f^O$ 是解释函数。关键在于，他们定义的ODD 相似性（$O_1 \sim O_2$）并非基于语义等价，而是基于以数据为中心的等价性：如果两个 ODD 生成相同的数据集 $Y$，则它们是相似的。

2.2 基于核的亲和度表示

该方法不手动构建边界，而是直接从数据样本构建 ODD：

• 锚点：分布内（ID）样本（$D_{ID}$）作为锚点（$A$）。分布外（OOD）样本（$D_{OOD}$）被明确排除。
• 局部亲和度：对于每个锚点 $x_i$，使用正定核（具体为**径向基函数（RBF）**核）定义局部亲和度函数 $\alpha_i(x)$。
• 全局亲和度：全局 ODD 成员资格由局部亲和度的叠加决定：
  $$\alpha(x) = 1 - \prod_{i} (1 - \alpha_i(x))$$
  如果 $\alpha(x) \geq \zeta$，则样本 $x$ 属于 ODD，其中 $\zeta$ 是预定义的阈值。

2.3 自动化参数化

为确保过程完全自动化并避免手动调整：

• 对角协方差：基于局部独立性和锚点均匀分布的假设，核协方差矩阵 $\Sigma$ 被假定为对角矩阵。
• 距离依赖缩放：$\Sigma$ 的对角线元素定义为到最近邻距离（$d^*_i$）的函数：
  $$\sigma^{(i)}_{kk} = (\kappa - \lambda) \exp(-\eta d^*_i) + \lambda$$
  这将超参数的数量从 $N \times n^2$ 减少到仅两个（$\kappa, \eta$）加上下界 $\lambda$。

2.4 OOD 一致性约束

为确保安全，该方法强制要求 OOD 样本不得被分类为 ODD 的一部分。如果 OOD 样本 $x$ 违反阈值（$\alpha(x) > \xi$），算法会迭代地缩小对该点影响最大的核的协方差矩阵。此过程是与顺序无关的，并证明能在有限步骤内终止，从而确保所有 OOD 样本均满足 $\alpha(x) \leq \xi$。

3. 主要贡献

1. 确定性、与顺序无关的框架：本文提出了首个完全自动化的管道，利用基于核的表示从数据中推导 ODD，该表示由数据唯一确定且对样本顺序具有不变性。
2. ODD 相似性的形式化定义：引入了以数据为中心的 ODD 相似性定义，使得无需语义对齐即可将数据驱动的 ODD 与真实值或代理进行比较。
3. 安全设计实施：生成的 ODD 表示是有界的、保守的（在稀疏机制下低估真实 ODD）且可解释的，满足了未来 AI 认证的关键要求。
4. 处理稀疏数据：该方法设计为即使在稀疏数据机制下也能有效运行，使其适用于早期开发阶段。
5. 开源工具（autoSAFE）：作者开发并开源了实现该框架的工具（autoSAFE），支持多种数据格式（CSV、JSON/ASAM OpenLABEL）和高效的最近邻搜索。

4. 验证与结果

该方法通过两个主要实验进行了验证：

4.1 蒙特卡洛模拟

• 设置：生成了一个带有线性不等式约束的合成 2D ODD。锚点从真实 ODD 中采样，验证样本在更宽的超矩形内生成。
• 发现：将数据驱动的 ODD 与真实底层 ODD 及锚点的凸包进行了比较。
  • 精确率和召回率曲线显示，数据驱动的 ODD 与凸包之间存在强相关性（精确率 $R^2 = 0.9855$，召回率 $R^2 = 0.9987$）。
  • 这表明，当真实 ODD 未知时，凸包可作为调整亲和度阈值的可靠代理。
  • 结果在高达 10 维的复杂关系函数中依然成立。

4.2 现实世界航空用例（VCAS）

• 背景：该方法应用于垂直防撞系统（VCAS），这是下一代 ACAS X 系统的一个组件。
• 数据：数据集包含 622,110 个锚点，代表状态向量（相对高度、垂直速率、到 CPA 的时间、先前的咨询）。
• 发现：
  • 将数据驱动的 ODD 与已知的真实 ODD 及凸包进行了比较。
  • 观察到高决定系数（精确率 $R^2 = 0.991$，召回率 $R^2 = 0.999$）。
  • 结果证实，尽管与蒙特卡洛模拟相比锚点密度较低，但基于核的方法在现实世界的高维安全关键场景中表现良好。

5. 意义与主张

本文主张，虽然仅凭数据无法总是“完全真实”地重建 ODD，但所提出的基于核的方法足以近似底层 ODD 以满足认证目的。

• 认证就绪性：该方法为定义操作边界提供了数学严谨、确定且可解释的基础。这支持了要求持续安全评估和明确操作限制监管框架（如 EASA）。
• 运行时监控：与刚性的几何边界不同，连续的亲和度函数 $\alpha(x)$ 允许分级警告区域。随着系统状态偏离锚点，亲和度评分平滑衰减，从而能够在跨越硬性安全边界之前早期检测分布外条件。
• 保守性：该方法本质上是保守的。在稀疏数据机制下，推导出的 ODD 会低估真实的安全区域，确保系统仅在拥有足够训练数据支持的区域部署。这与安全设计原则相一致。
• 局限性：作者承认该方法依赖于核参数（$\kappa, \eta$），且对角协方差假设简化了跨维度依赖关系。他们指出，生成的 ODD 在稀疏区域可能过于保守，从而排除有效的操作条件，但认为这是安全保障所必要的权衡。

总之，这项工作建立了一条数据驱动的 ODD 构建路径，该路径与形式化安全论证相兼容，弥合了经验数据与安全关键系统中 AI 认证的严格要求之间的差距。