💻 computer science

Formally Guaranteed Control Adaptation for ODD-Resilient Autonomous Systems

该论文提出了一种通过动态扩展系统情境能力并同步提供定量保障，从而在超出操作设计域（ODD）的未预见情况下仍能确保自动驾驶系统可靠性的控制适应方法。

原作者： Gricel Vázquez, Calum Imrie, Sepeedeh Shahbeigi, Nawshin Mannan Proma, Tian Gan, Victoria J Hodge, John Molloy, Simos Gerasimou

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gricel Vázquez, Calum Imrie, Sepeedeh Shahbeigi, Nawshin Mannan Proma, Tian Gan, Victoria J Hodge, John Molloy, Simos Gerasimou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 SAVE 的新方法，旨在让自动驾驶系统（比如无人驾驶船、汽车或机器人）在面对“从未见过”的突发状况时，不仅能活下来，还能保证绝对安全。

为了让你更容易理解，我们可以把自动驾驶系统想象成一位经验丰富的老船长，而这篇论文就是给他配备的一套超级智能导航与应急系统。

1. 核心问题：老船长的“舒适区”

想象一下，这位老船长（自动驾驶系统）在训练时，只被教过在特定的海域航行：

天气：必须是晴天或小雨。
船只：只能遇到普通的渔船和货轮。
规则：只能处理标准的“对头相遇”或“交叉相遇”。

这个训练范围，在专业术语里叫 ODD（运行设计域）。

问题出在哪？
现实世界是混乱的。有一天，船长突然遇到了一艘全速冲刺的快艇（这是训练时没见过的“域外”情况），或者遇到了浓雾加海盗船的极端组合。
这时候，船长懵了。因为他脑子里的“操作手册”里没有这一章。如果强行按旧手册开，可能会撞船。

传统做法：要么停下来（太慢，影响效率），要么硬着头皮开（太危险，可能出事）。
本文的痛点：现有的系统很难在不重新设计整个大脑（重新训练 AI）的情况下，实时应对这种新情况。

2. SAVE 方案：给船长配个“实时预言家”

SAVE（Situation-Aware Verification and control synthEsis）就像是一个随身携带的“实时预言家”和“安全过滤器”。它的工作流程分为两个阶段：

阶段一：出海前（预部署）—— 画好“风险地图”

在船长出海前，研究人员先帮他做足功课：

情景网格化：把大海可能遇到的情况（比如：船多不多？距离近不近？时间紧不紧？）像画棋盘一样列出来。
模拟演练：让船长在模拟器里跑几千次，看看在什么情况下会撞船，什么情况下能安全通过。
打分评级：给每种情况打分。
- 安全分：99% 能过。
- 危险分：只有 80% 能过，或者一旦失败就是撞船。
- 关键动作：把那些“容易翻车”的格子标记为红色禁区。

阶段二：出海中（运行时）—— 实时“排雷”与“改道”

当船长真的在海上航行时，SAVE 系统开始工作：

时刻监控：雷达一响，系统立刻判断：“哦，现在的情况是‘高速快艇 + 浓雾’，这属于那个‘红色禁区’吗？”
实时计算：如果系统发现当前的情况超出了安全范围（比如撞船概率从 1% 飙升到了 10%），它不会惊慌，而是立刻启动**“安全过滤”**。
动态改道（核心魔法）：
- 想象船长手里有一张地图，上面画满了所有可能的路线。
- 当发现某条路（某种操作）通向“撞船”时，SAVE 会当场把这条路从地图上抹掉，并在上面插上一面“禁止通行”的旗帜。
- 然后，系统会重新计算：“既然这条路不能走，那剩下的路里，哪条最安全？”
- 它会生成一个新的、经过数学证明绝对安全的操作指令，让船长执行。

简单比喻：
这就好比你在玩一个迷宫游戏。

普通 AI：走到死胡同就卡住了，或者乱撞。
SAVE 系统：当你走到一个死胡同前，它立刻告诉你：“前面有墙，别去！根据现在的地图，我们只能往左拐，而且往左拐是 100% 安全的。”它不是靠运气，而是靠数学证明告诉你：“只要不走那条死路，你就绝对安全。”

3. 实验结果：真的管用吗？

研究人员用一艘无人船做了测试：

场景：故意制造一些“意外”，比如让别的船突然加速冲过来（这是训练时没教过的）。
结果：
- 没有 SAVE 的系统：直接撞船，或者违反安全规则。
- 有 SAVE 的系统：立刻发现危险，自动“封锁”了导致撞船的操作选项，并切换到一个虽然保守但绝对安全的操作模式（比如紧急刹车或大角度避让）。
- 数据：在 20 种不同的意外测试中，SAVE 成功避免了 14 次潜在的违规或事故。

4. 总结：这为什么重要？

这篇论文的核心贡献在于：
它不再依赖“等系统出错了再修”或者“重新训练整个 AI"这种笨办法。相反，它提供了一种动态的、有数学保证的方法。

以前：自动驾驶遇到新情况 = 可能出事故。
现在（SAVE）：自动驾驶遇到新情况 = 系统自动识别风险 -> 自动屏蔽危险选项 -> 生成新的安全方案 -> 继续安全行驶。

一句话概括：
SAVE 就像是给自动驾驶系统装了一个**“实时安全刹车”**，当它发现前方有从未见过的危险时，不会盲目冲过去，而是立刻切断危险路径，确保无论发生什么，系统都能停留在安全区域内。这让自动驾驶在面对真实世界的混乱时，变得更加聪明和可靠。

论文技术总结：面向 ODD 弹性自主系统的形式化保证控制自适应

1. 研究背景与问题定义 (Problem)

核心挑战：
在安全关键领域（如医疗、海事运输），自主系统（Autonomous Systems, AS）面临的主要挑战是如何确保系统在**操作设计域（Operational Design Domain, ODD）**之外的情况下的可靠性能。

ODD 的局限性：ODD 定义了系统预期安全运行的特定条件。然而，现实环境的复杂性、演变以及涌现的系统行为，使得系统不可避免地会遭遇 ODD 之外的情况（Out-of-ODD）。
现有方法的不足：
- 当系统遇到 ODD 之外的情况时，其行为变得高度不确定，原有的安全保证失效。
- 传统的运行时更新（如重新训练或重新设计）往往不可行，因为成本过高或时间不允许。
- 现有的自适应性系统（SAS）和运行时验证方法虽然能检测偏差，但缺乏在遭遇 ODD 外情况时动态调整底层模型以提供严格安全保证的框架。

目标：
开发一种方法，能够在运行时动态扩展系统对场景的覆盖能力，适应未预期的 ODD 外情况，同时提供形式化的定量安全保证，防止关键安全违规。

2. 方法论：SAVE 框架 (Methodology)

论文提出了一种名为 SAVE (Situation-Aware Verification and control synthEsis) 的新方法。这是一种以 ODD 为驱动、以场景（Situation）为中心的建模与自适应方法。SAVE 遵循 MAPE-K（监测、分析、规划、执行、知识）循环，分为部署前和部署时两个阶段。

2.1 核心概念

场景覆盖网格 (SCG)：将 ODD 中的属性（如船舶密度、碰撞时间 TTC 等）组合成离散的场景集合。
增广 SCG：在基础 SCG 基础上，引入从实证测试数据中提取的转移概率，并包含“故障状态”（Failure States）。
离散时间马尔可夫链 (DTMC)：将每个场景建模为 DTMC，用于概率模型检查。
PCTL (概率计算树逻辑)：用于形式化定义安全属性（如“故障概率小于 0.95"）。

2.2 工作流程

A. 部署前阶段 (Pre-deployment)

SCG 增强 (Augmentation)：
- 从 ODD 中提取离散场景集合。
- 结合测试数据生成场景间的转移概率，构建增广 SCG。
- 设计并测试多种控制器，目标是满足需求并最小化进入关键场景的概率。
关键场景分析 (Critical Situations Analysis)：
- 为每个场景生成对应的 DTMC 模型。
- 使用概率模型检查 (PMC)（工具：PRISM）验证模型是否满足安全属性 $\Phi$ 。
- 计算关键性评分 (Criticality Score)：衡量属性违反的程度（0 表示合规，值越大表示偏离越严重）。
- 根据评分识别最关键的场景，迭代优化控制器设计，直到所有测试控制器在已知场景下安全。

B. 部署时阶段 (Deployment) - 运行时自适应

SAVE 在运行时持续监控并适应系统状态：

监测 (Monitoring)：实时获取当前系统场景 $\rho_t$ 和已知的故障状态 $\xi$ 。
模型更新与分析 (Model Update & Analysis)：
- 利用新数据（频率主义或贝叶斯方法）更新场景间的转移概率，构建新的增广 SCG 和 DTMC 模型集 $M_t$ 。
- 分析当前场景模型的关键性评分。
- 决策逻辑：
  - 若无违规（评分 $\le 0$ ），继续正常运行。
  - 若检测到违规，识别评分最差的场景（最危险）。
控制器综合 (Controller Synthesis)：
- 自适应策略：如果当前配置违反安全要求，SAVE 会触发控制器重设计。
- 排除机制：将导致最高违规风险的场景状态标记为“汇点状态”（Sink State，即概率为 1 的自环，禁止系统继续执行危险路径），从而在概率模型中“切断”通往危险场景的路径。
- 迭代重算：移除危险场景后，重新计算剩余场景的关键性评分，直到所有场景满足安全要求或达到最大迭代次数。
- 控制器选择：从预部署阶段生成的候选控制器中，选择无违规且最小化进入 ODD 外情况概率的控制器。
执行 (Execution)：将合成的安全控制器应用到受管系统中，确保系统在动态变化中保持安全。

3. 主要贡献 (Key Contributions)

以场景为中心的新方法：提出 SAVE，利用从 ODD 提取的场景生成概率模型，并在部署时生成控制器，提供形式化的定量安全保证。
概率转移编码与关键性度量：提出了一种编码场景间概率转移的方法，并定义了关键性评分指标，结合数据驱动更新来评估场景风险。
运行时验证驱动的自适应循环：构建了一个闭环系统，能够在部署时检测安全违规，并自动合成更新后的控制器，即使在 ODD 漂移（ODD Drift）的情况下也能保持安全。
形式化保证：不同于传统的黑盒自适应，SAVE 通过概率模型检查（PMC）为自适应后的行为提供数学上的安全证明。

4. 实验结果 (Results)

研究在海事自主表面船 (MASS) 的简化案例中进行了初步评估。系统需在两种类型的有人船只（A 和 B）之间航行，避免碰撞。

评估指标：
- RQ1 (有效性)：SAVE 能否减少 ODD 外情况导致的需求违规？
- RQ2 (适应性)：与固定控制器的基线相比，SAVE 合成无违规控制器的能力如何？
- RQ3 (可扩展性)：随着场景数量增加，合成新控制器的计算效率如何？
关键发现：
- 违规减少：在 20 种测试变体中，SAVE 成功避免了 14 种情况下的需求违规（基线系统在所有情况下均失败）。SAVE 通过主动避开高风险场景（如执行 COLREGs 避碰机动）实现了这一目标。
- 动态适应：在模拟的 ODD 外事件（如船舶减速导致碰撞时间过短）中，SAVE 能在检测到违规的瞬间（ $t_1$ ）识别并调整控制器，在碰撞发生前（ $t_2$ ）阻止事故，并恢复对安全属性（ $\Phi_1, \Phi_2$ ）的满足。
- 失败案例分析：SAVE 仅在关键性评分极高（>0.04）且涉及严重近碰撞风险（ $\Phi_2$ ）时失败，这为后续系统重设计提供了明确方向。
- 可扩展性：虽然状态空间随场景数量线性增长，但转移数量呈指数增长（最坏情况）。然而，初步结果显示，对于关键系统，运行时验证在计算上是可行的。

5. 意义与价值 (Significance)

填补空白：解决了现有自适应性系统缺乏在 ODD 外运行时提供形式化安全保证的难题。
从被动到主动：SAVE 不仅检测异常，还通过修改概率模型和合成新控制器来主动防止系统进入不安全状态。
可追溯性：建立了从预部署 ODD、测试数据到运行时验证的明确可追溯性，这是现有框架所缺乏的。
应用前景：该方法不仅适用于海事领域，还可推广至其他安全关键的 cyber-physical 系统（CPS），为在动态、不确定环境中部署高可靠性自主系统提供了新的技术路径。

总结：SAVE 框架通过结合场景覆盖、概率模型检查和运行时自适应，成功地在面对未预期的 ODD 外情况时，为自主系统提供了“形式化保证”的安全控制策略，显著提升了系统的韧性和可靠性。