🤖 machine learning

Diffusion-Guided Search via Exponential Tilting (DiffTilt): An Application to Falsification of Safety-Critical Systems

本文介绍了 DiffTilt，这是一个利用扩散模型的指数倾斜（exponential tilting）来克服安全关键型失效的多重稀有性的分布框架，通过在环境与执行的联合空间中实现精确的重采样（importance sampling），从而在理论上放大失效概率，并在证伪安全关键型系统方面优于传统的条件采样方法。

原作者： Tanmay Khandait, Preetom Biswas, Hideki Okamoto, Bardh Hoxha, Georgios Fainekos, Giulia Pedrielli

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tanmay Khandait, Preetom Biswas, Hideki Okamoto, Bardh Hoxha, Georgios Fainekos, Giulia Pedrielli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

安全大搜寻：大海捞针

想象一下，你是一名自动驾驶车队的安全性检查员。你的工作是找到那个可能导致碰撞的、特定的、微小的错误。问题在于，世界是巨大的，而这些错误极其罕见。这就像试图在一片沙滩上找到一颗特定的沙粒，但沙滩的形状不断变化，而且沙粒还藏在其他沙粒里面。这就是机器人与自主系统领域中验证与确认（verification and validation）的世界。科学家们使用模拟（simulations）——即虚拟试驾——来观察汽车是否会发生碰撞。但由于碰撞发生的概率如此之低，你可能需要运行数百万次模拟才能看到一次事故。这是一场巨大的时间与计算能力的浪费。

为了让这项工作变得更容易，研究人员使用了扩散模型（diffusion models）。它们就像 AI 艺术家，通过从静态噪声开始并逐渐将其清理成清晰图像的过程，学习如何绘制真实的场景（比如繁忙的街道或雨天）。他们还使用了重要性采样（importance sampling），这是一种聪明的技巧：你不再是随机寻找，而是“倾斜”你的搜索方向，将注意力集中在事故最可能发生的地方。核心问题是：我们能否将这些工具结合起来，比以前更快、更智能地找到那些罕见的危险错误？

论文的核心思想：“魔力指南针”

这篇论文介绍了一种名为 DIFFTILＴ（通过指数倾斜进行的扩散引导搜索）的新方法。你可以把它想象成给这位 AI 艺术家配备了一个“魔力指南针”，它能直接指向危险区域。

在旧的方法中，研究人员尝试通过两步过程来寻找碰撞：首先，他们选择一个随机的道路场景（比如一个雨天），然后尝试驾驶车辆看它是否会撞车。论文指出，这就像是在寻找针头时，先随机挑选一个海滩上的位置，然后再希望针头就在那里。因为“恶劣天气”和“糟糕驾驶”都是罕见的，所以找到碰撞的概率是两个极小数值的乘积（一种“乘法稀有效应”）。这就像是在玩一场抽奖游戏，你不仅要抽中正确的彩票，还得在正确的时间去买它。

DIFFTILT 改变了游戏规则。它不再将道路和驾驶行为分开选择，而是学习联合分布（joint distribution）——即学习整个场景（道路与驾驶行为）是如何相互契合的。然后，它使用一种“倾斜”机制。想象你有一张所有可能驾驶场景的地图。地图的大部分是绿色的（安全的），而一个极小的角落是红色的（危险的）。这种“倾斜”就像是用一块磁铁，将所有的概率质量（选择某个场景的可能性）从绿色区域吸引并挤压到红色区域。

论文在数学上证明了，如果你有一个“评分机制”（一种判断场景距离碰撞有多近的方法），你就可以利用这种磁铁让 AI 更频繁地生成危险场景。这不仅仅是猜测，而是一种经过计算的偏移，只要你的“评分”能够更好地对危险场景进行排序，它就能保证你更快地发现故障。

研究发现（以及局限性）

研究人员在多个基准测试上测试了 DIFFTILＴ，包括自动变速系统、一组互相追逐的车辆，以及一辆试图停车的拖挂卡车。

好消息：
当目标非常复杂时——例如一辆拖挂卡车试图在有障碍物的狭窄空间内停车，或者车辆长时间互相追逐时——DIFFT-LIT 是表现卓越的。在这些“拖挂卡车”测试中，该方法在比之前的最优方法 FReaK 使用更少模拟次数的情况下，几乎在每次尝试中都能找到碰撞（在 10 次运行中实现了 100% 的成功率）。当碰撞规则非常复杂、无法简单地用逻辑语句写出来时，它的表现尤为出色。该方法只需学习一次“先验知识”（对系统行为的通用理解），然后就可以将其应用于不同的任务而无需重新训练，从而节省了大量时间。

坏消息（以及局限性）：
然而，论文也坦诚地说明了它的短板。当系统具有“平坦”特征时（例如，许多不同的输入都会导致完全相同的结果，如换挡系统），“魔力指南针”就会感到困惑。此时，评分机制无法区分安全驾驶和危险驾驶，因为“危险信号”是平坦的。在这些特定情况下，DIFFTILT 无法找到碰撞，而旧方法（FReaK）却能成功。论文解释说，这是因为该方法依赖于评分机制能够将坏场景排在好场景之前；如果这种排序功能失效，磁铁也就无法发挥作用。

总结

DIFFTILT 并不是一个能瞬间解决所有安全问题的“魔杖”。如果系统过于“平坦”，或者危险信号过于微妙以至于无法被排序，它就无法发挥作用。但对于规则复杂、故障罕见的复杂高维系统，它提供了一种强大的新搜索方式。

DIFFTILT 不再是盲目地向靶盘投掷飞镖，而是教会投掷者如何感受风向并瞄准靶心。它表明，通过将生成式 AI（艺术家）与智能评分系统（指南针）相结合，我们可以找到那些原本会隐藏在干草堆中的罕见且关键的安全故障。作者认为，虽然这种方法是向前迈出的重要一步，但为每种类型的系统寻找完美的“评分机制”仍然是未来的挑战。

技术摘要：基于指数倾斜的扩散引导搜索 (DIFFTILT)

问题陈述

自主系统与网络物理系统（CPS）的验证与确认面临着一个根本性挑战：发现罕见的、安全性关键的失效。这些失效通常具有**乘法稀有性（multiplicative rarity）**特征，即一次失效事件需要输入场景的罕见性与系统执行轨迹的罕见性同时发生。

现有的证伪方法通常依赖于条件采样策略（conditional sampling strategies）。这些方法将环境与执行过程的联合分布进行分解，先对输入进行采样，然后再根据这些输入生成条件轨迹。本文指出，这种方法存在乘法稀有性效应：即使拥有准确的条件模型，观察到失效的概率也是输入稀有度（ $\delta$ ）与给定输入下轨迹稀有度（ $\epsilon$ ）的乘积。因此，寻找失效所需的预期样本量规模为 $O(1/(\delta\epsilon))$ ，使得穷举搜索在成本上变得极其昂贵。此外，经典的重要性采样（IS）方法通常需要访问理想的参考分布或显式的似然模型，而这在现实的黑盒测试流水线中往往难以获得。

方法论：DIFFTILT

本文提出了 DIFFTILT（基于指数倾斜的扩散引导搜索），该框架将证伪重新定义为对学习到的环境与执行过程联合分布进行**指数倾斜（exponential tilting）**的过程。

1. 联合生成建模

DIFFTILT 不仅仅分别对输入和轨迹进行建模，而是学习一个联合扩散模型 $p_\theta(x, y)$ ，其中 $x$ 代表环境输入， $y$ 代表系统执行轨迹。该模型作为一个可重用的场景先验。至关重要的是，该生成模型充当基准密度，并不需要精确地代表真实的系统动力学；它仅提供一个采样支持集。

2. 作为重要性采样的指数倾斜

其核心机制是使用替代评分函数 $S(x, y)$ （例如鲁棒性预测器或奖励函数）对联合分布进行重加权，该函数与失效相关。倾斜后的分布定义为：
$p_{\theta, \beta}(x, y) \propto p_\theta(x, y) \exp(\beta S(x, y))$
其中 $\beta$ 是倾斜参数。

本文证明了这种扩散引导采样可以被精确解释为在联合空间中的重要性采样。引导评分（guidance scores）作为似然比倾斜，将概率质量重新分配到与失效相关的行为上。作者证明，这种重加向是满足期望评分约束的 KL 最优（最小化 Kullback-Leibler 散度）偏置分布，从而在满足温和假设的情况下放大了失效概率。

3. 理论保证

失效概率的放大： 本文证明，如果评分函数 $S$ 在分布意义上（具体而言，在满足一阶随机占优假设下）将失效行为的排名高于非失效行为，则指数倾斜能证明增加采样到失效的概率。
克服乘法稀有性： 与条件采样受限于特定输入内的失效率不同，联合倾斜可以对整个联合空间进行重加权。这使得该方法能够通过直接将质量转移到可能发生失效的联合区域，从而克服乘法稀后性的瓶颈。
确定性系统： 对于确定性动力系统 $y = \Phi(x)$ ，联合倾斜会简化为沿动力学流形的输入空间最优重要性采样。这确保了即使预测的轨迹 $\hat{y}$ 不完美，该方法依然有效，因为真实的模拟器仅在选定的输入 $x$ 上被调用。

4. 算法流程

DIFFTILT 流水线分为两个阶段运行：

离线阶段： 在配对的 $(x, y)$ 数据上训练联合扩散模型。该先验模型是冻结且可重用的，无需针对不同的规范进行重新训练。
在线阶段：
1. 基于累积的模拟数据训练替代评分函数 $S_k$ ，以近似失效可能性。
2. 通过梯度引导的反向扩散生成候选样本，其中评分梯度 $\nabla S_k$ 会偏置去噪过程，使其向高分（易失效）区域移动。
3. 选择一个候选样本，在黑盒模拟器中执行以获得真实的轨迹和鲁棒性，并将结果用于优化替代评分函数。
4. 该循环持续进行，直到找到证伪案例或耗尽模拟预算。

核心贡献

形式化基础： 本文为扩散引导证伪提供了形式化基础，将其解释为通过对联合分布进行指数倾斜来实现原则性的反例生成。
理论分析： 通过一阶随机占优（FOSD）建立了指数倾斜能够放大失效概率的充分必要条件，证明了当评分函数将失效行为排在非失效行为之上时，该方法是有效的。
明确条件采样的局限性： 本研究刻画了条件采样的基本局限（乘法稀有性），并展示了联合倾斜如何通过在联合空间内重新分配质量来克服这一问题。
降维至输入空间 IS： 对于确定性系统，作者展示了联合倾斜如何简化为输入空间的最优重要性采样，从而将该框架与现有的基于模拟的验证工作流联系起来。
新基准测试： 本文引入了改编自现有工作的 TT2D 拖挂卡车（tractor-trailer）基准，用于在明确的规范和轨迹级目标下评估证伪性能，突出了规范化奖励与轨迹级代价之间存在差异的情景。

实验结果

作者在三个基准套件（自动变速箱 AT、追逐汽车 CC 以及提出的拖挂卡车 TT2D）上将 DIFFTILT 与基于 Koopman 算子线性化的最先进证伪方法 FReaK 进行了对比评估。

自动变速箱 (AT)： 在涉及离散档位信号的规范（如 AT51, AT54）上，DIFFTILT 的竞争力不如 FReaK。作者将其归因于离散动力学导致的“平坦化”鲁棒性景观，这使得基于梯度的引导无法提供有效信息。然而，在连续规范上，其表现具有竞争力。
追逐汽车 (CC)： 在长时界和嵌套规范（CC4, CC5, CCx）上，DIFFTILO 展示了显著优势。虽然 FReaK 的优化过程随着时界和嵌套深度的增加变得更加昂贵且精度下降，但 DIFFTILT 凭借其对已实现轨迹的替代评分而非逻辑公式编码的依赖，能以更少的模拟次数保持较高的证伪率。
拖挂卡车 (TT2D)： DIFFTILO 在所有六个场景（包括带有障碍物和紧凑公差的场景）中，使用 4000 个训练点实现了 100% 的证伪率，在成功率和模拟效率方面均显著优于 FReaK。结果表明，DIFFTILO 受益于更丰富的轨迹级引导信号（如目标达成代价），而这类信号在标准的基于 STL 的优化框架中难以编码。

意义与主张

本文声称 DIFFTILT 提供了一种可靠且具备分布感知能力的增强型反例生成方法。其主要意义在于：

解耦先验与系统： 生成模型仅作为基准密度，不需要是待测系统的完美模型。真实的系统评估仅限于学习评分函数，从而实现了对昂贵模拟的针对性和自适应使用。
泛化性： 虽然侧重于证伪，但该框架是通用的，适用于包括规划和合成在内的其他场景生成问题。它允许在复杂的场景空间中进行分布感知的探索，超越了简单的安全违规。
理论严谨性： 通过将扩散引导搜索建立在重要性采样理论和随机序分析的基础上，本文提供了关于放大失效概率的可证明保证，超越了启发式搜索策略。

作者承认了其局限性，特别是对于梯度消失的离散动力学系统，并指出倾斜强度 $\beta$ 目前仍需要手动调优。他们建议未来的研究方向包括 $\beta$ 的自适应调优、处理混合动力学以及扩展对随机系统的分析。