🤖 AI

Lipschitz Optimization for Formal Verification of Homographies

本文提出了一种形式化验证框架，该框架通过利用李普希茨优化和单应性变换的分段连续性，推导出在三维相机运动扰动下像素值的紧线性界，从而在不依赖复杂仿真或代理模型的情况下，为平面场景中的视觉神经网络首次提供了严格的鲁棒性保证。

原作者： Jean-Guillaume Durand, Panagiotis Kouvaros, Maxime Gariel, Alessio Lomuscio

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Jean-Guillaume Durand, Panagiotis Kouvaros, Maxime Gariel, Alessio Lomuscio

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人驾驶汽车或降落飞机。你已经为它配备了一个“大脑”（一个神经网络），该网络经过训练，能够识别停止标志、道路标线或跑道。但存在一个问题：这些“大脑”非常脆弱。如果你稍微改变光照、颜色或照片的角度，机器人可能会突然认为停止标志是限速标志，或者认为跑道只是草地。

为了确保这些机器人是安全的，我们需要从数学上证明，即使情况出现轻微波动，它们也不会犯错。本文介绍了一种全新的、超精确的方法来执行这种证明，专门针对相机在三维空间中移动的情况。

以下是他们工作的分解，使用了简单的类比：

1. 问题：“橡胶 sheet"与“现实世界”

目前大多数针对人工智能的安全检查就像是在图片上拉伸一张橡胶 sheet。它们假设如果你轻微抖动像素（例如改变亮度或添加静态噪声），人工智能仍然能正常工作。这被称为" $\ell_p$ -范数”检查。

但在现实世界中，相机不仅仅是抖动像素；它在移动。如果你转动头部（偏航）、倾斜头部（俯仰）或向前移动，图像会以复杂且几何的方式发生变化。

论文的类比：想象一张画有图案的平纸。如果你只是添加噪声，就像在纸上撒胡椒。但如果你移动相机，就像从不同角度观察那张纸。图案会发生扭曲、拉伸和挤压。旧的“橡胶 sheet"安全检查过于宽松；它们试图用一个巨大的、模糊的云团来覆盖这种扭曲，而这个云团包含了不可能的图像（例如停止标志变成了披萨）。这使得安全检查变得无用，因为它无法证明人工智能是安全的。

2. 解决方案：“魔法地图”（单应性）

作者们意识到，对于许多机器人关心的事物——如扁平的道路标志、地面或跑道——由相机移动引起的扭曲遵循一种特定的、可预测的数学规则，称为单应性（homography）。

类比：将相机的移动想象成一张魔法地图。如果你确切知道相机是如何移动的（例如，“向左转了 5 度”），你就可以绘制一张完美的、封闭形式的地图，告诉你新图像中的每一个像素确切来自旧图像的哪个位置。这不是猜测；这是一份精确的几何食谱。

3. 方法：“利普希茨优化”（限速）

既然他们拥有了魔法地图，就需要证明人工智能不会感到困惑。挑战在于，这张地图是非线性的（它会弯曲和扭曲），使得计算确切界限变得困难。

他们使用了一种称为**利普希茨优化（Lipschitz Optimization）**的技术。

类比：想象你正在攀登一座山（代表像素值），你想知道在特定区域内你可能达到的最高点。你不需要攀登每一英寸。相反，你知道这座山有一个限速（即利普希茨常数）。你知道无论路径多么陡峭，你的攀登速度都不能超过某个速率。
通过在山上的几个点进行采样，并了解地形的“限速”，他们可以从数学上保证山峰（最坏情况的像素值）不能超过某个高度。这使得他们能够围绕所有可能的扭曲图像绘制一个紧密、准确的边界框。

4. 结果：更快、更紧密

该团队构建了一个工具来自动执行这些数学运算。

速度：他们使该方法比之前的方法快了89%。这就像将这些安全检查从自行车升级到了跑车。
精度：他们的“安全框”紧了7%。这意味着他们没有浪费时间检查不可能发生的情况。他们正在检查确切可能发生的情况。
发现：当他们在标准人工智能基准测试（如识别数字或交通标志）上测试该方法时，他们发现许多人工智能模型对三维相机移动非常脆弱。例如，一个经过训练以识别交通标志的模型，如果相机只是稍微倾斜，可能会完全失效，尽管它通过了所有旧的“噪声”测试。

5. 现实世界测试：跑道

为了展示这在真正的安全关键情境中如何运作，他们在一个旨在告知飞行员跑道是否可见的系统上进行了测试。

结果：发现该系统非常脆弱。在微小的相机移动下（如轻微的颠簸或转弯），该系统无法保证能正确识别跑道。这突显了一个真正的漏洞，在将此类人工智能认证用于航空之前必须加以修复。

总结

简而言之，这篇论文指出：“停止猜测相机移动如何影响人工智能。我们为此找到了一张精确的数学地图，并利用‘限速’规则证明了相机移动究竟能在多大程度上使人工智能感到困惑。我们发现，当前的人工智能对移动的脆弱性比我们想象的要大得多，并且我们构建了一个更快、更好的工具来证明这一点。”

这项工作是将人工智能认证用于飞行无人机、驾驶汽车或降落飞机等安全关键任务的关键一步，在这些任务中，一个错误的猜测不仅仅是一个错误——它是一场灾难。

技术摘要：用于同态变换形式化验证的 Lipschitz 优化

1. 问题陈述

深度神经网络（DNN）在自动驾驶、航空航天和医疗保健等安全关键领域的部署需要形式化的鲁棒性保证。当前的形式化验证方法主要关注直接作用于像素空间的 $\ell_p$ -范数有界扰动（例如噪声、对比度变化）。然而，这些方法未能充分建模源自物理 3D 世界的扰动，例如相机运动、视角变化或场景几何位移。

虽然 $\ell_p$ -球在理论上可以涵盖物理扰动产生的图像，但它们过度近似了扰动图像的真实流形，导致界限宽松且信息量不足，往往无法证明网络的鲁棒性。现有的 3D 鲁棒性方法局限于统计方法（保证较弱）、2D 仿射变换（无法建模透视效应）或需要显式 3D 场景模型的复杂模拟。在形式化验证投影几何变换（特别是同态变换，即描述 3D 相机运动下平面表面不同视图之间平面到平面映射的变换）方面存在关键缺口。

2. 方法论

作者提出了一种形式化验证框架，旨在针对捕获相机的 3D 运动扰动进行鲁棒性验证，特别适用于具有主导平面结构的场景（例如道路标记、交通标志、地面平面）。

2.1 同态变换的闭式推导

该方法首先建立从相机位姿扰动到像素值的闭式映射。

几何建模：假设针孔相机模型和平面场景特征（例如世界坐标系中的 $z=0$ ），作者推导了由 6-自由度相机位姿扰动（翻滚、俯仰、偏航和平移）诱导的同态变换矩阵 $H(\kappa)$ 。
参数化：同态变换由向量 $\kappa$ 参数化，该向量表示相对于参考相机的位姿增量。对于特定场景（例如纯偏航旋转），作者推导了 $H(\kappa)$ 及其逆 $H^{-1}(\kappa)$ 的显式解析表达式。
像素值函数：变换后像素 $G(\kappa)$ 的值通过 $T^{-1}(\kappa)$ 将变换后的坐标映射回原始图像并应用双线性插值来计算。这产生了一个非线性函数 $G(\kappa) = I \circ T^{-1}(\kappa)$ 。

2.2 分段线性（PWL）近似与 Lipschitz 优化

为了验证网络，必须用可传播至验证器的线性界限来过度近似非线性函数 $G(\kappa)$ 。

分段线性界限：参数空间 $B$ 被划分为子域。在每个子域内，函数 $G(\kappa)$ 根据 Batten 等人 [7] 的方法，通过采样点导出的线性界限（$LB $和$ UB$）进行近似。
Lipschitz 连续性：为了确保界限的可靠性（即它们严格包含真实的函数值），作者分析了 $G(\kappa)$ 的 Lipschitz 连续性。他们通过计算逆变换 $T^{-1}(\kappa)$ 的梯度，推导出了 Lipschitz 常数 $L$ 的解析上界。
处理不连续性：作者解决了同态变换逆在临界角度（分母接近零处）的不连续性。他们定义了可微域 $Diff(B)$，并确定了最大梯度的候选位置（边界和特定的反正切值），以计算有效的 Lipschitz 常数。
优化：利用 Lipschitz 优化，算法迭代地细化界限。它在采样点评估函数，并利用 Lipschitz 常数来界定界限违规的全局最大值。如果界限违规超过阈值 $\epsilon$ ，则分割子域，并重复该过程直至收敛。

2.3 实现

该方法实现为一个前端，可为任何下游验证器生成线性界限。作者调整了 VENUS 验证器以处理这些分段线性界限，增强了其界限传播框架，使其能够从线性输入约束而非固定区间推导预激活界限。

3. 主要贡献

投影变换的形式化验证：本文推导了由 6-自由度位姿扰动诱导的闭式同态变换，并证明了其与分段线性约束和 Lipschitz 优化的兼容性。这使得在非仿射（投影）变换下对像素值获得可证明的紧确界限成为可能。
高效实现：作者提供了一种高效的实现，改进了现有的 PWL 算法 [7]。改进包括用于精确梯度的半像素校正、在 Lipschitz 候选集中包含被忽略的参数值、参数空间上的二分法以及像素级并行化。
基准测试与案例研究：该方法在 VNN-COMP 基准（MNIST、CIFAR-10、GTSRB）和现实世界的跑道可见性分类器上进行了评估。

4. 结果

性能提升：与 PWL 算法 [7] 的重实现相比，所提出的方法在复杂像素曲线上实现了高达 89% 的运行速度提升和 7% 的更紧确界限。在小规模变换中，分支与界限（BaB）迭代次数减少了 71% 以上。
漏洞发现：在 VNN-COMP 基准上的评估显示，使用标准数据增强（包括 $\ell_p$ -范数攻击）训练的网络对 3D 几何扰动表现出系统性弱点。例如，GTSRB（自动驾驶）模型对 3D 扰动（翻滚、俯仰、偏航和平移）的认证鲁棒性为 0%。即使是 MNIST 和 CIFAR 模型，其对俯仰、偏航和平移的鲁棒性也显著低于对 $\ell_p$ -范数扰动的鲁棒性。
现实世界案例研究：应用于在 LARD 数据集上训练的跑道可见性分类器，该方法在 10 厘米平移下仅认证了 16% 的测试图像具有鲁棒性，在 1° 旋转下仅认证了 1%，突显了安全关键感知系统中的实际漏洞。
敏感性分析：研究证实，随着变换幅度（例如偏航角）的增加，认证鲁棒性下降，这是形式化验证中已知的挑战，需要域分割。

5. 意义与主张

本文声称提出了首个不依赖复杂模拟、代理网络或显式图像形成模型的投影几何变换形式化验证框架。通过利用平面场景同态变换的解析可处理性，作者弥合了 2D 仿射验证与完整 3D 场景建模之间的差距。

其意义在于：

合规性：为航空、自动驾驶等安全关键行业中 AI 的认证提供所需的数学保证，其中相机运动是主要的不确定性来源。
方法论进步：扩展 Lipschitz 优化和 PWL 技术以处理非仿射、透视畸变变换，这些变换此前被认为在形式化验证中解析上不可处理。
实际洞察：证明当前最先进的网络对现实的 3D 扰动是脆弱的，表明鲁棒性训练或验证必须超越 $\ell_p$ -范数约束，以应对物理世界的变化。

作者保持了谦逊的语气，承认大规模变换会加剧非线性，且该方法目前最适合具有有限视差和遮挡的主导平面场景。他们将这项工作定位为验证机器人和计算机视觉中大量用例的原则性中间立场。