A Forward Reachability Perspective on Control Barrier Functions and Discount Factors in Reachability Analysis

这是一篇关于控制理论、可达性分析与安全控制之间关系的学术论文的详细技术总结。该论文提出了一种基于**前向可达性（Forward Reachability）**的新视角，建立了可达性分析、控制不变集（Control Invariance）与控制屏障函数（Control Barrier Functions, CBFs）之间的强联系。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心挑战：在安全关键系统中，设计能够保证系统状态在无限时间范围内满足约束的安全控制策略至关重要。这通常依赖于寻找控制不变集（Control Invariant Sets）。
• 现有方法的局限性：
  • 传统的基于**后向可达性（Backward Reachability）**的方法（如计算不可避免的后向可达管 BRT）主要用于寻找最大不变集，但难以直接生成满足 CBF 定义的函数。
  • 后向可达性方法中引入折扣因子（Discount Factor）会导致哈密顿 - 雅可比（HJ）方程中的解在不变集内部变为平坦（梯度为零），或者在无折扣/负折扣情况下导致解无界或不连续。这使得这些值函数无法直接作为 CBF 使用（因为 CBF 需要在边界处提供平滑的减速机制，即满足特定的微分不等式）。
  • 现有的 CBF 设计通常是非系统性的，或者难以保证在安全集内部处处满足可行性。
• 研究目标：探索一种新的方法，利用前向可达性视角，构建一个既有理论保证（满足 HJ 方程唯一解、有界、连续），又能自然满足 CBF 约束条件的值函数。

2. 方法论 (Methodology)

论文提出了一种基于**折扣前向可达管（Discounted Forward Reachable Tube, FRT）**的框架，核心步骤如下：

2.1 定义不可避免的 FRT (Inevitable FRT)

• 不同于传统的“可行”前向可达管（所有可能到达的状态），作者定义了不可避免前向可达管（Inevitable FRT）：即从初始集 $C$ 出发，无论控制输入如何，在 worst-case 扰动下必然会到达的状态集合。
• 通过引入时间反向的轨迹（$t \in (-\infty, 0]$）和微分博弈（控制试图最小化 FRT 增长，扰动试图最大化），将 FRT 定义为满足特定条件的状态集合。

2.2 引入折扣因子的值函数

• 定义了一个带有折扣因子 $\gamma > 0$ 的成本泛函：
  $$J_\gamma = \sup_{t \in (-\infty, 0]} e^{\gamma t} h_C(x(t))$$
  其中 $h_C$ 是描述初始集 $C$ 的函数。
• 构建FRT 值函数 $V_\gamma(x)$ 为该微分博弈的博弈值（Value Function）。
• 关键创新：在成本函数中引入正向时间上的折扣因子（在反向时间视角下体现为 $e^{\gamma t}$），这导致生成的 HJ 方程中包含 $+\gamma V_\gamma(x)$ 项，而非传统后向可达性中的 $-\lambda V$ 项。

2.3 哈密顿 - 雅可比变分不等式 (HJ-FRT-VI)

• 推导了刻画 $V_\gamma$ 的 HJ 变分不等式：
  $$0 = \min \left\{ V_\gamma(x) - h_C(x), \quad \max_{u} \min_{d} \left( \frac{\partial V_\gamma}{\partial x} \cdot f(x, u, d) + \gamma V_\gamma(x) \right) \right\}$$
• 证明了在 $\gamma > 0$ 的条件下，该方程存在唯一的粘性解（Viscosity Solution），且该解是有界和连续的。

2.4 建立与 CBF 的联系

• 理论连接：证明了 $V_\gamma$ 的零上水平集（Zero-superlevel set）即为 FRT。
• CBF 性质：
  • 如果 $V_\gamma$ 的边界是连续可微的，则 FRT 是一个鲁棒控制不变集。
  • $V_\gamma$ 在可微点满足 CBF 的屏障约束条件：$\max_u \min_d \nabla V_\gamma \cdot f + \gamma V_\gamma \ge 0$。
  • 逆最优性：任何有效的 CBF $h_S$ 都可以被视为某个初始集对应的折扣 FRT 值函数（在集合内部）。
• 超解（Supersolution）理论：证明了 HJ-FRT-VI 的任何 $C^1$ 连续超解（Supersolution）都是一个有效的 CBF，并且其对应的不变集是 FRT 的外逼近（Outer-approximation）。这一性质为通过数值方法学习 CBF 提供了理论基础。

2.5 基于神经网络的 CBF 学习方法 (FRT-CBF)

• 利用上述超解性质，提出了一种学习算法。
• 网络架构：神经网络输出两个标量函数 $u_\theta(x)$ 和 $v_\theta(x)$，构造 CBF 候选函数：
  $$W_\theta(x) = h_C(x) + u_\theta(x)^2$$
  这种参数化强制保证了 $W_\theta(x) \ge h_C(x)$（即包含初始集）。
• 损失函数：包含三项：
  1. HJ-FRT-VI 超解损失：惩罚违反屏障约束不等式的部分。
  2. 集合包含损失：确保学习到的集合包含在约束集 $X$ 内（通过 $v_\theta$ 项约束 $W_\theta \le h_X$）。
  3. 控制不变性损失：在边界附近采样，确保满足切向条件。

3. 主要贡献 (Key Contributions)

1. 理论突破：前向可达性与 CBF 的统一

   • 首次建立了基于前向可达性的框架与 CBF 之间的系统性联系。
   • 证明了引入折扣因子的前向可达值函数天然满足 CBF 的屏障约束，同时保持了有界性、连续性和唯一性，克服了传统后向可达性方法在生成 CBF 时的缺陷（如平坦区域或解的不唯一性）。

2. 超解与控制不变性的新解释

   • 将 HJ-PDE 中的**超解（Supersolution）**概念赋予了具体的安全与控制不变性意义：任何 $C^1$ 超解都是一个有效的 CBF，且其零上水平集是 FRT 的鲁棒控制不变外逼近。
   • 这为设计可微的 CBF 提供了构造性的数学依据。

3. 算法创新：神经 FRT-CBF

   • 提出了一种基于神经网络的 CBF 学习方法，能够学习出包含给定初始集 $C$ 的控制不变超集。
   • 该方法不依赖于初始集 $C$ 本身是否是不变集（即使 $C$ 不是不变集，也能学习到一个包含 $C$ 的不变集）。

4. 实验结果 (Results)

• 双积分器系统示例：
  • 在双积分器（Double Integrator）系统上进行了验证。
  • 案例 (a)：初始集 $C$ 是一个圆形区域，本身不是控制不变的（轨迹会从某些点逃逸）。
  • 结果：学习到的 FRT-CBF 成功生成了一个光滑的、控制不变的外逼近集合。该集合包含了初始集 $C$，并且其边界满足 CBF 约束条件。
  • 可视化：展示了学习到的 $W_\theta(x)$ 与理论上的 FRT 值函数 $V_\gamma(x)$ 以及初始集函数 $h_C(x)$ 的关系，验证了 $V_\gamma \le W_\theta$ 的理论预测。
  • 训练损失极低（$2.25 \times 10^{-7}$），表明 CBF 被成功学习。

5. 意义与影响 (Significance)

• 填补理论空白：解决了长期以来可达性分析与 CBF 设计之间缺乏直接、系统性联系的问题。特别是指出了后向可达性方法在生成 CBF 时的根本局限性，并提出了前向视角的解决方案。
• 提升安全性保障：通过折扣因子引入的“游戏度（game-of-degree）”特性，使得生成的控制策略具有自然的制动机制（Braking Mechanism），确保轨迹在接近边界时平滑减速，而不仅仅是停留在边界上。
• 可扩展性：提出的基于神经网络的框架为高维复杂系统的安全控制提供了一种可扩展的、数据驱动的设计方法，避免了传统网格化方法（Grid-based methods）的维数灾难。
• 未来方向：论文指出，边界的光滑性（Condition 1）是理论成立的关键，未来工作将探索如何处理非光滑边界以及将该方法应用于更高维的实际系统。

总结：这篇论文通过引入折扣因子的前向可达性分析，成功地将哈密顿 - 雅可比方程的解转化为满足严格安全约束的控制屏障函数，为安全关键系统的控制策略设计提供了新的理论基石和实用的学习算法。