A Forward Reachability Perspective on Control Barrier Functions and Discount Factors in Reachability Analysis

1. 문제 정의 (Problem Statement)

안전한 제어 정책 설계에서 시스템 상태가 무한 시간 동안 주어진 제약 조건을 만족하도록 보장하는 제어 불변 집합 (Control Invariant Sets) 의 식별은 필수적입니다. 최근에는 이러한 안전성을 보장하기 위해 제어 장벽 함수 (Control Barrier Functions, CBFs) 가 널리 사용되고 있습니다.

그러나 기존 연구들은 주로 역방향 도달성 (Backward Reachability) 분석에 기반하고 있습니다. 역방향 도달성 기반의 방법론들은 다음과 같은 한계를 가집니다:

• CBF 와의 직접적인 연결 부재: 역방향 도달성으로 계산된 값 함수 (Value Function) 는 종종 제어 불변 집합 내부에서 평평해지거나 (gradient 가 0), 불연속적이거나, 무한대로 발산할 수 있어 CBF 로서 요구되는 미분 부등식 조건 (Barrier Constraint) 을 만족시키기 어렵습니다.
• 비유일성 및 수치적 불안정성: 할인 인자 (Discount Factor) 를 적절히 적용하지 않을 경우 해가 유일하지 않거나 수치적으로 불안정해질 수 있습니다.

이 논문은 이러한 역방향 접근법의 한계를 극복하고, 순방향 도달성 (Forward Reachability) 관점에서 제어 불변성과 CBF 를 체계적으로 연결하는 새로운 프레임워크를 제시합니다.

2. 방법론 (Methodology)

2.1. 불가피한 순방향 도달 튜브 (Inevitable Forward Reachable Tube, FRT)

저자들은 기존 '생존 가능한 (Viable)' FRT 와 구별되는 불가피한 FRT (Inevitable FRT) 개념을 도입합니다.

• 정의: 초기 집합 $C$ 에서 출발하지 않은 모든 궤적이 도달할 수 없는 상태들의 집합으로, 최악의 경우 (Adversarial Disturbance) 에도 초기 집합 $C$ 를 반드시 통과해야만 도달할 수 있는 상태들의 집합입니다.
• 특징: 제어 입력은 FRT 의 성장을 억제하려 하고, 외란은 FRT 를 확장하려 하는 미분 게임 (Differential Game) 으로 모델링됩니다.

2.2. 할인 인자가 적용된 HJ-FRT-VI

FRT 를 계산하기 위해 해밀턴 - 자코비 (Hamilton-Jacobi, HJ) 편미분 방정식을 사용합니다.

• 비용 함수: 시간 $t \in (-\infty, 0]$ 에 대해 초기 집합의 거리 함수 $h_C(x)$ 에 할인 인자 $\gamma > 0$ 를 적용한 비용 함수 $J_\gamma = \sup_{t} e^{\gamma t} h_C(x(t))$ 를 정의합니다.
• 변분 부등식 (Variational Inequality): 이 값 함수 $V_\gamma$ 는 다음과 같은 HJ-FRT-VI 의 유일한 점근적 해 (Viscosity Solution) 가 됩니다.
  $$0 = \min \left\{ V_\gamma(x) - h_C(x), \quad \max_{u \in U} \min_{d \in D} \left( \frac{\partial V_\gamma}{\partial x} \cdot f(x, u, d) + \gamma V_\gamma(x) \right) \right\}$$
• 핵심 통찰: 역방향 도달성에서 할인 인자는 음수 ($-\gamma V$) 항을 만들어 내지만, 이 순방향 접근법에서는 양수 ($+\gamma V$) 항을 생성합니다. 이 양수 항이 CBF 의 장벽 제약 조건 (Barrier Constraint) 과 자연스럽게 일치하게 됩니다.

2.3. CBF 와의 이론적 연결

• 미분 가능성 조건: FRT 의 경계가 $C^1$ (연속 미분 가능) 일 때, FRT 는 강건한 제어 불변 집합 (Robust Control Invariant Set) 이 됩니다.
• 초해 (Supersolution) 의 의미: HJ-FRT-VI 의 $C^1$ 초해 (Supersolution) 는 유효한 CBF 가 되며, 이는 FRT 를 외곽에서 근사하는 (Outer-approximate) 강건한 제어 불변 집합을 정의합니다.
• 역 최적성 (Inverse Optimality): 임의의 유효한 CBF 는 할인 인자가 적용된 FRT 값 함수로 해석될 수 있습니다. 즉, CBF 는 순방향 도달성 게임의 최적 가치 함수로 재해석됩니다.

2.4. 신경망 기반 학습 방법 (Neural FRT-CBF)

이론적 결과를 바탕으로 신경망을 사용하여 CBF 를 학습하는 방법을 제안합니다.

• 네트워크 구조: 입력은 상태 $x$, 출력은 두 개의 스칼라 함수 $u_\theta(x)$ 와 $v_\theta(x)$ 입니다.
• CBF 파라미터화: 학습된 CBF 를 $W_\theta(x) = h_C(x) + u_\theta(x)^2$ 로 정의하여, $W_\theta(x) \ge h_C(x)$ (초기 집합 포함) 를 하드 제약으로 보장합니다.
• 제약 조건: 또한 $W_\theta(x) \le h_X(x)$ (안전 제약 집합 내) 를 만족하도록 $v_\theta(x)$ 를 활용하여 $u_\theta^2 + v_\theta^2 = h_X - h_C$ 관계를 학습시킵니다.
• 손실 함수 (Loss Function):
  1. HJ-FRT-VI 초해 손실: 장벽 제약 조건 위반을 패널티.
  2. 집합 포함 조건 손실: 초기 집합과 안전 집합 사이의 관계를 유지.
  3. 제어 불변성 손실: FRT-CBF 의 경계에서 제어 불변 조건 만족 여부 확인.

3. 주요 기여 (Key Contributions)

1. 순방향 도달성을 통한 CBF 체계적 구축: 기존 역방향 도달성 기반 방법론과 달리, 순방향 도달성 관점에서 CBF 를 체계적으로 구성할 수 있음을 증명했습니다. 제안된 값 함수는 유계 (Bounded), 연속 (Continuous), 그리고 유일 (Unique) 하며, 동시에 CBF 의 장벽 조건을 자연스럽게 만족합니다.
2. HJ-FRT-VI 초해와 CBF 의 새로운 연결: HJ-PDE 문헌의 고전적 개념인 '초해 (Supersolution)'가 안전 제어 맥락에서 유효한 CBF이며 FRT 를 외곽 근사하는 제어 불변 집합을 정의함을 최초로 증명했습니다. 이는 미분 가능한 CBF 를 체계적으로 설계할 수 있는 이론적 토대를 제공합니다.
3. 할인 인자의 역할 규명: 순방향 도달성 공식에 할인 인자를 도입함으로써, HJ 방정식에서 장벽 제약 조건이 자연스럽게 도출되고 해의 유일성이 보장됨을 보였습니다. 이는 역방향 도달성에서 발생하는 해의 비유일성이나 불연속성 문제를 해결합니다.
4. 신경망 기반 FRT-CBF 학습 프레임워크: 이론적 성질을 바탕으로, 초기 집합이 제어 불변이 아닐 경우에도 이를 포함하는 최적의 제어 불변 집합을 학습하는 신경망 기반 알고리즘을 개발했습니다.

4. 결과 (Results)

• 이중 적분자 (Double Integrator) 시스템 시뮬레이션:
  • 초기 집합이 제어 불변이 아닌 경우 (예: 원형 영역) 에도 제안된 방법을 통해 해당 영역을 포함하면서도 안전성을 보장하는 제어 불변 집합을 성공적으로 학습했습니다.
  • 학습된 CBF ($W_\theta$) 는 FRT 값 함수 ($V_\gamma$) 를 외곽에서 근사하며, 경계에서 제어 불변 조건을 만족하는 것을 확인했습니다.
  • 학습된 CBF 는 연속적으로 미분 가능하며, 기존 역방향 기반 방법론들이 겪던 수치적 불안정성 없이 안정적인 해를 제공했습니다.

5. 의의 및 결론 (Significance and Conclusion)

이 논문은 Reachability Analysis (도달성 분석), Control Invariance (제어 불변성), Control Barrier Functions (CBF) 라는 세 가지 핵심 개념을 순방향 도달성 관점에서 통합했습니다.

• 이론적 기여: 기존 역방향 접근법의 근본적인 한계 (CBF 조건 부합 실패, 해의 비유일성 등) 를 해결하고, 할인 인자를 포함한 순방향 도달성 게임이 CBF 설계의 최적성 원리 (Inverse Optimality) 로서 작동함을 증명했습니다.
• 실용적 기여: 복잡한 비선형 시스템에서 안전성을 보장하는 제어 정책을 설계할 때, 초기 상태 집합이 불완전하더라도 이를 확장하여 안전한 제어 불변 집합을 자동으로 학습할 수 있는 강력한 도구를 제공합니다.
• 미래 전망: 고차원 시스템으로의 확장 및 확률적 시스템에서의 경계 정규성 조건 완화 등 향후 연구 과제를 제시하며, 안전한 자율 시스템 제어 분야에서 중요한 이정표가 될 것으로 기대됩니다.

요약하자면, 이 연구는 할인 인자가 적용된 순방향 도달성을 통해 CBF 와 제어 불변성을 수학적으로 엄밀하게 연결함으로써, 안전 제어 시스템 설계에 대한 새로운 패러다임을 제시했습니다.