Boundary Sampling to Learn Predictive Safety Filters via Pontryagin's Maximum Principle

1. 문제 정의 (Problem Statement)

자율 시스템의 안전성을 보장하기 위해 안전 필터 (Safety Filters) 가 널리 사용되고 있습니다. 특히 제어 장벽 함수 (Control Barrier Functions, CBF) 는 명목 제어기 (nominal controller) 의 출력을 최소한으로 수정하면서도 시스템이 안전 집합 내에 머무르도록 보장하는 데 효과적입니다. 그러나 기존 CBF 기반 접근법에는 다음과 같은 한계가 존재합니다.

• 단시점성 (Myopic Behavior): CBF 는 현재 상태의 순간 정보만을 사용하여 안전을 보장하므로, 미래의 위험을 예측하지 못해 갑작스럽고 비효율적인 개입을 초래할 수 있습니다.
• 고차원 시스템의 학습 비효율성: Hamilton-Jacobi (HJ) 도달성 (Reachability) 은 미래 궤적을 고려한 예측 안전 보장을 제공하지만, 차원의 저주로 인해 고차원 시스템에서는 계산이 불가능합니다. 이를 해결하기 위해 신경망을 이용한 학습 기반 HJ 접근법 (예: DeepReach) 이 제안되었으나, 데이터 비효율성이 큰 문제입니다.
• 데이터 샘플링의 한계: 균일한 샘플링 (Uniform Sampling) 은 안전 집합의 경계 (Boundary) 를 정의하는 중요한 상태들을 충분히 포착하지 못해, 복잡한 동역학을 가진 시스템에서 안전 집합의 정확한 재구성과 수렴 속도가 느립니다.

이 논문은 고차원 시스템에서 학습 효율성을 극대화하면서 예측 가능한 안전 필터를 학습하기 위한 새로운 데이터 샘플링 전략을 제안합니다.

2. 방법론 (Methodology)

저자들은 포니트랴긴 최대 원리 (Pontryagin's Maximum Principle, PMP) 를 활용하여 안전 제약 조건을 거의 위반하지 않고 유지하는 궤적 (Boundary Trajectories) 을 특징짓고, 이를 학습 데이터 생성에 활용합니다.

A. 이론적 기반: PMP 와 경계 궤적

• 최소 시간 도달 문제: 안전 집합의 경계 ($\partial S$) 에 도달하는 최소 시간 최적 제어 문제 (OCP) 를 설정합니다.
• 비정상 극값 (Abnormal Extremals): PMP 를 적용하여 최적 조건을 도출할 때, 안전 집합 내부에 "겨우 머무는 (barely-staying)" 궤적들은 비정상 극값 (Abnormal Extremals, $p_0=0$) 에 해당함을 증명했습니다.
• 기하학적 특징: 이러한 궤적들은 안전 집합 경계에 접선 (Tangent) 방향으로 도달하며, 이후에도 안전 집합을 이탈하지 않습니다. 이는 균일 샘플링으로는 드물게 발생하는 중요한 정보입니다.

B. 알고리즘: PMP 기반 경계 샘플링

학습 데이터셋을 강화하기 위해 다음과 같은 절차를 따릅니다:

1. 초기화: 안전 집합 내부에서 무작위 초기 상태를 샘플링합니다.
2. 경계점 식별: PMP 의 최종 조건 (Terminal Conditions) 을 만족하는 경계점 $(x_T, p_T)$ 을 경사 하강법 등을 통해 계산합니다.
   • $h(x_T) = 0$ (경계 상)
   • $p_T = \nabla h(x_T)$ (경계에 수직인 코스트레이트)
   • $p_T^T (f(x_T) + g(x_T)u_T) = 0$ (접선 방향 속도)
3. 역방향 적분: 계산된 $(x_T, p_T)$ 에서 시작하여 PMP 상태 - 코스트레이트 동역학을 역방향 (Backward) 으로 적분하여 경계 궤적을 생성합니다.
4. 학습 데이터 증강: 생성된 경계 궤적을 DeepReach 와 같은 학습 프레임워크의 훈련 데이터에 추가하여, 안전 임계 상태 (Safety-critical states) 에 대한 학습 집중도를 높입니다.

C. 적용: 학습된 제어 장벽 가치 함수 (CBVF)

학습된 HJ 가치 함수를 제어 장벽 가치 함수 (Control Barrier Value Function, CBVF) 로 변환하여, 예측 가능한 안전 필터로 사용합니다. 이는 2 차 계획법 (QP) 을 통해 명목 제어기에 최소한의 개입을 가하도록 설계됩니다.

3. 주요 기여 (Key Contributions)

1. PMP 기반 최적성 조건 유도: 제약 위반을 피하는 궤적 (Backward Reachable Tube 의 경계) 을 특징짓는 PMP 기반 조건을 수학적으로 유도했습니다.
2. 데이터 효율성 향상: PMP 경계 궤적을 활용하여 학습 데이터를 생성함으로써, 고차원 복잡 시스템에서 HJ Reachability 학습의 효율성과 정확도를 획기적으로 개선했습니다.
3. 예측적 안전 필터 구현: 미래 궤적 정보를 인코딩한 학습된 CBVF 를 구축하여, 차량의 핸들링 한계 (Handling limits) 에서 운전하는 인간 운전자에게 적용 가능한 예측적이고 최소 침습적인 안전 필터를 입증했습니다.

4. 실험 결과 (Results)

실험은 공유 제어 (Shared-control) 자동차 레이싱 시나리오 (고차원 3 자유도 차량 모델) 에서 수행되었습니다.

• 학습 효율성 및 수렴 속도:
  • 실패율 감소: PMP 샘플링을 사용한 모델은 균일 샘플링 모델에 비해 동일한 학습 에포크 (Epoch) 에서 통계적으로 유의미하게 낮은 실패율을 보였습니다. (예: 30k 에포크 시 2 레이어 모델에서 실패율 0.66 $\to$ 0.30 감소).
  • 데이터 효율성: 제한된 데이터 양 (30k~60k 샘플) 에서 PMP 샘플링이 더 높은 성능을 발휘하여, 학습 비용 절감 효과를 입증했습니다.
• 안전 집합 재구성 (Safe Set Reconstruction):
  • PMP 샘플링은 실제 안전 집합의 기하학적 형태 (Shape) 를 균일 샘플링보다 훨씬 정확하게 재구성했습니다. (IoU 지표 향상).
  • 균일 샘플링은 안전 영역을 과도하게 낙관적으로 (Overly optimistic) 예측하는 경향이 있었으나, PMP 는 경계를 정밀하게 포착했습니다.
• 실제 차량 실험 (Real-world Validation):
  • 예측적 개입: 차량이 코너 진입 시 속도를 미리 줄이거나 (Preemptive slowing), 코너링 중 안전 한계에 도달하면 조향 각을 보정하는 등 단시점적이지 않은 예측 행동을 보였습니다.
  • 실시간성: 필터링 연산 시간 (Wall time) 은 약 3ms로, 실시간 제어에 적용 가능한 수준임을 확인했습니다.
  • 안전성: 운전자가 코너를 이탈하려 할 때 안전 필터가 개입하여 차량이 트랙을 벗어나는 것을 방지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 안전 필터의 단시점적 성향을 해결하고 학습 기반 HJ Reachability 의 데이터 비효율성 문제를 동시에 해결하는 획기적인 접근법을 제시합니다.

• 이론적 통찰: PMP 를 통해 "안전 집합의 경계를 정의하는 궤적"이 수학적으로 어떻게 특징지어지는지 규명하고, 이를 학습 데이터 생성에 활용하는 새로운 패러다임을 열었습니다.
• 실용적 가치: 복잡한 고차원 동역학 시스템 (레이싱 차량 등) 에서도 실시간으로 작동하는 예측 안전 필터를 구현할 수 있음을 입증했습니다.
• 미래 전망: 샘플링 전략, 안전 집합의 기하학, 그리고 시스템의 제어 가능성 (Controllability) 사이의 관계를 더 깊이 연구할 필요가 있음을 지적하며, 향후 더 정교한 샘플링 기법 개발의 기초를 마련했습니다.

요약하자면, 이 연구는 수학적 최적화 원리 (PMP) 를 데이터 생성 전략으로 결합하여, 고차원 자율 시스템의 안전성을 보장하는 머신러닝 기반 제어기의 성능과 효율성을 동시에 비약적으로 향상시킨 사례입니다.