From Global to Local: Hierarchical Probabilistic Verification for Reachability Learning

이 논문은 "From Global to Local: Hierarchical Probabilistic Verification for Reachability Learning" (전체에서 지역으로: 도달성 학습을 위한 계층적 확률적 검증) 이라는 제목으로, 고차원 비선형 시스템의 안전성 보장과 학습 기반 제어 정책의 신뢰성을 동시에 확보하기 위한 새로운 프레임워크를 제안합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: 해밀턴 - 자코비 (HJ) 도달성 분석은 비선형 시스템에 대한 형식적 안전 보장을 제공하지만, 차원의 저주 (curse of dimensionality) 로 인해 고차원 시스템에서는 계산적으로 불가능합니다.
• 현재의 한계: 이를 극복하기 위해 딥 강화학습 (RL) 등을 이용한 학습 기반 접근법이 제안되었으나, 이러한 방법들은 종종 과도하게 낙관적인 (overly optimistic) 안전 집합을 생성하거나, 안전하지 않은 영역을 안전으로 잘못 분류하는 오류를 포함할 수 있습니다.
• 핵심 과제: 학습된 제어 정책의 확장성 (scalability) 을 유지하면서도, 안전성을 보장할 수 있는 검증 (verification) 메커니즘이 필요합니다. 기존 방법들은 전역적 (global) 인 검증은 계산 비용이 너무 크고, 지역적 (local) 인 검증만으로는 전체 시스템의 안전성을 보장하기 어렵다는 딜레마가 있습니다.

2. 방법론 (Methodology)

저자들은 계층적 확률적 검증 프레임워크 (Hierarchical Probabilistic Verification Framework) 를 제안하며, 오프라인 전역 인증과 온라인 지역 정제를 결합합니다.

A. 전역 확률적 인증 (Global Probabilistic Certificate)

• 시나리오 최적화 (Scenario Optimization) 활용: 학습된 정책 ($\pi_{lp}$) 하에서 시스템 동역학의 민감도를 추정하기 위해 시나리오 최적화를 사용합니다.
• 전역 민감도 경계: 무작위로 샘플링된 상태 쌍 (nominal vs perturbed) 을 통해 궤적 편차 ($\Delta x^*_t$) 를 계산하고, 이를 통해 학습된 가치 함수의 하한 (lower bound) 을 확률적으로 보장합니다.
• 결과: 계산 효율은 높지만 다소 보수적인 (conservative) 전역 안전 집합 ($V_{global}$) 을 생성합니다.

B. 지역 정제 및 확장 (Local Refinement and Expansion)

• 목표: 전역 검증으로 인해 안전하지만 제외된 영역 (false negatives) 을 다시 확보하기 위해 전역 안전 집합의 경계 근처에서 정밀한 검증을 수행합니다.
• 반복적 성장 알고리즘 (Iterative Growth): 현재 상태와 가장 가까운 전역 집합의 경계점을 기준으로, 시나리오 최적화를 반복하여 국소적으로 안전성이 검증된 최대 반경 ($r^*$) 을 찾습니다.
• 결과: 지역 안전 집합 ($V_{local}$) 을 생성하여 전역 검증이 배제했던 안전한 영역을 "회수 (reclaim)"합니다.

C. 하이브리드 스위칭 제어 프레임워크

학습된 도달성 정책과 모델 기반 제어기 (MPPI) 를 결합한 4 단계 스위칭 로직을 도입합니다:

1. Tier 0 (목표 유지): 목표 집합 ($T$) 내부에 있으면 빠른 MPPI 를 사용하여 목표 유지.
2. Tier 1 (전역 검증): $V_{global}$ 내부에 있으면 학습된 정책 ($\pi_{lp}$) 사용.
3. Tier 2 (지역 정제): $V_{global}$ 밖이지만 $V_{local}$ 내부에 있으면, 지역적으로 검증된 영역이므로 학습된 정책 사용.
4. Tier 3 (안전 복구): 어느 검증 집합에도 속하지 않으면, 학습된 정책을 워밍업 (warm-start) 으로 사용하여 MPPI 를 통해 검증된 안전 집합으로 복귀하도록 제어.

3. 주요 기여 (Key Contributions)

1. 계층적 안전 도달 프레임워크: 전역 확률적 검증과 온라인 지역 정제를 결합하여, 학습된 정책과 모델 기반 제어기를 통합한 다단계 프레임워크를 제안했습니다.
2. 시나리오 기반 지역 확장: 보수적인 전역 검증으로 버려졌을 수 있는 안전 영역을 시나리오 최적화를 통해 효율적으로 확장하는 방법을 제시했습니다.
3. 이론적 안전 보장: 전역 및 지역 검증 집합 모두에 대해 확률적 안전성 (probabilistic safety guarantees) 을 수학적으로 증명했습니다.
4. 실증적 검증: 드론 레이싱 시뮬레이션을 통해 기존 방법 대비 목표 도달 성공률과 안전성을 동시에 향상시켰음을 입증했습니다.

4. 실험 결과 (Results)

• 시나리오: 12 차원 비협조적 드론 레이싱 (자신과 상대 드론의 상호작용, 좁은 게이트 통과, 충돌 회피 등 복잡한 안전 제약 조건).
• 비교 대상:
  • 제어 장벽 함수 (CBF) 필터가 있는 MPPI.
  • 안전 소프트 제약이 있는 MPPI.
  • CBF 필터가 있는 PPO (RL).
  • 학습 정책만 사용하거나, MPPI 만 사용하는 등 다양한 절단 (ablation) 실험.
• 성과:
  • 제안된 하이브리드 프레임워크는 90.2% 의 성공률을 기록하여, 가장 좋은 베이스라인 (MPPI+CBF, 62.4%) 보다 월등히 높은 성능을 보였습니다.
  • 학습된 정책만 사용할 경우 안전성 보장이 부족하고, 모델 기반 제어기만 사용할 경우 목표 도달 효율이 낮아지는 문제를 해결했습니다.
  • 특히, 안전하지 않은 영역에서 안전 복구 (Safe Recovery) 메커니즘을 통해 검증된 안전 집합으로 복귀하는 능력이 뛰어난 것으로 확인되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 고차원 안전 제어 시스템에서 학습 기반 방법의 확장성과 형식적 검증의 엄격함 사이의 균형을 잡는 획기적인 접근법을 제시합니다.

• 계산 효율성: 전역적으로 모든 상태를 검증하는 대신, 중요한 영역 (경계 근처) 에만 계산 자원을 집중하여 효율성을 높였습니다.
• 안전성: 학습 모델의 불확실성을 확률적으로 관리하며, 최악의 경우에도 모델 기반 제어기를 통해 안전을 보장하는 '안전한 실패 (safe failure)' 메커니즘을 제공합니다.
• 적용 가능성: 드론 레이싱과 같은 복잡한 다중 에이전트 환경뿐만 아니라, 인간 - 로봇 상호작용이나 고속 항행 등 다양한 안전 중요 (safety-critical) 시스템에 적용 가능한 잠재력을 가집니다.

결론적으로, 이 연구는 학습된 제어 정책을 실제 안전 중요 시스템에 배포할 때 필수적인 신뢰성 (trustworthiness) 을 확보하는 강력한 도구로 평가됩니다.