기술 요약: 미지의 환경에서 안전한 제어를 위한 컨포멀 도달 가능성 (Conformal Reachability)

1. 문제 정의

본 논문은 미지의 동적 환경(unknown dynamical environments)에서 작동하는 자율 시스템을 위한 증명 가능한 안전 제어 정책(provably safe control policies) 설계 문제를 다룹 most니다. 강화 학습(RL)이 자율성을 크게 발전시켰으나, 기존의 표준적인 접근 방식들은 엄격한 안전 보장을 결여하고 있으며, 대개 평균적인 성능을 최적화하거나 안전이 매우 중요한 시나리오에서 실패할 수 있는 경험적 안전성에 의존합니다.

기존의 검증 및 합성 기술들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 기지/결정론적 가정 (Known/Deterministic Assumptions): 많은 방법론들이 시스템 역학(dynamics)이 알려져 있거나 결정론적이라고 가정하지만, 이는 실제 상황에서는 드문 일입니다.
• 유한 상태/행동 공간 (Finite State/Action Spaces): 많은 접근 방식들이 유한한 상태 또는 행동 공간을 요구하며, 이는 연속 시스템에 적용하는 데 한계가 있습니다.
• 확장성 및 매끄러움 (Scalability and Smoothness): Hamilton-Jacobi 도달 가능성 분석과 같은 형식적 방법론은 시스템 복잡도가 높아질수록 확장성이 떨어지며, 많은 학습 기반 방법론들은 매끄러운 역학이나 특정 모델 형태(예: 가우시안 프로세스)를 가정합니다.
• 근사적 보장 (Approximate Guarantees): 현재의 안전 강화 학습(Safe RL) 방법들은 안전성을 "평균적으로" (예: 제약된 MDP를 통해) 또는 극한 상황에서만 제공할 뿐, 미지이며 잠재적으로 확률적인 역학에 대해 유한 호라이즌(finite-horizon) 확률적 보장을 제공하지 못합니다.

핵심 문제는 시스템 역학 $P$나 보상 함수 $r$에 대한 사전 지식이 없는 상태에서, 결정 호라이즌 $K$ 동안 시스템이 안전 집합 $S_s$ 내에 머물도록 보장하면서 누적 보상을 최대화하는 정책을 학습하는 것입니다.

2. 방법론: ReCORS

저자들은 ReCORS(Reachability with COnformal uncertainty sets for Reinforcement learning with Safety guarantees)를 제안합니다. 이 프레임워크는 모델 기반 및 모델 프리 RL을 컨포멀 예측(Conformal Prediction, CP) 및 도달 가능성 분석(reachability analysis)과 통합합니다.

2.1 시스템 역학 근사 (System Dynamics Approximation)

이 방법은 상태-행동 쌍을 다음 상태로 매핑하는 파라미터화된 이산 시간 동적 모델 $\hat{f}_\beta$(신경망)를 학습합니다.

• 안전 인지 학습 (Safety-Aware Training): 표준적인 역학 학습과 달리, $\hat{f}_\beta$를 위한 손실 함수는 **안전 가중치(safety weights)**를 포함합니다. 안전 제약 조건에 더 중요한 상태 공간의 차원(예: 장애물과의 근접성)에는 $\ell_2$ 손실에 더 높은 가중치가 할당됩니다. 이는 전체적인 예측 오차를 약간 증가시키더라도 안전에 치명적인 차원의 예측 정확도를 우선시합니다.
• 학습 파이프라인: 모델은 무작위 행동을 통해 사전 학습된 후, 현재 정책으로부터 수집된 데이터를 사용하여 반복적으로 미세 조정(fine-tuning)됩니다.

2.2 컨포멀 안전 분석 (Conformal Safety Analysis, CSA)

역학 분포를 가정하지 않고도 확률적 보장을 제공하기 위해, ReCORS는 컨포멀 예측을 사용합니다.

• 불확실성 정량화 (Uncertainty Quantification): CP는 역학 모델을 위한 유효한 예측 구간(불확실성 집합)을 생성하는 데 사용됩니다. 주어진 상태와 행동에 대해, 실제 다음 상태는 확률 $1-\alpha$로 $[\hat{f}(s,a) - \eta, \hat{f}(s,a) + \eta]$ 내에 존재함이 보장됩니다.
• 궤적 수준 경계 (Trajectory-Level Bounds): 시간 단계에 대한 과도한 합집합 경계(union bounds)를 피하기 위해, 저자들은 궤적 수준 비정합 점수(trajectory-level nonconformity score)(Cleaveland 등 [12] 기반)를 활용합니다. 이는 전체 호라이즌 $K$에 대해 더 타이트한 경계를 생성하도록 각 시간 단계의 가중치를 최적화합니다.
• 도달 가능성 검증 (Reachability Verification): 학습된 역학 $\hat{f}_\beta$와 컨포멀 불확실성 경계 $\eta$를 사용하여, 시스템은 전방향 도달 가능성 분석(forward reachability analysis)을 수행합니다. 이를 통해 임의의 시간 $t \in [1, K]$에서 도달 가능한 상태 집합이 불안전 집합 $S_u$와 교차하는지 검증합니다.
• 초기 상태 분포 (Initial State Distribution): 프레임워크는 유한 샘플 꼬리 경계(Hoeffding's inequality)를 적용하여 초기 상태 분포 $\rho$의 불확실성을 고려함으로써, 샘플링된 초기 상태뿐만 아니라 전체 분포에 대해 안전 보장이 유지되도록 합니다.

2.3 미분 가능한 학습 파이프라인 (Differentiable Training Pipeline)

핵심 혁신은 안전 검증 과정을 미분 가능하게 만들어 엔드 투 엔드(end-to-end) 정책 최적화를 가능하게 하는 것입니다.

• 신경 컨포멀 예측기 (Neural Conformal Predictor): 컨포ermal 임계값 $\eta$를 예측하도록 별도의 신경망 $\eta_\omega$가 학습됩니다. 이는 표준 CP의 비미분적인 분위수(quantile) 계산을 대체합니다.
• 손실 함수 (Loss Functions):
  • 컨포멀 손실 (Conformal Loss): 효율성 항(예측 집합의 크기를 최소화)과 커버리지 항(경험적 커버리지가 목표 $1-\alpha$를 충족하도록 함)을 결합합니다.
  • 안전 손실 (Safety Loss): 호라이즌 동안의 최대 안전 위반을 명시적으로 벌칙을 부여하고, 초기 단계에서 최종 단계까지의 안전 점수 개선을 장려합니다.
• 결합 최적화 (Joint Optimization): 정책(actor), 크리틱(critic), 역학 모델, 그리고 컨포멀 예측기가 공동으로 최적화됩니다. 전체 손실은 표준 RL 보상 목적 함수와 컨포멀 및 안전 손실을 결합합니다.
• 커리큘럼 학습 (Curriculum Learning): 알고리즘은 짧은 안전 호라이즌 $K_0$에서 시작하여, 정책이 증명 가능한 안전성을 달성함에 따라 점진적으로 $K$를 늘려가는 커리큘럼 전략을 채택하여 복잡한 행동을 단계적으로 학습합니다.

3. 주요 기여

1. 컨포멀 안전 분석 (CSA): 미지의 동적 시스템에서 학습 기반 제어기를 위해 컨포멀 예측과 도달 가능성 분석을 결합한 새로운 프레임워크를 제시합니다. 이는 역학의 매끄러움이나 특정 형태를 가정하지 않고도 엄격한 확률적 안전 보장을 제공합니다.
2. 증명 가능한 안전 정책 학습 (Provable Safe Policy Learning): 모델 프리 RL(보상 최대화용)과 모델 기반 도달 가능성 추정(안전용)을 통합하는 학습 프레임워크를 제공합니다. 이는 컨포럴 불확실성 집합에서 유도된 미분 가능한 손실 함수를 통해 강력한 안전 제약을 강제합니다.
3. 포괄적 평가 (Comprehensive Evaluation): 선형(아핀) 및 비선형 안전 사양을 모두 포함하는 7가지 환경(Cartpole, Lane Following, 2D/3D Quadrotors, CarGoal, HalfCheetah 포함)에 걸친 광범위한 실험을 수행했습니다.

4. 실험 결과

저자들은 ReCORS를 5가지 최첨단 베이스라인(PPOLag, PCPO, CRPO, P3O, RESPO)과 비교 평가했습니다.

• 검증된 안전성 (Verified Safety): ReCORS는 모든 베이스라인보다 현저히 강력한 증명 가능한 안전 보장을 달 achievement 했습니다. 예를 들어, Cartpole 환경에서 베이스라인들은 $K=20$ 이상의 호라이즌에 대해 유용한 보장을 제공하는 데 실패한 반면, ReCRS는 $K \ge 50$까지 높은 확률의 안전 보장을 유지했습니다.
• 보상 vs. 안전 트레이드오프 (Reward vs. Safety Trade-off): 일부 베이스라인은 더 높은 보상을 달성하기도 했으나, 이는 낮은 안전성(빈번한 위반)을 대가로 한 것이었습니다. ReCORS는 강력한 성능과 검증된 안전성을 모두 일관되게 달성한 유일한 방법이었습니다. 일부 도메인(예: 2D Quadrotor)에서는 ReCORS가 보상과 안전성 모두에서 모든 베이스라인을 능가했습니다.
• 비선형 제약 (Nonlinear Constraints): 이 접근 방식은 비선형 안전 제약(예: 2D Quadrotor에서의 안전 거리)을 성공적으로 처리했으며, 안전을 검증하지 못하거나 지나치게 보수적인 행동(예: 드론이 정지 상태를 유지함)을 보이는 베이스라인들을 능가했습니다.
• 절제 연구 (Ablation Studies): 결과는 역학 학습에서의 안전 인지 가중치와 역학 및 불확실성 모델의 결합 최적화의 중요성을 확인시켜 주었습니다.

5. 의의 및 주장

본 논문은 미지의 환경에서 고성능 학습과 엄격한 안전 검증 사이의 간극을 메우는 새로운 접근 방식을 제시한다고 주장합니다. 그 의의는 다음과 같습니다:

• 제한적인 가정 제거: 이전 연구들과 달리, 알려진, 결정론적, 또는 매끄러운 역학을 가정하지 않으며, 유한한 상태 공간을 요구하지도 않습니다.
• 분포 불변 보장 (Distribution-Free Guarantees): 컨포럴 예측을 활용함으로써 통계적으로 교정된 분포 불변 불확실성 정량화를 제공하며, 이를 통해 모델 오류와 미지의 확률성에 대해 견고한 안전 보장을 제공합니다.
• 확장성 (Scalability): 이산 시간 유한 단계 도달 가능성 공식은 PDE 기반의 Hamilton-Jacobi 방법과 비교하여 시스템 복잡도에 따라 더 잘 확장됩니다.
• 실제 적용 가능성 (Practical Applicability): 이 방법은 다양한 도메인에서 효과적임을 입증하였으며, 안전이 성능을 위해 타협될 수 없는 신뢰할 수 있는 자율 주행을 향한 실행 가능한 경로를 제공합니다.

저자들은 현재의 접근 방식이 시스템 상태의 완벽한 관측 가능성(perfect observability)을 가정하고 있다는 점을 언급하며, 이는 향후 연구 과제로 남아 있는 열린 문제임을 인정했습니다.