기술 요약: 로봇 항해를 위한 사후 훈련 도달 가능성 검증을 활용한 안전 제약 강화 학습

1. 문제 정의

본 논문은 센서 노이즈와 같은 지각 불확실성으로 인해 치명적인 실패가 발생할 수 있는 복잡한 환경에서 자율 이동 로봇을 배포하는 데 있어 중요한 과제를 다룹니다. 저자들은 평균 누적 비용에 의존하는 기존 강화 학습 (RL) 안전 지표는 정책이 낮은 평균 비용을 가지더라도 충돌할 수 있는 드물지만 결과가 심각한 '테일 리스크 (tail-risk)' 행동을 감추기 때문에 불충분하다고 주장합니다.

이 문제는 **제약 마르코프 결정 과정 (CMDP)**으로 공식화됩니다. 전통적인 CMDP 가 기대 누적 비용 $E[C_\pi] \leq b$를 제약하는 것과 달리, 본 연구는 조건부 위험 가치 (CVaR) 제약을 만족하면서 기대 보상을 최대화하는 정책 $\pi$를 찾습니다:
$$\max_{\pi} J_R(\pi) \quad \text{s.t.} \quad \text{CVaR}_\alpha(C_\pi) \leq b$$
여기서 $\text{CVaR}_\alpha$는 비용 분포의 평균이 아닌 꼬리를 명시적으로 대상으로 하는 에피소드 중 가장 나쁜 $(1-\alpha)$ 비율에서의 기대 비용을 나타냅니다.

또한, 논문은 통계적 훈련 보장과 형식적 안전 검증 사이의 간극을 지적합니다. 유리한 CVaR 통계를 가진 정책이라도 유계 관측 불확실성 하에서는 안전하지 않은 행동을 생성할 수 있습니다. 따라서 목표는 위험 민감도 훈련과 사후 훈련 신경망 도달 가능성 검증을 통합하여 입력이 교란되더라도 정책의 행동 출력이 안전 마진 내에 유지되도록 보장하는 것입니다.

2. 방법론: VIA 프레임워크

제안된 프레임워크인 VIA(자율 항해를 위한 검증 기반 안전 강화 학습) 는 두 가지 명확한 단계로 작동합니다:

1 단계: CVaR 제약 오프-폴리시 훈련

저자들은 CVaR 제약을 최적화하기 위해 TD3(Twin Delayed DDPG) 오프-폴리시 알고리즘을 적용합니다. 주요 기술 구성 요소는 다음과 같습니다:

• 상태 확장: 오프-폴리시 설정에서 CVaR 을 추정하기 위해 상태 공간에 동적 비용 예산 변수 $e_t$를 추가합니다. 확장된 상태는 $\bar{s}_t = (s_t, e_t)$이며, 여기서 $e_t$는 누적 비용 이력을 추적하여 비평가가 서로 다른 비용 이력을 통해 도달한 상태를 구별할 수 있게 합니다.
• 분산형 비용 비평가: 단일 기대 비용 값을 추정하는 대신, 비용 비평가 $Q^C_\phi$는 누적 비용 분포의 $M$개 분위수를 출력합니다. '교차 문제 (predicted quantiles 가 단조성을 위반하는 경우)'를 방지하기 위해 누적 소프트맥스 합을 포함하는 특정 매개변수화를 사용하는 비교차 분위수 로그 네트워크가 사용됩니다.
• 적응형 VaR 업데이트: 오프-폴리시 CVaR 최적화에서 온-폴리시 평가 없이 위험 가치 (VaR) 분위수 임계값을 추적하는 것은 중요한 과제입니다. 저자들은 리플레이 버퍼 내 비용의 경험적 초과 확률에 기반한 VaR 매개변수 $u$에 대한 무기울동 업데이트 규칙을 도입하여 목표 분위수 방향으로의 안정적인 수렴을 보장합니다.
• 라그랑주 최적화: 정책은 CVaR 제약 목적 함수의 라그랑주 완화법을 사용하여 최적화됩니다. 액터 손실은 작업 보상 비평가와 추정된 CVaR 비용을 라그랑주 승수 $\lambda$로 가중치를 두어 결합하며, 이 승수는 경험적 제약 여유도에 따라 업데이트됩니다.

2 단계: 사후 훈련 도달 가능성 검증

훈련 후, 프레임워크는 테일러 모델 (TM) 연산과 베르슈타인 다항식 보간을 결합한 도구인 POLAR을 사용하여 형식적 안전 평가를 수행합니다.

• 도달 가능성 분석: 유계 관측 불확실성 $\epsilon$이 주어지면, 이 방법은 훈련된 신경망을 통해 TM 을 전파하여 보장된 행동 도달 집합 $A(s, \epsilon)$을 계산합니다. 이 집합은 입력 불확실성이 주어졌을 때 정책이 출력할 수 있는 모든 가능한 행동을 나타냅니다.
• 안전률 지표: 저자들은 안전률 (Safety Rate) 지표를 정의합니다. 주어진 상태에 대해 도달 가능 집합의 경계 (끝점 및 중점 포함) 에서 행동을 샘플링하고 로봇의 운동을 시뮬레이션합니다. 모든 샘플링된 행동이 충돌 없는 궤적을 생성하는 경우 해당 상태를 '검증된 안전'으로 간주합니다. 안전률은 이 기준을 만족하는 평가된 상태의 비율입니다.
• 통합: 논문은 CVaR 제약 훈련이 자연스럽게 정책을 보수적이고 엄격하게 제한된 행동 분포 방향으로 형성하여, 기대치 기반 베이스라인에 비해 결과적인 도달 가능 집합을 더 작게 만들고 형식적 검증에 더 적합하게 만든다고 주장합니다.

3. 주요 기여

1. CVaR 제약 TD3 프레임워크: 비교교차 분위수 회귀를 갖춘 분산형 비용 비평가와 분위수 수렴을 안정화하기 위한 적응형 VaR 업데이트 메커니즘을 특징으로 하는 오프-폴리시 CVaR 최적화 프레임워크 설계.
2. 검증 기반 안전 지표: POLAR 도달 가능성 분석과 계층적 안전 경계를 결합한 안전 검증 프레임워크 개발 및 유계 관측 불확실성 하에서 정책의 견고성을 정량화하는 안전률 지표 도입.
3. 실증적 검증: 10 가지 항해 시나리오와 6 가지 베이스라인에 대한 시뮬레이션 전반에 걸친 포괄적 검증 및 물리적 Clearpath Jackal 로봇에서의 성공적인 시뮬레이션 - 현실 전이.

4. 실험 결과

실험은 Gazebo 시뮬레이션 (장애물이 있는 10m $\times$ 10m 아레나) 과 물리적 로봇에서 수행되었습니다.

• 베이스라인 대비 성능: VIA 는 비교된 모든 방법 (TD3, SAC-Lagrangian, RCPO, WCSAC, CVaR-CPO 포함) 중에서 가장 높은 **성공률 (98.3%)**과 가장 낮은 **충돌률 (1.7%)**을 달성했습니다.
• 지표의 불일치: 평균 비용 순위와 도달 가능성 기반 안전 순위 사이의 불일치가 주요 발견 사항입니다. 예를 들어, RCPO는 가장 낮은 평균 비용 (1.17) 을 달성했지만, VIA(99.6%) 에 비해 성공 에피소드의 안전률이 낮았습니다 (98.5%). 이는 평균 비용 지표가 형식적 검증이 포착하는 잠재적 위험을 놓칠 수 있음을 보여줍니다.
• $\alpha$의 영향: 제거 실험은 CVaR 신뢰 수준 $\alpha$를 높이는 것 (더 극단적인 꼬리에 초점) 이 성공률과 안전 지표 모두를 개선했으며, $\alpha=0.9$가 가장 보수적이고 견고한 성능을 보임을 보여주었습니다.
• 시뮬레이션 - 현실 전이: Clearpath Jackal 로봇에 배포되었을 때 물리적 노이즈와 지연으로 인해 성공률은 90.0% 로 떨어졌지만, 전체 안전률은 시뮬레이션과 거의 동일하게 유지되었습니다 (99.2% 대 99.1%). 이는 정책이 현실 세계에서도 검증된 안전 마진을 유지함을 확인시켜 줍니다.

5. 중요성 및 주장

본 논문은 도달 가능성 검증이 경험적 비용 지표만으로는 놓치는 위험을 포착한다고 주장합니다. 위험 민감도 훈련 (CVaR) 과 형식적 사후 훈련 검증을 결합함으로써, 저자들은 정책이 단순히 평균적으로 안전하도록 훈련되는 것을 넘어 불확실성 하에서도 안전 마진을 유지하도록 훈련될 수 있음을 입증합니다.

저자들은 이 작업이 로봇 항해를 위해 CVaR 제약 정책 최적화와 신경망 도달 가능성 검증을 통합한 최초의 연구라고 명시합니다. 형식적 검증은 계산 비용이 많이 들고 일반적으로 저차원 또는 작은 네트워크로 제한되지만, 그들의 접근 방식은 이러한 통합을 가능하게 하는 경량 아키텍처를 사용한다고 강조합니다.

논문은 검증 가능한 정책 네트워크의 복잡성을 테일러 모델 연산에 의존한다는 점을 인정하며 겸손하게 결론을 내립니다. 향후 작업은 GPU 가속 도달 가능성 방법 탐색과 폐루프 안전 최적화를 위해 훈련 루프에 직접 검증 신호를 통합하는 것으로 식별됩니다.