Approximating Safety Feedback Without a Safety Oracle via Model Predictive Control

기술 요약: 모델 예측 제어를 통한 안전 오라클 없이 안전 피드백 근사화

문제 제기
이동 로봇의 안전한 의사결정은 종종 "안전 오라클 (safety oracle)"의 존재에 의존합니다. 안전 오라클은 제안된 동작이 안전 제약 조건을 위반하는지 확인하는 메커니즘입니다. 제어 장벽 함수 (Control Barrier Functions), 역방향 도달 가능 튜브 (Backward Reachable Tubes), 안전 강화 학습 (Safe RL) 판별기 (discriminators) 와 같은 기존 방법들은 일반적으로 명시적인 안전 제약 조건에 대한 사전 지식이나 학습 중 실제 안전 레이블 (ground-truth safety labels) 에 대한 접근을 필요로 합니다. 그러나 복잡한 환경 (예: 불규칙한 지형에서의 고속 항해나 개방형 작업 셀 내 로봇 조작) 에서는 안전 제약 조건이 암묵적이며 수학적으로 모델링하기 어렵거나 완전히 이해되지 않는 경우가 많습니다. 시뮬레이터는 복잡한 동역학을 모델링할 수 있지만, 본질적으로 안전 함수를 제공하지는 않습니다. 안전 프록시 (예: 가우시안 프로세스 또는 딥러닝 판별기를 통한 학습) 를 학습하려는 기존 접근법들은 종종 레이블링을 위한 관측 가능한 실제 정답을 요구하거나 안전 함수의 매끄러움에 대한 강한 가정을 전제하여, 실제 세계 적용 가능성을 제한합니다. 또한, 많은 가역적 탐색 (reversible exploration) 방법들은 학습 과정에서 여전히 안전하지 않은 동작을 취할 위험이 있습니다.

방법론: SAVMPC
본 논문은 직접적인 안전 오라클 접근이나 수동으로 설계된 제약 조건 없이 안전 피드백을 근사화하도록 설계된 필터링 알고리즘인 모델 예측 제어를 통한 안전 평가 (SAVMPC, Safety Assessment Via Model-Predictive Control) 를 제안합니다. 이 방법은 두 가지 주요 가정 하에 작동합니다:

1. 비안전 상태의 양적 불변성 (Positive Invariance of Unsafe States): 비안전 상태 공간 ($X_{unsafe}$) 은 양적으로 불변입니다. 즉, 한 번 에이전트가 비안전 상태에 진입하면 안전 상태로 회복할 수 없습니다.
2. 안전성 프록시로서의 가역성 (Reversibility as a Proxy): 에이전트가 현재 상태 $x$에서 미래 상태 $x'$으로 전환한 후, $x'$에서 다시 $x$로 돌아가는 동작 시퀀스를 찾을 수 있다면, $x$와 $x'$은 동일한 집합에 속합니다. $X_{unsafe}$의 양적 불변성을 고려할 때, 알려진 안전 상태로 돌아가는 경로가 존재한다면 중간 상태들도 또한 안전합니다.

알고리즘 워크플로우:
SAVMPC 는 동작 선택 중 방패 (shield) 로서 기능합니다:

1. 동작 제안: 제어 정책 $\pi$가 상태 $x$에서 동작 $u$를 제안합니다.
2. 전방 투사 (Forward Projection): 동작은 시뮬레이터 (블랙박스 동역학 $f_{dyn}$) 를 사용하여 후보 다음 상태 $x'$으로 전방 투사됩니다.
3. 가역성 확인: 알고리즘은 모델 예측 경로 적분 (MPPI, Model-Predictive Path Integral) 제어기를 사용하여 에이전트가 $x'$에서 원래 상태 $x$(또는 궤적의 이전 상태) 로 전환하는 동작 시퀀스를 찾도록 시도합니다.
   • 이는 실현 가능성 문제로 공식화됩니다: 시간 구간 $T$ 내에서 허용 오차 $\delta$만큼 $x$에 도달하는 제어 시퀀스 $u_0, \dots, u_{T-1}$을 찾습니다.
4. 결정:
   • MPPI 가 유효한 귀환 경로를 찾으면, 동작 $u$는 안전하다고 판단되어 실행됩니다.
   • 샘플링 제한 내에서 귀환 경로를 찾지 못하면, 동작은 거부되고 정책이 재샘플링합니다. $N$번의 시도 후 재샘플링이 실패하면 궤적은 중단되고 환경이 초기화됩니다.

이 접근법은 에이전트가 알려진 안전 영역으로 돌아갈 수 없는 "막다른 길"로 이어지는 동작이 없음을 보장함으로써 안전성을 검증할 수 있게 합니다.

주요 기여

1. SAVMPC 알고리즘: 가역성을 이용하여 알려진 안전 상태로 역방향 계획을 수행함으로써 수동으로 구축된 제약 조건이나 실제 안전 레이블의 필요성을 제거하는 안전한 동작 선택을 가능하게 하는 새로운 필터링 알고리즘.
2. 보수적 제약 조건 추정: 알려지지 않은 환경 제약 조건에 대한 보수적 추정을 명시적으로 계산하는 가역성 계획 알고리즘의 확장.
3. 실증적 검증: 강화 학습 (RL) 훈련 중 방패로서 SAVMPC 를 평가하여 오라클 기반 방패와 비교 가능한 성능을 보여주면서도 안전성 보장 측면에서 다른 가역성 기반 접근법 (RAC, LNT) 보다 우수한 성능을 입증함.

실험 결과
저자들은 SAVMPC 를 연속 카트폴 (Continuous Cartpole) 및 2 차원 항해 (Two-Dimensional Navigation) 두 가지 환경에서 평가했습니다.

• 불일치 연구: 30 만 개의 궤적을 포함한 시뮬레이션에서 SAVMPC 를 실제 안전 오라클과 비교했습니다. 결과는 SAVMPC 가 거짓 음성 (false negatives) 이 전혀 발생하지 않음 (안전하지 않은 상태를 안전하다고 분류한 경우 없음) 을 보여주었습니다. 불일치는 주로 제약 조건 경계 근처에서 발생했으며, 알고리즘은 더 엄격한 안전 허용 오차 ($\delta$) 를 사용할 때 더 보수적으로 작용하여 (비안전 영역을 과대평가하여) 발생했습니다.
• RL 훈련 성능:
  • 연속 카트폴: SAVMPC 는 실제 안전 오라클 방패가 장착된 PPO 알고리즘과 비교 가능한 최종 보상을 달성했으며, 베이스라인 PPO, RAC, 그리고 Leave No Trace (LNT) 보다 훨씬 높았습니다. 특히, SAVMPC 는 0.0% 의 제약 위반을 유지한 반면, 베이스라인 및 다른 가역적 방법들은 상당한 위반 (최대 77.3%) 을 겪었습니다.
  • 2 차원 항해: SAVMPC 는 0.0% 의 제약 위반을 유지하면서 최종 보상 (842.74 대 782.23) 에서 안전 오라클 방패를 능가했습니다. 이는 보수적인 근사화가 탐색 공간을 효과적으로 축소했기 때문에 다른 방법들보다 더 빠르게 수렴했습니다.
  • 비교: 시간이 지남에 따라 안전 근사화를 학습하면서도 여전히 위반을 일으켰던 RAC 및 LNT 와 달리, SAVMPC 는 특권 정보를 제공받지 않고 첫 단계부터 안전을 강제했습니다.

의의 및 주장
본 논문은 SAVMPC 가 안전 제약 조건이 복잡하거나 알려지지 않은 환경에서 안전한 의사결정을 위한 실용적인 해결책을 제공한다고 주장합니다. 가역성에 대한 가정과 시뮬레이터 내 MPPI 의 계산 능력을 활용함으로써, 이 방법은 실제 정답 레이블 없이도 안전 오라클의 성능을 근사화합니다. 저자들은 이 알고리즘이 에이전트가 기본 환경에서 안전하지 않은 동작을 전혀 취하지 않도록 보장하여, 이론적 안전 보장과 복잡한 물리적 제약 조건을 모델링하는 실제적 제한 사이의 간극을 효과적으로 메운다고 강조합니다. 이 연구는 전통적인 제약 조건 모델링이 불가능한 시나리오에서 가역성이 안전을 위한 견고하고 데이터가 없는 프록시로 작용할 수 있음을 시사합니다.