기술 요약: 안전한 확률적 탐사기 (Safe Stochastic Explorer, S.S. Explorer)

문제 정의

비구조화된 안전 필수 환경(예: 행성 탐사, 창고, 가정)에서 작동하는 자율 로봇은 시스템 역학 및 안전 특성이 완전히 알려지지 않은 환경을 탐색하고 상호작용해야 합니다. Hamilton-Jacobi Reachability (HJR) 및 Control Barrier Functions (CBF)와 같은 기존의 안전 제어 방식은 일반적으로 알려진 시스템 역학을 가정합니다. 반대로, 기존의 안전 탐사 기술은 로버가 미지의 지형에서 미끄러지거나 로봇이 지도에 없는 물체를 미는 것과 같이 현실 세계의 상호작용에 내재된 피할 수 없는 확률성을 고려하지 못하는 경우가 많습니다.

해결하고자 하는 핵심 문제는 미지의 역학 관계 하에서의 안전하고 목표 지향적인 탐사입니다. 로봇은 두 가지 상충하는 목표 사이에서 균형을 잡아야 합니다:

1. 탐사 (Exploration): 환경의 안전 특성에 대한 불확실성을 줄이기 위해 정보를 수집합니다.
2. 안전 (Safety): 확률적인 상태 전이에도 불구하고 로봇이 운용되는 동안 높은 신뢰도로 안전 집합(safe set) 내에 머물도록 보장합니다.

본 논문은 안전 함수 $q(x)$를 알 수 없는 것으로 정의하며, 상태 $q(x) > q_T$인 경우 안전하지 않은 상태로 간주합니다. 에이전트는 확률적 전이 모델 $x_{t+1} \sim p(x_{t+1}|x_t, a_t)$ 하에서 작동하며, 안전 제약을 위반하지 않으면서 성능 함수 $f(x)$를 최대화하는 목표에 도달하는 것을 목표로 합니다.

방법론

저자들은 미지의 안전 함수를 온라인으로 학습하기 위해 **가우시안 프로세스(Gaussian Processes, GPs)**를 활용하는 Safe Stochastic Explorer (S.S. Explorer) 프레임워크를 제안합니다. 이 방법은 정보 수집 행동을 유도하기 위해 GP의 예측 불확실성을 활용하는 동시에, 안전 위반에 대한 확률적 경계(probabilistic bounds)를 제공합니다. 이 프레임워크는 세 가지 변형으로 제시됩니다:

1. 이산 상태 공간 공식화 (Discrete State Space Formulation)

유한한 이산 상태 공간의 경우, 이 방법은 에이전트의 움직임을 마르코프 체인(Markov chain)으로 모델링합니다. 또한 세 가지 반복적인 기준을 통해 "완전하게 안전한" 상태를 정의합니다:

• 즉각적 안전 (Immediate Safety): 해당 상태의 안전 비용이 높은 확률로 임계값 미만입니다.
• 안전한 확률적 귀환 (Safe Stochastic Return): 즉각적으로 안전한 상태 집합을 벗어나지 않으면서 초기 안전 집합으로 돌아올 수 있는 보장된 궤적이 존재하며, 이는 재귀적 가용성(recursive feasibility)을 보장합니다.
• 안전한 확률적 도착 (Safe Stochastic Arrival): 현재의 안전 집합으로부터 에이전트가 한 단계 전이할 때, 전체 확률적 도착 분포가 안전 경계 내에 머물도록 보장하며 해당 상태로 도달할 수 있습니다.

알고리즘은 다음과 같은 집합 확장 및 정제 연산자를 사용합니다:

• 즉각적 안전 확장 ($\bar{I}$): GP 상한/하한 바운드($u_t(x), l_t(x)$)와 립시츠 연속성(Lipschitz continuity) 가정을 사용하여 안전하다고 믿어지는 상태의 집합을 확장합니다.
• 안전한 확률적 귀환 정제 ($\bar{R}$): 확률적 편차에도 불구하고 에이전트가 안전한 핵심부(safe core)로 돌아올 수 있는 상태로 안전 집합을 반복적으로 제한합니다.
• 안전한 확률적 도착 정제 ($\bar{m}$): 안전 집합으로부터 한 단계 내에 도달 가능한 상태의 분포가 안전함을 보장합니다.

에이전트는 "후보 확장자(candidate expanders)"—즉, 안전 집합의 경계 근처에 있으면서 정보가 부족하지만 비관적으로 안전한 상태들—를 식별하여 행동을 선택함으로써 목표 지역에 대한 정보를 얻습니다.

2. 연속 상태 공간 공식화 (Continuous State Space Formulation)

연속적인 영역에서의 확장성을 해결하기 위해 저자들은 완화(relaxation) 기법을 도입합니다. 복잡한 집합을 추적하는 대신, GP 사후 분포로부터 유도된 **지시 함수(indicator functions)**를 사용합니다.

• 완화 (Relaxation): 엄격한 "안전한 확률적 귀환" 보장을 "안전한 확률적 도착" 및 즉각적 안전만을 보장하도록 완화합니다. 이는 작업 완료 보장(갇히는 것을 방지함)을 제거하지만, 순간적인 안전은 보장합니다.
• 분석적 계산 (Analytical Computation): 가우시안 전이 분포 $T(x, a) \sim \mathcal{N}(\mu, \Sigma)$의 확률적 도착을 처리하기 위해, 모멘트 매칭(moment matching)을 사용하여 도착 상태의 안전 값 분포를 분석적으로 계산합니다. 이를 통해 샘플링 없이도 안전 지표를 직접 평가할 수 있습니다.
• 경로 안전 (Path Safety): 립시츠 연속성을 사용하여 안전 임계값($q_T' = q_T - L \cdot d_{max}/2$)을 조정함으로써, 이산적인 계획 단계 사이의 연속적인 궤적을 따라 안전을 보장합니다.

3. 객체 중심 공식화 (Object-Centric Formulation)

이 프레임워크는 여러 미지의 객체와 물리적으로 상호작용하는 시나리오(예: 선반 위의 물체를 미는 동작)로 확장됩니다.

• 객체 중심 표현 (Object-Centric Representation): 움직이는 객체를 다루기 위해, 안전은 각 객체에 대한 로봇의 상대적 상태 공간에서 모델링됩니다. 이를 통해 GP는 객체의 위치가 변하더라도 과거의 상호작용 데이터를 재사용할 수 있습니다.
• 다중 객체 안전 (Multi-Object Safety): 전역 안전 함수는 모든 객체에 대한 최대 안전 비용으로 정의됩니다. 전체 안전 집합은 각 개별 객체의 안전 집합의 교집합으로 계산됩니다.
• 구현 (Implementation): 연속형 케이스의 경우, 각 객체에 대해 별도의 GP를 훈련하고 예측 시 이들의 최악의 경우 확률적 경계를 결합함으로써, 고차원 집합을 명시적으로 교차시키는 데 드는 계산 비용을 피하며 구현됩니다.

주요 기여

1. 이산 안전 탐사: 확률적 전이가 있는 이산 상태 공간에서 GP 기반의 불확실성을 활용하여 안전 위반을 제한하고 안전한 확률적 귀환을 보장하는 새로운 방법을 제시했습니다.
2. 연속적 완화: 실세계 도메인에서의 계산 효율성을 높이면서도 (작업 완료에 대한 보장은 완화되었지만) 즉각적 안전과 안전한 도착을 유지하는 확장 가능한 연속 상태 공간용 완화 기법을 제공했습니다.
3. 안전한 객체 상호작용: 상대 좌표에서 안전을 모델링하고 안전 집합을 교차함으로써, 미지의 객체와 안전하게 물리적으로 상호작용하는 방법을 보여주는 응용 중심의 확장을 수행했습니다.

실험 결과

저자들은 광범위한 시뮬레이션과 하드웨어 실험을 통해 S.S. Explorer를 검증했습니다:

• 지면 로봇 (이산형): 높은 확률성($p=0.35$의 의도된 이동)을 가진 8개 환경에서의 80회 실험 결과, S.S. Explorer는 100% 성공률과 0% 안전 위반을 달 기록했습니다. 반면, 확률성을 무시한 베이스라인 방식은 35%의 성공률과 65%의 위반율을 보였습니다.
• 지면 로봇 (연속형): 425개의 궤적에 걸쳐, S.S. Explorer는 70.35%의 성공률과 6.82%의 위반율을 달성하여 베이스라인(성공 41.8%, 위반 49.8%)을 크게 앞질렀습니다. 동적 $\beta$-스케일링(진행 상황에 따라 보수성을 조절)을 적용한 변형 모델은 88.47%의 성공률과 9.88%의 위반율을 달성했습니다.
• 안전한 객체 (시뮬레이션): 미지의 객체를 미는 로봇 팔을 포함한 55회의 실험에서, 확률적 공식화는 특정 분산 설정 시 최대 81.8%의 성공률과 0%의 위반을 달성한 반면, 베이스라인은 50.9%의 확률로 실패했습니다.
• 하드웨어: Franka Emika Panda 암을 사용한 실제 실험에서 다양한 질량의 프링글스 통이 있는 테이블을 성공적으로 통과했습니다. 이 방법은 물체를 쓰러뜨리지 않고 목표에 도달했으나, 단순한 베이스라인은 물체를 쓰러뜨려 안전을 위반했습니다.

의의 및 주장

본 논문은 S.S. Explorer가 복잡하고 불확실한 환경에서 신뢰할 수 있고 광범위한 로봇 자율성을 가능하게 하는 진전된 단계라고 주장합니다. 그 의의는 다음과 같습니다:

• 간극 해소: 결정론적 역학을 가정하거나 전이 불확실성을 무시하는 기존 방식의 한계를 넘어, 안전 탐사에서 확률적 역학을 명시적으로 고려했습니다.
• 미지의 상호작용 처리: 단순한 충돌 회피를 넘어 상호작용 역학(예: 기울어짐, 마찰)을 관리함으로써, 미지의 객체와 안전한 물리적 상호작용을 수행할 수 있는 원칙적인 프레임워크를 제공합니다.
• 안전과 성능의 균sor: 불확실성(GP를 통해)과 확률적 모델링을 활용함으로써, 로봇이 결정론적 베이스라인보다 더 효과적으로 탐사하고 목표에 더 자주 도달할 수 있음을 입증했습니다. 결정론적 방식은 노이즈가 있는 실제 환경에서 실패하거나 안전을 위반하는 경향이 있습니다.

저자들은 GP의 계산 확장성($O(N^3)$), 시스템 경계(예: 립시츠 상수)에 대한 사전 지식에 대한 의존성, 그리고 안전과 성능 사이의 트레이드오프를 포함한 한계점을 인정합니다. 또한 연속형 및 객체 중심 변형 모델은 "안전한 확률적 귀환" 보장을 완화하므로, 로봇이 이론적으로 갇힐 수 있지만 즉각적인 안전은 유지된다고 언급했습니다. 향후 연구는 귀환 보장을 재도입하고 복잡한 객체 간 상호작용을 다루는 것을 목표로 합니다.