Provably Safe Trajectory Generation for Manipulators Under Motion and Environmental Uncertainties

이 논문은 불확실성과 비볼록 환경에서 로봇 매니퓰레이터의 안전한 궤적 생성을 위해, RM-DeSKO 모델을 통한 상태 예측과 SOS 프로그래밍 기반의 계층적 충돌 위험 검증을 MPPI 제어기에 통합한 새로운 위험 경계 운동 계획 프레임워크를 제안하고 시뮬레이션 및 실증 실험을 통해 그 유효성을 입증합니다.

핵심

이 논문은 로봇 팔이 사람이나 복잡한 환경과 함께 일할 때, "실수"를 하더라도 절대 부딪히지 않도록 안전하게 길을 찾아주는 새로운 방법을 소개합니다.

기존의 로봇들은 "만약 내가 조금 흔들리면 어떡하지?"라는 걱정을 너무 많이 해서, 아주 안전한 길만 찾다가 움직임을 느리게 하거나 아예 움직이지 못하기도 했습니다. 이 연구는 "위험을 수학적으로 계산해서, 아주 작은 확률만 제외하고는 100% 안전하다고 보장하는" 새로운 시스템을 개발했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "눈가리개 하고 복잡한 미로 걷기"

상상해 보세요. 로봇 팔이 복잡한 미로 (사람들이 서 있거나, 모양이 불규칙한 물건들이 널려 있는 곳) 를 지나야 합니다. 문제는 로봇 팔이 정확하게 움직이지 못한다는 점입니다.

• 운동 불확실성: 로봇이 "왼쪽으로 가라"고 명령해도 실제로는 약간 오른쪽으로 치우쳐 움직일 수 있습니다 (마치 술 취한 사람이 걷는 것처럼).
• 환경 불확실성: 장애물 (사람의 팔이나 물건) 의 위치나 모양도 정확히 알 수 없습니다. (사람이 팔을 살짝 움직일 수도 있죠.)

기존 로봇들은 이런 불확실성을 해결하기 위해 "아마도 부딪힐까 봐" 아주 멀리서 빙빙 돌거나, 너무 느리게 움직였습니다. 효율성이 떨어지는 거죠.

2. 해결책 1: "미래를 예측하는 천재 예언가 (RM-DeSKO)"

이 연구의 핵심은 RM-DeSKO라는 인공지능 모델입니다.

• 비유: 로봇이 움직일 때, "내가 앞으로 1 초 뒤쯤 어디쯤 있을지"를 정확히 예측하는 천재 예언가가 곁에 있는 셈입니다.
• 이 예언가는 로봇이 "술 취해서 (오류가 있어) " 걷더라도, "아마도 이쪽 길로 갈 확률이 90%, 저쪽 길로 갈 확률이 10%"라고 확률적으로 미래를 예측합니다.
• 기존에는 로봇이 "내일 비가 올지 모른다"고만 생각했지만, 이 예언가는 "내일 비가 올 확률이 30% 이고, 우산을 챙겨야 할 확률이 70%"라고 구체적으로 알려줍니다. 덕분에 로봇은 불확실성을 두려워하지 않고 더 직선적이고 빠른 길을 찾을 수 있습니다.

3. 해결책 2: "안전 검사관 (SOS 필터)"

예언가가 예측한 길이 정말 안전한지 확인하는 엄격한 안전 검사관이 있습니다.

• 비유: 로봇이 길을 선택할 때마다, 이 검사관이 "이 길이 정말로 사람과 부딪힐 확률이 10% 미만일까?"를 수학적으로 증명합니다.
• 만약 "아, 이 길은 부딪힐 확률이 11% 라서 위험해!"라고 판단되면, 그 길은 즉시 폐기하고 다른 길을 찾습니다.
• 이 과정은 매우 빠릅니다. 마치 고속도로에서 "이 차선은 안전하니까 통과, 저 차선은 위험하니까 차단"하는 것처럼 실시간으로 필터링합니다.

4. 전체 시스템: "안전한 운전사"

이 두 가지 (예언가와 검사관) 가 합쳐져서 MPPI라는 운전 시스템이 작동합니다.

1. 로봇은 수많은 가상 시나리오 (수천 개의 미래 경로) 를 동시에 그려봅니다.
2. **예언가 (RM-DeSKO)**가 각 시나리오가 실제로 어떻게 흐를지 예측합니다.
3. **검사관 (SOS)**이 예측된 경로 중 "위험한 것"을 걸러냅니다.
4. 남은 "안전한 경로" 중에서 가장 빠르고 효율적인 길을 선택해 로봇이 움직입니다.

5. 실제 실험: "사람과 함께 철근 묶기"

이론만 있는 게 아니라, 실제 실험에서도 성공했습니다.

• 상황: 로봇 팔이 한 사람이 들고 있는 철근 두 개를 묶는 작업을 합니다.
• 위험 요소: 사람의 팔은 피로해서 자꾸 움직이고, 로봇이 들고 있는 도구도 무게 중심이 흔들립니다.
• 결과: 기존 로봇은 사람의 팔을 피하느라 길을 잃거나 실패했지만, 이 새로운 시스템을 쓴 로봇은 사람의 팔이 움직이는 '불확실성'을 계산에 넣어서, 사람과 부딪히지 않으면서도 빠르게 철근을 성공적으로 묶었습니다.

요약

이 논문은 **"로봇이 실수할 수 있고, 주변 환경도 변할 수 있다는 사실을 인정하고, 그 불확실성을 수학적으로 계산해서 '안전한 확률'을 보장하는 길을 찾아주는 시스템"**을 만들었습니다.

마치 운전할 때 "차량이 미끄러질 수 있고, 보행자가 갑자기 튀어 나올 수 있다"는 것을 알고, 그 위험을 계산해서 가장 빠르면서도 절대 사고가 나지 않는 최적의 경로를 실시간으로 찾아주는 스마트 내비게이션과 같습니다. 덕분에 로봇은 더 빠르고, 더 똑똑하게, 그리고 사람과 함께 안전하게 일할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

로봇 매니퓰레이터가 인간과 협업하거나 복잡하고 불규칙한 (비볼록, non-convex) 환경에서 작동할 때, 다음과 같은 주요 도전 과제가 존재합니다.

• 불확실성: 로봇의 운동 제어 오차 (tracking errors) 와 센서 노이즈로 인한 상태 불확실성, 그리고 환경 내 장애물의 위치, 크기, 모양에 대한 확률적 불확실성.
• 안전성 보장 부족: 기존 방법들은 주로 가우시안 (Gaussian) 분포를 가정하거나 볼록한 장애물만 처리할 수 있어, 복잡한 비볼록 환경에서 충돌 위험을 엄격하게 보장 (formal certification) 하기가 어렵습니다.
• 효율성 저하: 안전성을 확보하기 위해 과도하게 보수적인 안전 마진을 설정하면 로봇의 작업 효율성이 크게 떨어집니다.
• 목표: 불확실성이 존재하는 비볼록 환경에서, 사용자가 정의한 임계값 ($\Delta$) 이하로 충돌 확률을 보장하면서도 효율적인 궤적을 생성하는 프레임워크 개발.

2. 제안된 방법론 (Methodology)

저자들은 위험 경계 (Risk-bounded) 운동 계획 프레임워크를 제안하며, 이는 크게 세 가지 핵심 요소로 구성됩니다.

A. RM-DeSKO (Rigid Manipulator Deep Stochastic Koopman Operator) 모델

• 목적: 불확실성 하에서 로봇의 상태 분포를 강건하게 예측하기 위해 딥러닝 기반의 확률적 쿠파만 (Koopman) 연산자 모델을 도입했습니다.
• 작동 원리:
  • 비선형적인 로봇 동역학을 고차원 선형 공간 (lifted linear space) 으로 매핑합니다.
  • 관측 가능한 상태 (observables) 의 확률 분포 (평균 및 공분산) 를 학습하여, 제어 입력과 운동 오차를 고려한 미래 상태의 분포를 예측합니다.
  • 기존 MPPI(Model Predictive Path Integral) 제어기의 롤아웃 (rollout) 과정에서 발생하는 잘못된 비용 추정을 방지하고, 불확실성 하에서도 정확한 상태 전이를 제공합니다.

B. 계층적 충돌 위험 검증 (Hierarchical Collision Risk Verification)

• 목적: 실시간 계획 효율성과 형식적 안전 보장을 동시에 달성하기 위해 2 단계 검증 방식을 사용합니다.
  1. 1 단계 (물리 시뮬레이션): IsaacGym 환경에서 병렬 물리 시뮬레이션을 수행하여 접촉 힘 (contact force) 을 기반으로 한 초기 충돌 비용을 빠르게 계산합니다.
  2. 2 단계 (SOS 프로그래밍 필터): 최적화된 제어 신호를 실행하기 직전, 합의 제곱 (Sum-of-Squares, SOS) 프로그래밍을 사용하여 충돌 확률이 임계값 $\Delta$ 이하인지 엄격하게 검증합니다.
     • 로봇 링크를 타원체 (ellipsoids) 로 근사하고, 장애물을 다항식으로 표현하여 충돌 위험 영역 (Risk Contours) 을 정의합니다.
     • SOS 분해를 통해 가우시안 가정이 아닌 임의의 확률 분포 (Uniform, Beta 등) 에 대해서도 충돌 확률 상한을 수학적으로 증명합니다.

C. MPPI 기반 제어기 통합

• 제안된 검증 로직이 MPPI 제어기에 통합되어, SOS 검증에서 실패한 (충돌 위험이 높은) 제어 시퀀스에 대한 이진 정보 (binary collision info) 를 활용하여 정책 (policy) 을 업데이트합니다.
• 이는 경사도 (gradient) 가 필요 없는 최적화 알고리즘의 특성을 살려, 안전하지 않은 궤적을 효율적으로 제거하고 안전한 궤적을 찾도록 돕습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 위험 경계 운동 계획 문제 해결: 확률적 기하학, 크기, 위치를 가진 비볼록 장애물과 불확실한 로봇 매니퓰레이터에 대한 위험 경계 운동 계획 문제를 최초로 공식화하고 해결했습니다.
2. 새로운 예측 모델 및 검증 방법: 고차원 로봇 팔의 불확실한 상태 예측을 위한 쿠파만 연산자 신경망 (RM-DeSKO) 과 위험 등고선 (risk contours) 과 형식적 인증을 결합한 효율적인 계층적 충돌 검증 방법을 개발했습니다.
3. 실제 환경 적용 및 Sim-to-Real 전이: 시뮬레이션에서 학습된 모델을 실제 로봇 (Franka Panda, UR5e) 에 적용하여, 복잡한 인간 - 로봇 협업 시나리오 (철근 결속 작업) 에서 안전하고 효율적인 궤적을 생성하는 것을 성공적으로 입증했습니다.

4. 실험 결과 (Results)

• 상태 예측 성능: Franka Panda 로봇을 대상으로 한 실험에서, 제안된 RM-DeSKO 모델은 LSTM, Transformer, 기존 Deep Koopman Operator 등 다른 모델 대비 최대 예측 오차 (Max Err) 가 가장 낮았으며, 불확실한 노이즈 하에서도 안정적인 상태 전이를 보여주었습니다.
• 운동 계획 성능 (시뮬레이션):
  • 10 가지 다양한 작업에서 제안된 방법은 94% 의 성공률을 기록하여 베이스라인 (89%) 보다 우수했습니다.
  • 목표 도달 시간 (TTG) 은 34.5 초로 베이스라인 (47.2 초) 보다 약 27% 단축되었으며, 궤적 길이도 더 짧았습니다.
  • 다양한 추적 오차와 샘플 수 변화에 대해 높은 강건성 (robustness) 을 보였습니다.
• 실제 로봇 실험 (Sim-to-Real):
  • UR5e 로봇을 사용하여 인간 작업자와의 협업 (철근 결속) 시나리오에서 테스트했습니다.
  • 실제 환경에서도 90% 의 성공률을 유지하며, 6Hz 주기로 재계획 (replanning) 을 수행하여 실시간 대응이 가능함을 입증했습니다.
  • 베이스라인은 높은 노이즈로 인해 목표에 도달하지 못했으나, 제안된 방법은 인간의 팔 (불확실한 장애물) 을 우회하며 안전하게 작업을 완료했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 매니퓰레이터가 불확실하고 복잡한 환경에서 작동할 때, 수학적 증명을 통해 안전성을 보장하면서도 효율성을 유지할 수 있는 새로운 패러다임을 제시합니다.

• 안전성: 단순히 보수적인 안전 마진을 두는 것이 아니라, 확률적 위험을 정량화하고 수학적으로 경계 (bound) 를 설정하여 안전성을 증명합니다.
• 실용성: 학습된 모델이 실제 로봇에 직접 적용 (Zero-shot Sim-to-Real) 될 수 있음을 보여주어, 실제 산업 현장 (조립, 포장, 건설 등) 에의 적용 가능성을 높였습니다.
• 기술적 혁신: 물리 시뮬레이션의 속도와 SOS 프로그래밍의 엄밀함을 결합한 계층적 검증 방식은 향후 고도화된 자율 로봇 시스템의 핵심 기술로 평가됩니다.

요약하자면, 이 연구는 불확실성을 가진 비볼록 환경에서 로봇이 안전하게 작업할 수 있도록, 딥러닝 기반 예측과 수학적 형식 검증을 융합한 혁신적인 운동 계획 프레임워크를 제시했습니다.