기술 요약: 터미널 고려 사항: 벨리프 상태 - 비용 공간에서의 터미널 비용과 학습된 불확실성을 활용한 운동 동역학 계획

문제 제기

실제 환경에서 작동하는 로봇 시스템은 모델링 오차, 지각 노이즈, 복잡한 접촉 상호작용으로 인한 실행 불확실성을 고려하면서도 운동 동역학 제약을 만족하는 동역학적으로 실현 가능한 운동을 생성해야 합니다. 기존 샘플링 기반 운동 동역학 계획기 (예: AO-RRT, SST) 는 확률적 완전성과 점근적 최적성을 제공하지만, 일반적으로 경로 전체에 걸쳐 누적되는 실행 비용(경로 길이 또는 에너지 등) 만을 최적화하고 목표 도달을 단순히 실현 가능성 확인으로만 취급합니다.

이 접근법은 두 가지 중요한 한계를 제시합니다:

1. 터미널 상태의 질: 많은 작업은 단순히 취해진 경로가 아니라 최종 상태의 질에 의존합니다. 예를 들어, 평면 밀기 작업에서 더 짧은 경로는 높은 터미널 불확실성을 초래하여 목표에 성공적으로 도달할 확률을 낮출 수 있습니다. 다중 목표 시나리오 (예: 주차) 에서 계획기는 종종 덜 바람직하거나 출발하기 어려운 기하학적으로 더 가까운 목표를 선택하며, 특정 터미널 영역에 대한 선호도를 무시합니다.
2. 불확실성 전파: 상태가 확률 분포인 벨리프 공간에서의 계획은 견고성을 위해 필수적입니다. 그러나 기존 방법들은 명시적으로 터미널 벨리프 상태를 최적화하기보다는 경직된 확률 임계값이나 경로 전체의 대리 모델에 의존하는 경우가 많습니다. 또한, 복잡한 시스템 (접촉이 풍부한 밀기 등) 은 종종 분석적 불확실성 모델을 갖추지 못하므로, 벨리프 공간 계획기와 밀접하게 통합되지 않는 데이터 기반 접근법이 필요합니다.

방법론

저자들은 KiTe(터미널 비용을 활용한 운동 동역학 계획) 를 제안하며, 이는 점근적 최적성 급속 탐색 랜덤 트리 (AO-RRT) 에 명시적인 터미널 비용 목적 함수를 추가한 프레임워크입니다. 방법론은 세 가지 주요 계층에서 작동합니다:

1. 상태 공간에서의 터미널 비용을 활용한 KiTe

핵심 알고리즘은 확장된 상태 - 비용 공간 $\mathcal{Y} = \mathcal{X} \times \mathbb{R}^+$ 에서 최적 운동 동역학 계획 문제를 재형식화합니다.

• 확장된 동역학: 상태를 $x$에서 $y = (x, c)$로 확장하며, 여기서 $c$는 실행 비용 $\ell(x, u)$를 누적합니다. 동역학은 비용률을 포함하도록 확장되어 $\dot{y} = (f(x, u), \ell(x, u))$가 됩니다.
• 터미널 비용 통합: 이전 공식화에서는 탐색 중 터미널 비용이 무시되었던 것과 달리, KiTe 는 목표 영역에 도달했을 때만 총 비용 $C_T = \int \ell dt + \phi(x(T))$를 평가합니다.
• 탐색 전략: 알고리즘은 비용 상한 $c_{best}$를 유지합니다. 해가 발견되면 상한은 $c_{new} + \phi(x_{new})$로 업데이트됩니다. 그런 다음 샘플링 전략은 이 상한으로 정의된 하위 수준 집합에 초점을 맞추어 총 비용 (실행 + 터미널) 을 개선할 수 없는 가지들을 가지치기합니다.
• 이론적 보장: 저자들은 시스템 동역학, 실행 비용, 터미널 비용이 리프시츠 연속 조건을 만족하는 경우, 터미널 비용을 갖춘 AO-RRT 가 점근적 최적성을 유지한다는 엄밀한 증명을 제공합니다.

2. 벨리프 공간으로의 확장

이 공식은 상태에 대한 확률 분포의 공간인 $\mathcal{B}$를 포함하는 벨리프 상태 - 비용 공간 $\mathcal{Y}_b = \mathcal{B} \times \mathbb{R}^+$으로 확장됩니다.

• 거리 측정: 벨리프 공간의 거리 측정으로 2-워asserstein 거리를 채택하여, 가우시안 벨리프의 평균과 공분산 변화를 자연스럽게 포착합니다.
• 목표 도달 하한: 주요 이론적 기여는 목표 영역 $G$(반지름 $r$의 구로 정의됨) 에 도달할 확률이 터미널 벨리프 $b(T)$와 목표에서의 디랙 측도 $\nu_g$ 사이의 워asserstein 거리로 하한이 결정된다는 증명입니다:
  $$\text{Pr}(x(T) \in G) \geq 1 - \frac{W_2^2(b(T), \nu_g)}{r^2}$$
  이를 통해 계획자는 경직되고 수동으로 조정된 확률 임계값을 요구하지 않고도, 워asserstein 거리를 터미널 비용 $\psi(b(T))$로 사용하여 목표 도달 성공의 하한을 직접 최적화할 수 있습니다.
• 리프시츠 연속성: 저자들은 확률적 동역학에 대한 약한 가정 (특히 과정 불확실성과 노이즈 주입의 리프시츠 연속성 관련) 하에 벨리프 동역학 및 비용 함수가 워asserstein 거리에 대해 리프시츠 연속성을 유지함을 증명합니다. 이는 KiTe 의 점근적 최적성이 벨리프 공간으로 확장됨을 보장합니다.

3. 벨리프 동역학 학습

분석적 불확실성 모델을 사용할 수 없는 시스템 (예: 접촉이 풍부한 밀기) 을 해결하기 위해 KiTe 는 학습된 벨리프 동역학 모델을 통합합니다.

• 모델 아키텍처: 신경망 (MLP) 이 지역 확률적 전이를 예측하도록 훈련됩니다. 상태 $x_i$와 제어 $u_i$가 주어지면, 네트워크는 평균 전이 $\Delta x_i$와 분산 벡터 $\sigma_i^2$로 매개변수화된 과정 공분산을 출력합니다.
• 훈련 목적 함수: 모델은 상호작용 데이터에 대한 음의 로그 가능도 (NLL) 손실 함수를 사용하여 훈련됩니다. 이를 통해 네트워크는 데이터에서 직접 평균 동역학과 알레토릭 불확실성 (과정 노이즈) 을 학습할 수 있습니다.
• 전파: 학습된 평균과 공분산은 계획기 내에서 벨리프 상태 (평균 및 공분산) 를 전진시키는 데 사용되며, 유클리드 및 리 군 (예: SE(2)) 상태 공간을 모두 지원합니다.

주요 기여

1. 알고리즘 확장 및 증명: 명시적인 터미널 비용을 갖춘 AO-RRT 구현과 상태 및 벨리프 공간 모두에서 점근적 최적성이 유지됨을 보여주는 엄밀한 증명.
2. 성공 확률과의 이론적 연결: 터미널 벨리프와 목표 사이의 워asserstein 거리를 최소화하는 것이 목표 도달 성공 확률에 대한 하한을 유도한다는 증명으로, 신뢰성을 위한 원칙적인 터미널 목적 함수 제공.
3. 데이터 기반 벨리프 전파: NLL 손실 함수를 사용하여 상호작용 데이터에서 직접 벨리프 동역학 모델 (평균 및 불확실성) 을 학습하고, 분석적 모델이 부재한 시스템을 위해 이를 KiTe 프레임워크에 통합하는 방법 증명.
4. 실증적 검증: 시뮬레이션과 실제 환경에서 세 가지 다양한 작업 (플래피 버드, 주차, 평면 밀기) 에 대한 포괄적 평가로, KiTe 를 최신 기준 (AO-RRT, SST, 가우시안 벨리프 트리) 과 비교.

실험 결과

이 논문은 세 가지 작업을 통해 KiTe 를 검증합니다:

• 플래피 버드 (결정론적): KiTe 가 터미널 비용을 최적화함으로써 목표 선호도 (예: 간격 중앙에 새 위치시키기) 를 인코딩할 수 있음을 보여줍니다. 반면, 기준 방법들은 목표 영역에 도달하면 더 이상 정제를 중단합니다. KiTe 는 실행 비용의 소폭 증가만으로 목표 중심에 더 가까운 궤적을 달성합니다.
• 주차 (불확실성을 가진 SE(2)): 여러 실현 가능한 주차 공간이 있는 작업에서, KiTe 는 경로 길이만 최적화하거나 확률적 제약을 사용하는 기준 방법들보다 "선호"되는 목표 영역 (앞쪽 공간) 을 성공적으로 우선시하고 목표 도달 성공률을 향상시킵니다. 터미널 비용을 활용한 벨리프 공간 계획은 가장 높은 실행 성공률을 보였습니다.
• 평면 밀기 (접촉이 풍부, 실제 세계): 쓰레기 트럭과 크래커 박스와 같은 객체에 대해 학습된 동역학을 사용하여, KiTe 는 모델 불확실성을 활용한 능동적 계획 포함 기준 방법들보다 실행 성공률에서 우위를 점했습니다. 계획기는 더 낮은 터미널 불확실성과 더 높은 성공 확률을 초래하는 더 긴 기하학적 경로를 선택하여 터미널 벨리프 질을 최적화하는 가치 입증했습니다.

중요성 및 주장

이 논문은 KiTe 가 운동 동역학 계획의 근본적인 격차, 즉 궤적 최적화와 터미널 상태 질의 분리를 해결한다고 주장합니다. 터미널 상태를 명시적으로 최적화함으로써 이 방법은 다음과 같은 이점을 제공합니다:

• 신뢰성 향상: 목표에 대한 워asserstein 거리를 최소화함으로써 불확실성 하에서 목표에 도달할 확률을 직접 증가시킵니다.
• 선호도 인코딩: 기하학적 근접성뿐만 아니라 (예: 출발 용이성, 안정성) 바람직성에 기반하여 여러 실현 가능한 목표 간에 계획기가 구별할 수 있도록 합니다.
• 학습과 계획의 연결: 학습된 불확실성 모델이 단순히 샘플링을 편향하는 데 그치지 않고 벨리프 전파 및 최적화 루프에 밀접하게 통합되는 프레임워크를 제공합니다.

저자들은 이 방법이 설계 매개변수 (터미널 가중치) 를 도입하고 학습된 모델에 의존하지만, 불확실한 환경에서 동역학적으로 실현 가능할 뿐만 아니라 신뢰성 있고 선호도를 인식하는 운동을 생성하는 원칙적이고 이론적으로 근거 있는 접근법을 제공한다고 결론지었습니다.