기술적 요약: 엔트로피 정규화 최적 수송을 통한 샘플링 기반 제어

문제 제기

모델 예측 경로 적분 (MPPI) 및 교차 엔트로피 방법 (CEM) 과 같은 샘플링 기반 모델 예측 제어 (MPC) 방법은 비선형 로봇 시스템의 실시간 제어, 특히 기울기를 사용할 수 없거나 동역학이 불연속인 상황에서 널리 사용됩니다. 그러나 이러한 방법들은 제어 공간의 기하학적 구조와 무관한 정보 이론적 목적 함수 (예: KL 발산) 에 의존합니다.

이러한 기하학적 무관함은 두 가지 주요 실패 모드를 초래합니다:

1. 모드 평균화 (Mode-Averaging): MPPI 는 가중 평균을 통해 샘플을 집계합니다. 복잡한 다중 모드 비용 지형 (예: 장애물 주변 항해) 에서 이는 서로 다른 국소 최소값을 혼합한 제어 명령을 생성하여, 로봇이 장애물 주위를 우회하는 유효한 경로를 선택하는 대신 장애물 안으로 직접 진입하게 하는 결과를 초래합니다.
2. 모드 탐색 (Mode-Seeking): CEM 은 '엘리트' 샘플을 선택함으로써 평균화를 피하지만, 이는 단일 모드에 공격적으로 집중하여 탐색을 제한하고 지역 최적해를 선호하여 실현 가능한 솔루션을 놓치게 할 수 있습니다.

기존 해결책들은 종종 변분 목적 함수를 근본적으로 변경하지 않는 사후 휴리스틱 (예: 어닐링 스케줄, 공분산 적응) 에 의존합니다. 본 논문은 최적화 과정에 공간 정보를 통합하기 위한 근본적인 전환이 필요하다고 주장합니다.

방법론: OT-MPC 및 Sinkhorn 좌표 하강

저자들은 엔트로피 정규화 최적 수송 (EOT) 공식에서 유래한 샘플링 기반 알고리즘인 OT-MPC(Optimal Transport MPC) 를 제안합니다. 정보 이론적 발산을 최소화하는 대신, OT-MPC 는 후보 제어 시퀀스와 저비용 제안 (proposals) 사이에서 확률 질량을 수송하는 비용을 최소화하며, 기하학적 근접성을 명시적으로 통합합니다.

핵심 알고리즘: Sinkhorn 좌표 하강 (SCD)

최적화 엔진은 $M$개의 제안을 사용하여 $N$개의 입자 (후보 제어 시퀀스) 를 목표 분포로 진화시키는 Sinkhorn 좌표 하강 (SCD) 입니다.

1. 공식화: 문제는 입자 $z$와 제안 $y$ 사이의 최적 결합 $\Gamma$를 찾아 엔트로피 $H(\Gamma)$로 정규화된 수송 비용 $c(z, y)$를 최소화하는 것으로 설정됩니다.
2. 교대 최적화:
   • 결합 업데이트: 고정된 입자가 주어지면, Sinkhorn 알고리즘을 사용하여 최적 결합 $\Gamma$를 효율적으로 계산합니다. 이 단계는 제안의 비용과 입자 및 제안 사이의 기하학적 거리를 모두 고려합니다.
   • 입자 업데이트: 결합이 주어지면 입자가 업데이트됩니다. 2 차 비용의 경우, 이 업데이트는 폐쇄형 해 (closed-form solution) 를 가집니다: 각 입자는 결합된 제안들의 가중 바리센터 (barycenter) 로 이동합니다.
   • 완화: 제안이 매 반복에서 재샘플링될 때 특히 업데이트를 안정화하기 위해 스텝 크기 매개변수 $\eta$가 사용됩니다.
3. 제안 분포: 탐색과 활용의 균형을 맞추기 위해 제안은 혼합 분포에서 샘플링됩니다: 비율 $\rho$는 전역 분포 (예: 균일 분포 또는 광범위한 가우시안) 에서 추출되고, 나머지는 기존 입자의 국소 교란입니다.

주요 이론적 특성

• 이중 볼록성 (Biconvexity): 목적 함수는 입자와 결합에 대해 이중 볼록이므로, 부분 문제에 대해 고유한 해를 보장합니다.
• 단조 하강 (Monotone Descent): 알고리즘은 목적 함수 값의 비증가 수열을 보장합니다.
• 수렴성: 반복체는 정상점에 수렴합니다.
• 일반화: SCD 는 MPPI 를 일반화합니다; 입자 수 $N=1$이거나 정규화 $\epsilon \to \infty$인 극한에서 SCD 는 표준 MPPI 중요도 가중 평균을 회복합니다.

주요 기여

1. 알고리즘적 혁신: SCD 의 제안과 이를 OT-MPC 로 구체화한 점입니다. 기존 샘플링 방법과 달리 SCD 는 비용과 기하학적 근접성 모두에 기반하여 입자를 업데이트하여 국소 정밀화를 가능하게 하면서 모드 간 다양성을 유지합니다.
2. 이론적 보장: SCD 에 대한 이론적 특성 확립으로, 단조 하강, 수렴 보장, 2 차 비용 (및 원거리 및 Log-Euclidean 거리와 같은 다른 특정 비용 함수) 에 대한 폐쇄형 업데이트를 포함합니다.
3. 실증적 검증: OT-MPC 가 다중 모드 비용 지형을 가진 다양한 로봇 작업에서 MPPI, CEM, Stein 변분 MPC(SV-MPC) 보다 높은 성공률을 달성함을 입증했습니다.

실험 결과

저자들은 OT-MPC 를 항해, 조작, 보행 작업에서 MPPI, CEM, SV-MPC 와 비교 평가했습니다.

• 자동차 장애물 회피 (운동학적 자전거): 밀집 장애물 필드 ("Hard" 설정) 에서 OT-MPC 는 **93.5%**의 성공률을 기록한 반면 MPPI 는 **88.5%**였습니다. MPPI 가 모드 평균화로 고통받는 복잡한 환경에서 성능 격차는 더욱 벌어졌습니다.
• 2D Push-T (접촉이 풍부한 조작): OT-MPC 는 **76%**의 성공률을 달성하여 MPPI(4%) 와 CEM(46%) 을 크게 앞섰습니다. SV-MPC 는 하이브리드 접촉 동역학에서 미분 가능한 기울기가 부족하여 완전히 실패했습니다 (0%).
• 쿼드콥터 장애물 회피 (12-DOF): 중간 및 고밀도 장애물 설정에서 OT-MPC 는 각각 **100%**와 **92%**의 성공률을 기록한 반면, MPPI 는 각각 **60%**와 **19%**였습니다. MPPI 는 국소 최소값에 갇혀 실현 가능한 경로를 찾는 데 자주 실패했습니다.
• 협력 하중 운반 (두 대의 쿼드콥터): 좁은 벽 구멍을 통한 정밀한 조정이 필요한 작업에서 OT-MPC 는 "Hard" 설정에서 **75%**의 성공률을 보인 반면 MPPI 는 **10%**에 그쳤습니다. 좁은 병목 현상은 MPPI 의 모드 평균화 문제를 악화시켜 조정을 방해했습니다.
• Franka Push-T (3D 조작): OT-MPC 는 **66%**의 성공률을 달성하여 과도하게 튜닝된 MPPI(64%) 와 유사했으나, 훨씬 적은 하이퍼파라미터 튜닝 노력이 필요했습니다.
• 4 족 보행 (Unitree Go2): OT-MPC 는 경사 오르기 및 상자 밀기 작업에서 MPPI 보다 목표 도달에 필요한 평균 단계 수가 적어 우수한 효율성을 입증했습니다.

계산 오버헤드: Sinkhorn 단계는 계산 비용을 증가시키지만 (MPPI 의 $O(M)$ 대비 $O(NM)$), 저자들은 OT-MPC 가 종종 동등하거나 더 빠른 월클록 시간을 달성한다고 보고합니다. 이는 수송 결합이 샘플당 더 많은 정보를 추출하여 알고리즘이 수렴을 달성하기 위해 더 적은 제안 (롤아웃) 을 사용할 수 있기 때문입니다.

중요성 및 주장

본 논문은 OT-MPC 가 KL 발산을 최적 수송 목적 함수로 대체함으로써 정보 이론적 샘플링 방법의 근본적인 한계를 해결한다고 주장합니다. 이 전환은 제어기가 다음과 같은 기능을 수행할 수 있게 합니다:

• 모드 유지: 다중 모드 환경에서 충돌로 이어지는 "모드 평균화"를 방지합니다.
• 조정 업데이트: 유망한 국소 영역으로 후보를 정제하면서도 앙상블 다양성을 유지합니다.
• 기울기 없이 작동: MPPI 와 유사하게 블랙박스 시뮬레이터 및 비부드러운 동역학과 호환성을 유지합니다.

저자들은 OT-MPC 를 단순한 휴리스틱 개선이 아닌, 샘플링 기반 제어가 정보를 집계하는 방식의 근본적인 변화로 위치시키며, 복잡한 접촉이 풍부한 고차원 로봇 작업에서 견고한 성능을 달성하기 위해 제어 공간의 기하학적 구조를 활용합니다. 그들은 제안 커버리지에 대한 탐색 의존성 및 엔트로피 정규화 매개변수 $\epsilon$의 신중한 튜닝 필요성과 같은 한계를 인정하지만, 이 방법이 기존 최첨단 샘플링 제어기에 대한 원칙적인 대안을 제공한다고 주장합니다.