기술 요약: 결정론적 샘플을 이용한 매끄러운 샘플링 기반 모델 예측 제어 (dsMPPI)

문제 정의

샘플링 기반 모델 예측 제어(MPC)는 경사도 기반 최적화에 의존하지 않고 복잡한 비선형 시스템과 비볼록(nonconvex) 비용 함수를 처리할 수 있는 능력 덕분에 주목받고 있습니다. 그러나 교차 엔트로피 방법(CEM) 및 모델 예측 경로 적분(MPPI) 제어와 같은 기존 방식의 결정적인 한계는 제어 입력이 매끄럽지 못하다는 점입니다. 이러한 문제는 제안 분포(proposal distribution)의 파라미터 업데이트가 유한한 수의 무작위 샘플을 사용하여 근사화될 때 발생하는 노이즈 섞인 추정치로 인해 발생합니다. 실제 응용 분야에서 이러한 노이즈 섞인 입력은 과도한 액추에이터 마모, 급격한 속도 반전, 토크 스위칭을 유발할 수 있습니다. 이를 완화하기 위해 저역 통과 필터(low-pass filtering)와 같은 후처리 기술이 흔히 사용되지만, 이는 최적화 과정에 매끄러움(smoothing)을 통합하지 못하므로 차후 성능 저하를 초래합니다.

방법론

본 논문은 매끄러운 제어 궤적을 생성하기 위해 결정론적 샘플링을 사용하여 CEM과 MPPI의 강점을 통합한 새로운 알고알리즘인 **결정론적 샘플링 MPPI (dsMPPI)**를 제안합니다. dsMPPI의 핵심 구성 요소는 다음과 같습니다:

1. 결정론적 샘플링 (Deterministic Sampling): 무작위 샘플링 대신, 수정된 크라메르-폰 미제스(Cramér–von Mises, CvM) 거리를 최소화하여 오프라인에서 생성된 결정론적 샘플을 활용합니다. 이 샘플들은 현재 제안 분포의 파라미터(평균 및 공분산)에 맞게 온라인에서 변환됩니다. 이를 통해 탐색 공간을 뭉치거나 빈틈없이 균일하게 커버하는 낮은 불일치성(low discrepancy)을 보장합니다.
2. 지수 가중치 (MPPI 스타일): "하드" 엘리트 집합 선택(상위 $N$개 샘플에 동일한 가중치 부여)에 의존하는 표준 CEM과 달리, dsMPPI는 샘플 비용에 기반한 부드러운 지수 가중치 방식 $w^{(i)} \propto \exp(-J(\bar{\xi}^{(i)})/\lambda)$를 채택합니다. 이를 통해 제안 분포의 업데이트를 더욱 매끄럽게 만듭니다.
3. 반복 최적화 (Iterative Optimization): 단일 단계 업데이트를 수행하는 일반적인 MPPI와 달리, dsMPPI는 제안 분포를 정교화하기 위해 각 타임 스텝마다 여러 번의 반복($j_{max}$)을 수행하며, 이는 개선된 CEM(iCEM)과 유사합니다.
4. 모멘텀 평활화 (Momentum Smoothing): 최적화를 안정화하고 조기 수렴을 방지하기 위해 평균 및 공분산 업데이트에 모멘텀 평활화가 적용됩니다.
5. 적응형 온도 (Adaptive Temperature): 가중치의 정규화 상수를 기반으로 각 반복 단계에서 역온도 파라미터($\lambda$)를 휴리스틱하게 적응시켜, 수동 튜닝 없이도 견고한 성능을 보장합니다.
6. 탐색을 위한 변이 기법 (Variation Schemes for Exploration): 결정론적 샘플을 재사용할 때 발생하는 불량한 탐색을 방지하기 위해 두 가지 변이 기법을 도입합니다:
   • 다중 반복 방법 (Multi-iteration method): 사전에 계산된 더 큰 샘플 풀에서 각 반복마다 서로 다른 하위 집합을 선택합니다.
   • 순열 방법 (Permutation method): 매 반복마다 결정론적 샘플의 차원을 무작위로 치환(permutation)합니다. 이 방식은 단일 세트의 샘플만 저장하면서도 차원 셔플링을 통해 다양성을 촉진하므로 메모리 효율적입니다.
7. 시간적 상관관계 (Temporal Correlations): 매끄러움을 더욱 향식하기 위해, 유색 잡음(colored noise, 전력 스펙트럼 밀도 법칙)에서 유도된 고정된 시간 상관 행렬을 사용하여 공분산 행렬을 구성하며, 계산 효율성을 유지하기 위해 주변 분산(marginal variances)만을 업데이트합니다.

주요 기여

• dsMPPI 알고리즘: 결정론적 샘플링을 MPPI의 지수 가중치 및 CEM의 반복적 프레임워크와 결합하였습니다.
• 순열 변이 기법: 차원 셔플링을 통해 결정론적 샘플의 탐색 능력을 높이는 메모리 효율적인 방법을 제시하며, 이는 다중 반복 하위 집합 선택 방식과 비교하여 비용 성능과 매끄러움 사이의 절충안을 제공합니다.
• 포괄적 평가: 카트-폴 스윙업(cart-pole swing-up) 및 트럭 백커-업퍼(truck backer-upper)라는 두 가지 비선형 벤치마크 작업에 대한 광범위한 시뮬레이션을 수행했습니다.

실험 결과

제안된 dsMPPI를 표준 MPPI, dsCEM (결정론적 샘플링 CEM), 그리고 반복적 무작위 샘플링 변형 모델 (MPPI Iterative)과 비교 평가했습니다.

• 매끄러움 (Smoothness): dsMPPI는 두 작업 모두에서 일관되게 가장 매끄러운 제어 입력을 달성했습니다. 카트-폴 스윙업에서 dsMPPI는 특히 설정값 근처에서의 진동을 피하는 데 중요한 "정착 매끄러움(settled smoothness, 궤적의 후반부)" 측면에서 dsCEM 및 MPPI Iterative보다 우수한 성능을 보였습니다. 시각화 결과, 표준 MPPI에 비해 채터링(chattering)이 현저히 감소했음을 확인했습니다.
• 비용 성능 (Cost Performance): dsCEM이 일반적으로 dsMPPI보다 약간 더 낮은 누적 비용을 달성했지만, dsMPPI는 무작위 샘플링 대응 모델(MPPI Iterative)보다 일관되게 높은 성능을 보여 결정론적 샘플링의 이점을 입증했습니다. 순열 기법은 특히 낮은 샘플 크기에서 다중 반복 방식보다 약간 더 나은 비용 성능을 보였습니다.
• 계산 효율성 (Computational Efficiency): 비반복적 특성 때문에 표준 MPPI가 가장 빨랐습니다. 그러나 모든 반복적 방법(dsMPPI, dsCEM, MPPI Iterative)은 유사한 계산 시간을 나타냈습니다. 결정적으로, 결정론적 샘플링의 사용은 무작위 샘플링과 비교했을 때 추가적인 온라인 계산 오버헤드를 발생시키지 않았습니다.

의의 및 주장

본 논문은 dsMPPI가 MPPI의 지수 가중치와 결정론적 샘플의 효율성 및 낮은 불일치성 특성을 효과적으로 활용한다고 주장합니다. 주요 의의는 부적절한 사후 처리 필터링 없이도 훨씬 더 매끄러운 제어 궤적을 생성할 수 있다는 점에 있습니다. 이러한 기계적 스트레스 및 액추에이터 마모의 감소는 이 방법을 실제 응용 분야에 매우 적합하게 만듭니다. 또한, 저자들은 이러한 개선이 온라인 계산 부담을 늘리지 않고 달성되었다는 점을 강조하며, dsMPPI가 기존 샘플링 기반 MPC 구현을 위한 강력한 업그레이드임을 밝힙니다. 순열 변이 기법은 탐색과 메모리 효율성 사이의 균형을 맞추는 새로운 기여로 강조됩니다.