기술적 요약: 샘플 효율적이고 부드러운 교차 엔트로피 방법

문제 정의

모델 예측 제어 (MPC) 는 비선형 최적 제어의 표준 접근법이지만, 비미분 가능 동역학이나 비볼록 비용 함수를 가진 시스템의 경우 근본적인 최적화 문제를 해결하는 것이 여전히 어렵습니다. 이러한 시나리오에서는 교차 엔트로피 방법 (CEM) 과 같은 무경사 (gradient-free) 방법이 선호됩니다. 그러나 표준 CEM 기반 MPC(CEM-MPC) 는 제어 공간을 탐색하기 위해 무작위 샘플링에 의존합니다. 이러한 의존성은 두 가지 주요 한계를 제시합니다:

1. 비효율성: 무작위 샘플링은 종종 비효율적인 탐색을 초래하여 만족스러운 결과를 얻기 위해 많은 수의 샘플이 필요하며, 이는 계산 비용이 많이 듭니다.
2. 부드러움 부족: 시간적 상관관계 (예: 개선된 CEM 또는 iCEM) 와 같은 개선 사항이 있더라도 무작위 샘플링은 매끄럽지 않은 제어 궤적을 생성할 수 있습니다. 이러한 불규칙한 행동은 실제 적용에서 구동기를 손상시키고 시스템의 불안정한 동작을 초래할 수 있으므로 바람직하지 않습니다.

방법론

저자들은 CEM-MPC 의 무작위 샘플링 단계를 국소 누적 분포 (LCD) 에서 유래된 결정론적 샘플로 대체하는 결정론적 샘플링 교차 엔트로피 방법 (dsCEM) 프레임워크를 제안합니다.

핵심 메커니즘

제안된 분포에서 무작위 샘플을 추출하는 대신, dsCEM 은 LCD 기반의 사전 계산된 최적 샘플 집합을 활용합니다. 이러한 샘플은 무작위 샘플링에 내재된 군집화와 간격을 피하면서 해 공간이 낮은 불일치 (low discrepancy) 로 커버되도록 설계되었습니다.

• 오프라인 생성: 수정된 크라메르 - 본 미세스 (CvM) 거리를 최소화하여 목표 가우시안 분포와 디랙 혼합 근사 사이의 거리를 최소화함으로써 등방성 표준 가우시안 분포에 대한 최적 결정론적 샘플 $\{\tilde{\xi}^{(i)}\}$을 오프라인에서 생성합니다.
• 온라인 변환: 런타임 시, 이러한 사전 계산된 샘플을 CEM 최적화기의 현재 제안 분포 $N(\hat{\xi}_j, C_j)$에 맞추기 위해 아핀 변환을 사용하여 변환합니다:
  $$\xi^{(i)} = \hat{\xi}_j + L_j \tilde{\xi}^{(i)}$$
  여기서 $L_j$는 공분산 행렬 $C_j$의 행렬 제곱근입니다.

다양성 및 적응 방식

조기 수렴을 방지하고 적절한 탐색을 보장하기 위해 저자들은 반복 및 시간 단계 전반에 걸쳐 다양한 샘플 집합을 생성하기 위한 모듈식 방식을 도입했습니다:

• 다양성 방식 (V1–V3):
  • V1 (무작위 회전): 각 반복에서 무작위 행렬로 샘플을 회전시켜 확률성을 도입합니다.
  • V2 (결정론적 결합 밀도): 모든 반복을 포괄하는 고차원 공간에서 샘플을 사전 계산하고, 이를 분할하여 각 단계마다 고유한 결정론적 집합을 제공합니다.
  • V3 (결합): MPC 시간 단계당 한 번 고차원 집합을 회전한 후, 결과 샘플을 모든 내부 CEM 반복에 대해 결정론적으로 사용합니다.
• 공분산 적응 (M1–M2):
  • M1 (고정 상관관계, 적응 분산): 색소음 파워 스펙트럼 밀도에서 유래된 고정된 시간 상관관계 구조를 유지하면서 주변 분산을 업데이트합니다.
  • M2 (적응 전체 공분산): 시간 상관관계를 적응시키기 위해 온라인에서 전체 공분산 행렬을 업데이트하며, 더 큰 엘리트 집합이 필요합니다.

이러한 방식은 기존 CEM 기반 제어기의 샘플링 단계를 대체하는 "드롭인 (drop-in)" 방식으로 설계되었습니다.

주요 기여

1. 새로운 프레임워크: LCD 를 통한 결정론적 샘플링을 CEM-MPC 루프에 통합하는 dsCEM 의 도입.
2. 모듈식 설계: 제안된 샘플링 방식은 학습 기반 웜스타트와 같은 다른 CEM 개선 사항과 직교하며, 이를 결합할 수 있습니다.
3. 부드러움과 효율성: 이 방법은 명시적인 부드러움 페널티나 추가 하이퍼파라미터 없이 매끄러운 제어 궤적 생성을 명시적으로 목표로 하면서 동시에 샘플 효율성을 향상시킵니다.

실험 결과

저자들은 두 가지 비선형 제어 벤치마크인 마운틴 카 (Mountain Car) 작업과 카트폴 스윙업 (Cart-Pole Swing-Up) 작업에서 dsCEM 을 최첨단 iCEM 방법과 비교 평가했습니다. 평가는 다양한 샘플 크기 ($N_{CEM}$은 20 에서 300 까지) 에 걸쳐 누적 비용과 제어 입력의 부드러움에 초점을 맞추었습니다.

• 성능: 두 작업 모두에서 dsCEM 변형은 특히 저샘플 영역에서 누적 비용 측면에서 iCEM 보다 일관되게 우수한 성능을 보였습니다. 큰 샘플 크기에서는 성능이 수렴했지만, dsCEM 은 $10^4$개의 샘플을 사용하는 iCEM 기준선과 비교할 수 있는 결과를 훨씬 적은 샘플로 달성했습니다.
• 부드러움: dsCEM 은 iCEM 보다 훨씬 더 매끄러운 제어 궤적을 생성했습니다. 특히, 완전히 결정론적인 변형 (dsCEM-Var V2) 은 가장 높은 부드러움을 달성하여 샘플 예산의 일부만으로도 광범위한 iCEM 기준선을 종종 능가했습니다.
• 수렴: 수렴 플롯 (고정 샘플 크기 50) 에서 dsCEM 변형은 iCEM 보다 낮은 단계 비용으로 더 빠르게 수렴하는 것을 보여주었습니다.
• 계산 오버헤드: 저자들은 무작위 샘플링에 비해 결정론적 샘플링 및 다양성 방식으로 인해 측정 가능한 런타임 오버헤드가 없다고 보고했으며, 병렬화를 통해 실행 시간을 추가로 단축할 수 있습니다.

중요성 및 주장

이 논문은 LCD 기반의 결정론적 샘플링으로 무작위 샘플링을 대체하는 것이 CEM-MPC 의 근본적인 비효율성을 해결한다고 주장합니다. 이 연구의 중요성은 다음과 같습니다:

• 샘플 효율성: 계산 자원이 제한된 실시간 응용 분야에서 중요한, 더 적은 샘플로 고성능 제어를 가능하게 합니다.
• 내재적 부드러움: 추가 페널티 항이 아닌 샘플링 과정의 구조를 통해 제어 입력의 부드러움을 자연스럽게 달성합니다.
• 실제 배포: 샘플 요구 사항의 감소는 CEM 알고리즘의 모든 단계 (샘플링, 엘리트 선택, 궤적 슈팅, 비용 평가) 에 걸쳐 계산 부하를 낮춥니다. 이는 병렬화 능력이 제한된 하드웨어에서 복잡한 모델과 더 긴 예측 지평선을 가진 시스템에 MPC 를 실현 가능하게 만듭니다.

저자들은 dsCEM 이 계산적으로 제약된 하드웨어에서의 실시간 제어를 위한 유망한 옵션이라고 결론지으며, 그 직교적인 특성으로 인해 향후 학습 기반 개선 사항과 결합될 수 있음을 시사합니다.