L4acados: Learning-based models for acados, applied to Gaussian process-based predictive control

1. 문제 정의 (Problem Statement)

• 배경: 물리 기반 예측 모델에 신경망 (NN) 이나 가우시안 프로세스 (GP) 와 같은 학습 기반 모델을 결합하면 (Gray-box 모델링), 모델링 노력은 줄이면서도 예측 정확도와 제어 성능을 크게 향상시킬 수 있습니다. 특히 모델 예측 제어 (MPC) 에서 이러한 학습 기반 잔차 모델을 활용하는 것은 자율 주행, 드론 제어 등 다양한 분야에서 유망합니다.
• 도전 과제: 학습 기반 모델을 MPC 솔버에 통합하는 것은 기계 학습 프레임워크 (PyTorch, GPyTorch 등) 와 실시간 최적 제어 소프트웨어 (acados 등) 간의 인터페이스 문제 때문에 복잡합니다.
  • 기존 방법들은 CasADi 내에서 학습 모델을 직접 재구현하거나, ONNX 표준을 따르는 모델만 지원하거나, 국소적으로 상수 파라미터로 근사하는 등 한계가 있었습니다.
  • 특히 가우시안 프로세스 기반 MPC (GP-MPC) 의 경우, 불확실성 (covariance) 을 고려한 최적화 문제의 복잡성과 실시간 계산 부하로 인해 실제 하드웨어 적용이 어렵습니다.
• 핵심 문제: 학습 기반 모델의 민감도 (sensitivities, 즉 기울기 및 2 차 도함수) 를 실시간 최적 제어 솔버 (SQP 기반) 에 효율적으로 연결하고, 병렬 처리를 통해 계산 속도를 높이는 방법론의 부재.

2. 방법론 (Methodology)

저자들은 L4acados라는 새로운 프레임워크를 제안하여 이 문제를 해결합니다.

A. L4acados 프레임워크의 핵심 원리

• 외부 민감도 통합 (External Sensitivities): SQP (Sequential Quadratic Programming) 솔버의 각 반복 단계에서, 비선형 프로그래밍 (NLP) 문제를 모델 파라미터를 조정하는 방식으로 재구성합니다.
  • 원래의 비선형 동역학 $x_{k+1} = f(x_k, u_k) + B_d g(x_k, u_k)$ 대신, 현재 반복점에서의 선형화된 동역학 (Affine dynamics) 을 모델 파라미터 ($\hat{A}_k, \hat{B}_k, \hat{c}_k$) 로 간주합니다.
  • Python 기반의 사용자 정의 모듈 (ResidualModel) 을 통해 학습된 모델 $g$와 그 기울기 ($\partial g/\partial x, \partial g/\partial u$) 를 계산하여, acados 솔버에 외부에서 주입합니다.
• 병렬 처리 (Parallelization): 예측 구간 (Prediction Horizon) 전체에 대한 민감도 계산을 배치 (Batch) 단위로 수행하여 병렬화합니다. 이는 GPU 나 다중 CPU 코어에서 계산 효율을 극대화합니다.
• 실시간 반복 (Real-Time Iteration, RTI) 지원: 민감도 계산 (준비 단계) 과 QP 해결 (피드백 단계) 을 분리하여 지연 시간을 최소화합니다.

B. 가우시안 프로세스 기반 MPC (GP-MPC) 구현

L4acados 를 활용하여 효율적인 GP-MPC 를 구현했습니다.

• Zero-Order Robust Optimization (zoRO) 알고리즘: 상태 공분산 (covariance) 을 최적화 문제 내부에 직접 포함하면 계산 비용이 기하급수적으로 증가하는 문제를 해결하기 위해, zoRO 알고리즘을 적용했습니다.
  • 이전 반복의 해를 기반으로 공분산을 전파하고, 제약 조건을 고정 (tightening) 하여 최적화 문제를 축소합니다.
  • 이는 최적해는 아니지만 실행 가능한 (feasible) 해를 매우 낮은 계산 비용으로 제공합니다.
• 모듈러 설계: GPyTorch 기반의 GP 모델, 데이터 처리 전략 (온라인 학습), 그리고 zoRO 알고리즘을 acados 와 유연하게 연결합니다.

3. 주요 기여 (Key Contributions)

1. L4acados 프레임워크 개발: Python 기반의 학습 모델 (PyTorch, GPyTorch 등) 을 acados 에 통합할 수 있는 일반적이고 효율적인 인터페이스를 제공합니다. CasADi 재구현 없이 기존 머신러닝 모델을 그대로 사용할 수 있습니다.
2. 성능 벤치마크: 신경망 기반 MPC 예제를 통해 L4acados 가 기존 도구 (L4CasADi, CasADi) 대비 뛰어난 계산 속도와 확장성 (Scaling) 을 보임을 입증했습니다. 특히 긴 예측 구간과 복잡한 모델에서 병렬 처리의 이점이 두드러집니다.
3. 효율적인 GP-MPC 구현 및 하드웨어 검증:
   • zoGPMPC (Zero-order GP-MPC) 알고리즘을 모듈러하게 구현했습니다.
   • 미니레이싱 (Miniature Racing): 1:24 스케일 레이싱 카를 사용하여 시뮬레이션 및 하드웨어 실험을 수행했습니다. 불확실성을 고려한 학습 기반 제어가 보수적인 주행에서 공격적이고 빠른 주행으로 전환됨을 보여주었습니다.
   • 전체 크기 자율 주행 (Full-scale Autonomous Driving): 실제 자율 주행 차량을 사용하여 ISO 표준 레인 체인지 (ISO lane change) 기동 실험을 수행했습니다. 물리 모델만 사용한 MPC 보다 GP 보정이 포함된 제어가 더 안정적이고 편안하며 정확한 경로 추적을 달성함을 증명했습니다.

4. 실험 결과 (Results)

• 계산 속도 (Benchmark): 신경망 모델의 깊이 (depth) 와 너비 (width) 가 증가할수록, 그리고 예측 구간 (N) 이 길어질수록 L4acados 는 L4CasADi 및 CasADi 대비 **현저한 속도 향상 (Speedup)**을 보였습니다. 특히 GPU 병렬 처리 환경에서 그 이점이 컸습니다.
• 미니레이싱 실험:
  • 학습 데이터 (D=400) 를 활용한 GP-MPC 는 데이터가 없는 경우 (D=0) 에 비해 트랙 중앙선에서 더 멀리 벗어나고 더 높은 속도로 주행하며, 코너링을 더 공격적으로 수행했습니다.
  • 모든 실험에서 트랙 제약 조건을 위반하지 않으면서 (안전성 유지), 주행 성능 (랩 타임) 이 크게 개선되었습니다.
  • 실시간 요구사항 (30Hz, 33ms) 을 만족하며 작동했습니다.
• 전체 크기 차량 실험:
  • 30 km/h 속도로 수행된 레인 체인지 기동에서, GP 보정이 포함된 zoGPMPC 는 액추에이터 부하를 줄이고 승차감을 개선하며 안정적인 경로 추적을 가능하게 했습니다.
  • 평균 계산 시간은 약 3.1ms (Nominal) 에서 8.2ms (zoGPMPC) 로, 20ms 제어 주기 내에 충분히 실시간으로 실행 가능했습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 기술적 의의: 머신러닝 모델과 실시간 최적 제어 소프트웨어 간의 간극을 메우는 실용적인 솔루션을 제시했습니다. 특히 CasADi 의 자동 미분 엔진에 의존하지 않고 외부 Python 모듈을 직접 연결함으로써, 최신 머신러닝 라이브러리의 유연성과 acados 의 고성능 솔버를 동시에 활용할 수 있게 했습니다.
• 실용적 가치: 학습 기반 MPC 를 이론적 시뮬레이션 단계를 넘어, 실제 하드웨어 (미니레이싱 카, 전동 차량) 에서 실시간으로 안정적으로 작동하게 하는 데 성공했습니다.
• 미래 전망: 이 프레임워크는 제약 조건 (constraints) 이나 비용 함수 (cost function) 에 학습 기반 모델을 적용하는 등 향후 연구의 범위를 확장할 수 있는 기반을 마련했습니다.

요약하자면, 이 논문은 L4acados를 통해 학습 기반 모델의 유연성과 실시간 제어의 효율성을 결합하여, 불확실성이 있는 환경에서도 고성능을 발휘하는 실시간 학습 기반 MPC의 실현 가능성을 입증한 중요한 연구입니다.