💻 computer science

TurboMPC: Fast, Scalable, and Differentiable Model Predictive Control on the GPU

이 논문은 복잡한 제약 조건을 지원하고 로보틱스 애플리케이션을 위한 효율적인 대규모 튜닝을 가능하게 하는 동시에, 기존 방식보다 상당한 속도 향상을 달성하기 위해 공동 설계된 JAX-CUDA 구현을 활용하는 완전 GPU 기반의 미분 가능한 모델 예측 제어 솔버인 TurboMPC를 소개한다.

원저자: Gabriel Bravo-Palacios, Jianghan Zhang, Zachary Pestrikov, Brian Plancher, Thomas Lew

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gabriel Bravo-Palacios, Jianghan Zhang, Zachary Pestrikov, Brian Plancher, Thomas Lew

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 레이스 카를 운전하고 있다고 상상해 보세요. 사고 없이 빠르게 달리려면, 자동차의 물리 법칙, 트랙의 곡선, 그리고 스티어링 휠을 즉각적으로 돌릴 수 없다는 사실까지 고려하여 완벽한 주행 경로를 즉시 계산해 줄 수 있는 부조종사가 필요합니다. 이 부조종사를 **모델 예측 제어(Model Predictive Control, MPC)**라고 부릅니다.

오랫동안 이 부조졸사는 표준 컴퓨터 칩(CPU) 위에서 살아왔습니다. 똑똑하고 신중했지만, 마치 퍼즐 조각을 하나씩 해결하는 한 사람처럼 작동했습니다. 현대 로보틱스에 필요한 방대한 데이터를 처리하거나, 수천 번의 연습 주행을 동시에 통해 '학습'하기에는 너무 느렸습니다.

TurboMPC는 GPU(고성end 비디오 게임이나 AI에 사용되는 것과 같은 유형의 칩)에서 완전히 구동되는 새로운 초강력 부조종사입니다. 논문은 이를 다음과 같은 쉬운 비유를 들어 설명합니다.

1. "GPU 공장" vs "CPU 작업실"

기존의 CPU 솔버를 한 명의 숙련된 장인이 있는 작업실이라고 생각해 보세요. 그들은 복잡하고 까다로운 퍼즐(예: 움직이기 힘든 딱딱한 부품을 가진 자동차)을 푸는 데 매우 능숙하지만, 한 번에 하나의 퍼즐만 해결할 수 있습니다.

TurboMPC는 수천 명의 노동자가 있는 거대한 공장 바닥과 같습니다. GPU에서 구동되기 때문에, 수백 또는 수천 개의 주행 퍼즐을 동시에 해결할 수 있습니다.

결과: 테스트 결과, TurboMPC는 기존 최고의 GPU 도구보다 최대 58배, 최고의 CPU 도구보다 15배 더 빨랐습니다.

2. 제약 조건의 "맥가이버 칼(Swiss Army Knife)"

대부분의 빠른 GPU 도구들은 플라스틱 장난감 자동차와 같습니다. 빠르긴 하지만, 평평하고 매끄러운 표면에서만 달릴 수 있습니다. 만약 턱(안전 제약 조건)이 생기거나 급커브(복잡한 규칙)가 나타나면, 이들은 고장 나거나 작동을 멈춥니다.

TurboMPC는 진짜 튼튼한 오프로드 차량과 같습니다. 다음과 같은 상황을 처리할 수 있습니다.

안전 벽: 경계 내에 머무는 법을 압니다 (예: 벽에 부딪히지 않기).
부드러움: 엔진을 망가뜨릴 수 있는 거친 움직임을 피하는 법을 압니다.
단단한 스프링: "단단한" 물리 법칙(예: 거의 움직이지 않는 서스펜션)을 마주해도 혼란에 빠지지 않습니다.
"슬랙(Slack)" 안전망: 만약 불가능한 상황(예: 갑자기 벽이 나타난 경우)이 발생하면, TurboMPC는 "슬랙 변수"를 가지고 있습니다. 이것은 자동차가 멈추는 대신 계속 앞으로 나아갈 수 있도록 규칙을 아주 약간 유연하게 적용하는 부드럽고 신축성 있는 고무줄이라고 생각하면 됩니다. 이는 학습에 있어 매우 중요한데, 시뮬레이션 중에 자동차가 충돌하면 학습이 중단되기 때문입니다.

3. "학습 루프" (미분 가능성)

논문은 TurboMPC가 **미분 가능하다(differentiable)**는 점을 강조합니다.

비유: 당신이 학생에게 운전을 가르치고 있다고 상상해 보세요. 만약 학생이 실수를 한다면, 다음에는 정확히 어떤 근육을 어떻게 다르게 움직여야 하는지 알려줘야 합니다.
문제점: 기존의 솔버들은 "블랙박스"와 같았습니다. 주행 계획을 넣으면 경로가 나왔지만, 그 경로를 개선하기 위해 왜 그런 경로가 선택되었는지 역으로 추적하기가 어려웠습니다.
해결책: TurboMPC는 투명한 유리 상자와 같습니다. 단순히 자동차를 운전할 뿐만 아니라, 다음번에 더 빠르게 달리기 위해 규칙(예: 얼마나 브레이크를 밟을지 또는 얼마나 급하게 꺾을지)을 어떻게 미세하게 조정해야 하는지 즉각적으로 계산할 수 있습니다. 덕분에 이는 강화 학습(Reinforcement Learning) 및 **모방 학습(Imitation Learning)**에 활용될 수 있습니다.

4. 실제 레이싱: 렉서스 LC500

저자들은 단순히 컴퓨터 속에서만 테스트한 것이 아니라, 실제 렉서스 LC500 레이스 카에 이 기술을 적용했습니다.

실험: 그들은 자동차의 주행 파라미터를 튜닝하기 위해 베이지안 최적화(Bayesian Optimization)(최적의 설정을 찾아내는 스마트한 방법)를 사용했습니다. TurboMPC가 매우 빠르기 때문에, GPU에서 수천 번의 가상 "연습 랩"을 병렬로 실행할 수 있었습니다.
결과: 자동 튜닝된 TurboMPC를 탑재한 자동차는 사람이 직접 튜닝한 드라이버보다 훨씬 더 빠르게 달렸습니다. 이 시스템은 정확히 언제 강하게 브레이크를 밟고 언제 가속해야 하는지 알고 있었으며, 차가 스핀아웃되지 않으면서도 물리적 한계에 최대한 가깝게 몰아붙였습니다.
긴 호흡(Long Horizon): 가장 인상적인 성과는 앞을 내다보는 계획 능력이었습니다. 기존 시스템은 통제력을 잃기 전까지 약 100단계 앞까지만 계획할 수 있었습니다. 반면 TurboMPC는 8,000단계 앞까지 성공적으로 계획했습니다.
- 비유: 고속도로를 운전한다고 상상해 보세요. 기존 시스템은 100피트 앞만 볼 수 있었습니다. TurboMPC는 수 마일 앞을 볼 수 있었고, 이를 통해 세 번의 커브 뒤에 올 곡선을 미리 감지하고 즉시 속도를 조절하기 시작했습니다.

요약

TurboMPC는 로보틱스의 "스마트한 계획" 기능을 느린 1인 작업실에서 고속 병렬 공장으로 옮겨놓은 새로운 도구입니다. 이 도구는 수천 개의 시뮬레이션을 동시에 통해 학습할 만큼 빠르고, 복잡한 실제 규칙을 다룰 만큼 유연하며, 인간이 튜닝한 것보다 더 빠르게 실제 레이스 카를 몰 수 있을 만큼 강력합니다.

저자들은 이 도구를 오픈 소스로 공개하여, 누구나 이 "공장"을 사용하여 자신만의 빠르고 학습하는 로봇을 만들 수 있도록 했습니다.

기술 요약: TurboMPC

문제 정의

로보틱스는 병렬 시뮬레이션, 대규모 학습 및 신경망 추론을 위해 GPU를 점점 더 많이 활용하고 있습니다. 그러나 로봇 제어의 핵심 요소인 모델 예측 제어(MPC)는 여전히 CPU 중심에 머물러 있습니다. 기존의 고성능 MPC 솔버들은 최적 제어 문제(OCP)의 시간적 희소성(temporal sparsity)을 활용하기 위해 순차적 리카티 재귀(sequential Riccati recursions)를 사용하지만, 이는 GPU에서 병렬화하기 어렵습니다. 반면, 기존의 GPU 기반 미분 가능 솔버들은 병렬성을 확보하기 위해 문제의 형식을 제한하며, 이 과정에서 암시적 적분기(stiff dynamics를 위한), 제어율 비용(actuator protection을 위한), 상태 부등식 제약 조건(safety를 위한), 슬랙 변수(feasibility를 위한)와 같은 필수적인 로보틱스 기능들을 희생합니다. 이로 인해 연구자들은 실제 배포에 필요한 표현력(expressiveness)과 현대적 학습 파이프라인에 필요한 확장성(scalability) 사이에서 하나를 선택해야 하는 트레이드오프에 직면하게 됩니다.

방법론

저자들은 전체 과정을 GPU에서 실행하면서도 표현력이 풍부한 문제 형식을 지원하도록 설계된 미분 가능한 MPC 솔버인 TurboMPC를 제시합니다. 이 솔버는 동역학, 등식 제약 조건, 그리고 (선택적 슬랙 변수를 포함한) 부등식 제약 조건을 따르며 비용 함수를 최소화하는 OCP를 해결합니다.

핵심 알고 알고리즘 설계

외부 루프 (SQP): TurboMPC는 순차적 이차 계획법(Sequential Quadratic Programming, SQP)을 사용하여 OCP를 해결합니다. 각 반복 단계에서 제약 조건을 선형화하고 비용을 이차 형식으로 만들어 볼록 이차 계획법(Convex QP)을 형성합니다.
내부 솔버 (ADMM): 생성된 QP는 커스텀 교대 방향 승수법(Alternating Direction Method of Multipliers, ADMM) 스킴을 사용하여 해결됩니다.
- OSQP에서 영감을 얻었으며, 분리 스킴(splitting scheme)을 활용하되 문제의 크기를 확장하지 않도록 슬랙 변수를 처리하는 특정 방식([48]에서 영감)을 도입했습니다.
- Primal 업데이트는 KKT 조건에서 유도된 선형 시스템을 해결하는 과정을 포함합니다.
- 솔버는 Primal 및 Dual 잔차(residual)의 균형을 맞추기 위해 과완화(over-relaxation) 전략과 적응형 스텝 사이즈 파라미터( $\sigma, \rho$ )를 사용합니다.
미분 가능성 (Implicit Differentiation): 학습 파이프라인을 지원하기 위해, 솔버는 수렴된 해에서 암시적 미분(implicit differentiation)을 통해 그래디언트를 계산합니다.
- 활성 집합(active-set) KKT 조건을 미분합니다.
- 전방 전달(forward-pass) 솔버들이 블록 삼중 대각 구조(예: PCG)에 의존하는 것과 달리, 역방향 전달(backward pass) 선형 시스템은 암시적 동역학이나 제어율 비용으로 인한 시간 간 교차 결합(cross-time couplings) 때문에 이러한 구조가 결여되는 경우가 많습니다.
- 따라서 TurboMPC는 모든 지원되는 기능을 아우르는 강건성과 미분 가능성을 보장하기 위해 전방 및 역방향 전달 모두에 단일 프리미티브로서 cuDSS(직접 희소 인수분해 라이브러리)를 사용합니다.

구현 및 코 디자인(Co-Design)

TurboMPC는 최적화 알고리즘, GPU 구현, 학습 인프라를 통합하는 코 디자인 접근 방식을 채택합니다.

JAX 프런트엔드: 외부 SQP 루프, 문제 선형화 및 배칭(batching)은 JAX에서 처리되어 자동 미분과 학습 파이프라인으로의 용이한 통합을 제공합니다.
Fused CUDA 백엔드: 전체 ADMM 내부 루프는 융합된(fused) CUDA 커널로 구현되었습니다. 이는 반복적 솔버에서 매우 중요한 커널 런치 오버헤드를 최소화합니다.
선형 대수: 솔버는 희소 직접 인수분해를 위해 cuDSS를 사용합니다. 이는 PCG와 같은 반복적 방법과 비교했을 때 상수 계수의 오버헤드를 발생시키지만, 명시적/암시적 동역학에 대한 범용성을 제공하고 배치된 인수분해를 지원합니다.
확장성: 이 아키텍처는 단일 인스턴스에 대한 저지연 온라인 배포와 대량의 배치를 처리하는 고처리량 오프라인 평가를 하나의 API로부터 모두 지원합니다.

주요 기여

풀 피처 GPU 솔버: TurboMPC는 상태/제어 부등식 제약, 암시적 적분기, 시간 간 교차 결합 비용, 그리고 슬랙 변수를 동시에 지원하는 최초의 미분 가능한 GPU 솔버입니다.
성능: SOTA(State-of-the-art) 베이스라인 대비 상당한 속도 향상을 달s합니다. 시뮬레이션에서 특정 배치 크기와 호라이즌(horizon)에 대해 CPU 기반 솔버(acados) 대비 최대 15배, 기존 GPU 미분 가능 솔버(mpc.pytorch) 대비 최대 58배 빠른 속도를 보여주었습니다.
실제 배포: 이 솔버는 최소 시간 레이싱을 위해 풀 스케일 Lexus LC500에 배포되었습니다.
- 자동 튜닝: GPU 배칭된 베이지안 최적화를 사용하여 MPC 파라미터를 자동으로 튜닝하였으며, 그 결과 수동으로 튜닝된 베이스라인보다 훨씬 빠른 랩 타임을 기록했습니다.
- 장기 호라이즌 플래닝: TurboMPC는 **8000 개 이상의 노트 포인트(knot points)**를 넘어서는 계획 호라이즌에서도 차량 제어를 성공적으로 유지하며, 온라인 제어를 위한 전례 없는 확장성을 입증했습니다.
학습 통합: 솔vers는 강화 학습(RL), 모방 학습(IL), 신경망 비용 함수 학습 작업에서 검증되었으며, 해석적 그래디언트를 사용하여 전문가의 가중치를 복구하고 정책을 성공적으로 훈련했습니다.

결과

시뮬레이션 벤치마크: 선형 시스템 RL 스케일링 테스트에서 TurboMPC는 배치 크기, 호라이즌, 문제 차원이 증가함에 따라 베이스라인을 압도했습니다. CPU 솔버(acados)는 단일 인스턴스 해결에는 더 빨랐으나, 배치 시나리오에서는 TurboMPC가 우위를 점했습니다.
휴머노이드 모방 학습: 솔버는 Unitree G1 휴머노이드의 균형 잡기 태스크를 위한 비용 가중치를 성공적으로 복구하였으며, 중앙값 가중치 복구 오차 0.59를 달성하고 MuJoCo에서 안정적인 폐루프 균형을 보여주었습니다.
자율 주행 레이싱:
- 속도: 자동 튜닝된 정책은 수동 튜닝된 베이스라인보다 평균 2.44 m/s 더 빠르게 주행했습니다.
- 확장성: 호라이즌 $N=1024$ 에서 OSQP 기반 베이스라인은 제어력을 상실했으나, TurboMPC는 제어를 유지했습니다. 또한 $N > 8000$ 까지 실패 없이 확장되었습니다.
- 처리량: GPU 가속 베이지안 최적화는 CPU 대비 약 7.1배 빠른 시간당 약 150회의 시도를 달성했습니다(CPU는 시간당 약 21회).

의의 및 주장

본 논문은 TurboMPC가 MPC의 구조적 의사결정과 현대적 학습 기반 로보틱스의 규모 사이의 간극을 메운다고 주장합니다. GPU에서 완전히 실행되고 복잡하고 현실적인 형식을 지원함으로써 다음과 같은 기능을 가능하게 합니다:

확장 가능한 학습: 대규모 배치 사이즈를 가진 RL, IL 및 베이지안 최적화 파이프라인으로의 MPC 통합.
표현력 있는 제어: 성능 저하 없이 stiff dynamics와 안전 제약 조건을 모델링할 수 있는 능력.
실시간 장기 호라이즌 플래닝: 고속 자율 주행에 필수적인 매우 긴 호라이즌(수천 개의 노드)에 대해 실시간으로 계획할 수 있는 능력.

저자들은 직접 희소 인수분해가 반복적 방법과 비교하여 발생하는 상수 계수의 오버헤드, 낮은 정밀도 GPU 활용을 제한하는 배정밀도(double precision) 의존성, 그리고 활성 집합 전환 시의 그래디언트 불연속성 가능성 등의 한계를 인정합니다. 이들은 향에 대한 작업으로 하이브리드 백엔드 및 혼합 정밀도 산술(mixed-precision arithmetic)을 제안합니다.

가용성: 솔버는 https://github.com/ToyotaResearchInstitute/turbompc에서 오픈 소스로 제공됩니다.