⚡ electrical engineering

Amortising Trajectory Optimisation for Residual MPC via Implicit Contact Differentiation

이 논문은 언롤링 자동 미분(unrolled automatic differentiation)에 비해 메모리 사용량을 획기적으로 줄이는 효율적인 암시적 함수 정리(Implicit Function Theorem) 기반의 미분 가능한 시뮬레이션 방법을 소개하며, 이를 옵티마이저 증류(optimiser distillation)와 결합하여 복잡한 로봇 작업에서 잔차 MPC(residual MPC)의 성공률을 크게 향상시킵니다.

원저자: Daniel Layeghi, Thomas Corbères, Calum Arnott, Aditya Kamireddypalli, Hashim Al-Obaidi, Steve Tonneau, Michael Mistry

게시일 2026-07-29

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Daniel Layeghi, Thomas Corbères, Calum Arnott, Aditya Kamireddypalli, Hashim Al-Obaidi, Steve Tonneau, Michael Mistry

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 걷기, 저글링, 또는 축구를 가르치려 한다고 상상해 보십시오. 이를 위해 로봇은 머릿속에서 미래를 시뮬레이션하며 어떤 움직임이 가장 효과적인지 수백만 번 시도해 볼 수 있는 '두뇌'가 필요합니다. 이것을 **궤적 최적화(trajectory optimisation)**라고 부릅니다. 까다로운 점은 **접촉(contact)**입니다. 로봇의 발이 지면에 닿거나, 공이 벽에 튀거나, 손이 컵을 잡을 때 물리 현상은 매우 복잡하고 예측 불가능해집니다. 이는 마치 젠가 블록 더미에서 블록 하나를 뺐을 때 어떻게 무너질지 예측하는 것과 같습니다. 힘의 아주 미세한 변화가 결과의 거대한 변화를 초래하기 때문입니다.

이러한 예측을 하기 위해 과학자들은 **미분 가능한 시뮬레이션(differentiable simulation)**을 사용합니다. 이것은 단순히 다음 프레임을 보여주는 것을 넘어, 컨트롤을 아주 조금만 조절했을 때 게임이 어떻게 변할지도 알려주는 강력한 비디오 게임 엔진이라고 생각하면 됩니다. 이 "조작 민감도(nudge sensitivity)" 덕분에 로봇은 자신의 실수를 즉각적으로 학습할 수 있습니다. 하지만 문제가 있습니다. 접촉이 빈번한 작업에서 이러한 계산을 수행하는 것은 비용이 엄청나게 많이 듭니다. 이는 마치 슬로 모션으로 영화를 촬영하는 것과 같은데, 카메라가 충돌 장면을 확대할 때마다 필름 릴이 점점 길어져서 장면을 다 마치기도 전에 하드 드라이브가 가득 차 버리는 상황과 같습니다. 이 논문은 이 메모리 문제를 해결하고, 로봇이 복잡한 접촉 기술을 훨씬 더 빠르고 안정적으로 학습할 수 있는 방법을 제시합니다.

문제점: 로봇 두뇌 속의 "메모리 괴물"

당신이 미로를 푸는 문제를 풀고 있다고 상상해 보십시오. 로봇에게 미로를 푸는 법을 가르치는 표준적인 방법은 로봇이 미로를 걷게 하고, 벽에 부딪히게 한 다음, 어디서 잘못되었는지 확인하기 위해 테이프를 되감는 것입니다. 로봇 물리 세계에서 이 "되감기"를 **언롤드 자동 미분(unrolled automatic differentiation)**이라고 부릅니다.

문제는 로봇이 벽(또는 바닥이나 다른 물체)에 부딪힐 때 발생합니다. 그 튕겨 나감을 계산하기 위해 컴퓨터는 정답이 완벽해질 때까지 단서를 계속 재확인하는 탐정처럼 복잡한 계산을 여러 번 수행해야 합니다. 만약 컴퓨터가 정답을 맞히기 위해 단서를 10번 확인해야 한다면, "되감기 테이프"는 10번의 모든 확인 과정을 기억해야 합니다. 만약 더 완벽한 답을 원해서 100번을 확인해야 한다면, 갑자기 메모리 테이프는 100배 더 길어집니다.

이는 끔찍한 트레이드오프(trade-off)를 만듭니다. 로봇을 정밀하게 만들고 싶다면(단서를 100번 확인), 컴퓨터의 메모리가 부족해지므로 한 번에 실행할 수 있는 로봇의 수가 줄어듭니다. 반대로 더 빠르게 학습하기 위해 수천 대의 로봇을 동시에 실행하고 싶다면, 확인 횟수를 줄여야 합니다(예: 5번만 확인). 이 경우 로봇은 부정확하고 허술한 답변으로부터 배우게 됩니다. 이는 마치 첫 5초의 영상만 보고 춤을 배우는 것과 같습니다. 동작은 익힐 수 있겠지만, 결정적인 회전 동작은 놓칠 수 있습니다.

해결책: "마법의 스냅샷"

MuJoCo 물리 시뮬레이터(로봇 연구에 널리 쓰이는 도구)를 활용한 이 논문의 저자들은 이 메모리 괴물을 우회하는 영리한 방법을 찾아냈습니다. 탐정이 수행한 100번의 확인 과정을 전부 되감는 대신, 그들은 **암시적 함수 정리(Implicit Function Theorem, IFT)**라는 수학적 기법을 사용했습니다.

이렇게 생각해 보십시오. 어떤 탐정이 미스터리를 해결했다고 가정해 봅시다. 탐정이 정답을 찾기 위해 작성한 100페이지 분량의 노트를 모두 보여주는 대신, 최종적으로 해결된 사건 파일과 "마법의 스냅샷" 하나만을 건네주는 것입니다. 이 스냅샷은 지저한 메모들을 볼 필요 없이, 아주 작은 세부 사항을 수정했을 때 해결책이 어떻게 변할지를 정확히 알려줍니다.

기술적인 용어로, 이 논문은 과정 자체를 미분하는 것이 아니라 정상성 잔차(stationarity residual)(수학적으로 우리가 완료되었다고 말하는 지점)를 미분하는 방법을 소개합니다.

기존 방식 (Unrolled AD): 솔버(solver)의 모든 단계를 저장합니다. 만약 1단계에서 10단계로 늘리면 메모리 사용량이 10.6배 급증합니다.
새로운 방식 (IFT): 거의 일정한 양의 메모리만을 저장합니다. 솔버의 노력을 1단계에서 10단계로 늘려도 메모리 사용량은 4% 미만으로 변합니다.

이것은 게임 체인저입니다. 이제 컴퓨터는 메모리 부족 걱정 없이 매우 정밀한 답(단서를 100번 확인)을 요구할 수 있습니다. 실제로 이 논문은 256개의 활성 접촉(예: 테이블을 만지는 데 손가락이 많은 로봇) 상황에서 테스트했을 때, 새로운 방식이 기존 방식보다 메모리를 20배 적게 사용함을 보여주었습니다. 16개의 접촉과 복잡한 로봇 모델을 사용했을 때는 6배 적은 메모리를 사용했습니다.

결과: 로봇에게 "지혜를 증류하는 법" 가르치기

이 메모리 효율적인 도구를 갖춘 저자들은 단순히 수학을 빠르게 만드는 데 그치지 않고, 이를 이용해 로봇을 더 잘 가르쳤습니다. 그들은 **최적화 증류(Optimiser Distillation)**라고 불리는 시스템을 만들었습니다.

복잡한 레시피를 완성하기 위해 수 시간을 들여 완벽한 요리를 만드는 마스터 셰프(선생님)를 상상해 보십시오. 이 셰프는 느리지만 매우 정확합니다. 그리고 빠르지만 가이드가 필요한 수석 셰프(학생 또는 정책/policy)가 있습니다.

선생님 (Teacher): 컴퓨터는 완벽한 움직임의 시퀀스를 찾기 위해 긴 호흡의 최적화(마스터 셰프가 전체 식사를 계획하는 것과 같음)를 수행합니다. 이때 새로운 메모리 절약 기술 덕분에 배치(batch) 단위 처리가 가능합니다.
학생 (Student): 로봇은 이러한 완벽한 시퀀스로부터 학습하여, 일반적인 계획을 알고 있는 "정책(policy, 일종의 본능)"을 만듭니다.
하이브리드 (Hybrid): 로봇이 실제로 작업을 수행할 때, 단순히 정책을 맹목적으로 따르기만 하는 것이 아닙니다. 로봇은 큰 그림(장기적 계획)을 위해 정책을 사용하면서도, 갑작스러운 충격이나 미끄러짐을 처리하기 위해 빠른 국소적 "잔차(residual)" 수정(단기적 최적화)을 추가합니다.

저자들은 세 가지 로봇을 통해 이를 테스트했습니다:

Finger: 팽이를 돌리는 작은 팔.
Franca: 상자를 미는 커다란 팔.
Unitete: 네 발로 달리는 개와 같은 로봇.

결과는 인상적이었습니다. 계획의 범위(얼마나 멀리 내다보는가)가 짧을 때(단 6단계), 표준 방식(iLQR)은 자주 실패했습니다. 하지만 새로운 "증류된" 정책이 로봇을 안내하자 성공률이 극적으로 높아졌습니다:

세 가지 작업 모두(Finger, Franka, Unitete)에서: 표준 iLQR에 비해 성공률이 28~98 퍼센트 포인트 상승했습니다.

상자를 미는 Franka 로봇의 경우, 근시안적인 표준 로봇은 거의 성공하지 못했지만, 새로운 하이브리드 로봇은 훨씬 짧은 "내다보기(lookahead)"만으로도 성공하며, 정책이 장기 전략을 제공하고 국소 최적화가 까다로운 접촉 순간을 처리한다는 것을 입증했습니다.

이것이 왜 중요한가

이 논문은 단순히 이론적인 아이디어를 제안하는 것이 아니라, 게임의 규칙을 바꾸는 작동 가능한 오픈 소스 도구를 제공합니다. 접촉에 대한 고정밀 미분 값을 막대한 메모리 비용 없이 얻을 수 있다는 것을 증명함으로써, 저자들은 로봇 학습의 주요 병목 현상을 제거했습니다. 그들은 "빠르지만 허술한 방식"과 "느리지만 정밀한 방식" 중 하나를 선택할 필요가 없음을 보여주었습니다. 둘 다 가질 수 있습니다.

저자들은 자신들의 새로운 방식이 표준 수치 방법(유한 차분법)과 일치하는 정확도를 보이면서도 훨씬 적은 자원을 사용한다는 것을 검증함으로써, 이 결과에 확신을 가지고 있습니다. 또한 코드를 공개하여 다른 이들이 메모리 루프에 빠지지 않고도 실제 세상의 복잡한 접촉 물리 법칙을 다룰 수 있는 더 빠르고 똑똑하며 정교한 로봇을 만들 수 있도록 초대하고 있습니다.

기술 요약: 잔차 MPC를 위한 암모티제이션 궤적 최적화 (Amortising Trajectory Optimisation for Residual MPC via Implicit Contact Differentiation)

문제 정의

미분 가능한 시뮬레이션은 태스크 결과에 대한 제어의 국소적 민감도를 노출하므로, 접촉이 풍부한(contact-rich) 궤적 최적화 및 학습에 필수적입니다. 그러나 이 파이프라인을 확장하는 데는 반복적인 접촉 솔버(contact solver)를 미분하는 데 드는 계산 비용이 걸림돌이 됩니다. 기존 방식들은 수렴도와 병렬성 사이에서 근본적인 트레이드오프에 직면해 있습니다:

유한 차분법 (Finite Differences, FD): 비용이 많이 들고 스텝 크기에 민감합니다.
언롤링 자동 미분 (Unrolled Automatic Differentiation, AD): 솔버의 전체 실행 흔적(trace)을 미분합니다. 정확하지만, 모든 솔버 반복마다 증가하는 계산 흔적을 저장해야 합니다. 접촉 해를 정밀하게 만들기 위해 반복 횟수를 늘리면(수렴도 향상), 메모리 소비가 급증하여 병렬로 처리할 수 있는 궤적의 수가 제한됩니다.
KKT 민감도 유도 (KKT Sensitivity Derivations): 복잡하고 솔버별로 특화된 수동 조립 유도가 필요합니다.

핵심 과제는 표준 역방향 AD가 수렴된 해(converged solution)가 아닌 실행된 솔버 흔적을 미분한다는 점입니다. 이는 계산 노력(정확도 향상)을 높일수록 배치 용량이 직접적으로 줄어드는 메모리 병목 현상을 초래하며, 효율적인 전체 호라이즌(full-horizon) 최적화를 방해합니다.

방법론

저자들은 **내재 함수 정리(Implicit Function Theorem, IFT)**를 사용하여 순방향 솔버와 역방향 미분을 분리하는 프레임워크를 제안합니다.

1. IFT를 통한 내재 미분 (Implicit Differentiation via IFT)

솔버의 반복 과정을 언롤링하는 대신, 이 방법은 정규화된 매끄러운 접촉 문제의 **정상 상태 잔차(stationarity residual)**를 수렴된 해에서 미분합니다.

정식화: MuJoCo(MJX)의 접촉 문제는 정규화된 볼록 최적화(convex optimisation)로 정식화됩니다. 해 $a^\star$ 는 시스템 파라미터 $\theta$ (상태, 제어, 마찰 등)에 대한 정상 상태 잔차 $F(a, \theta) = 0$ 의 근으로 정의됩니다.
유도: $F$ 에 IFT를 적용하면, 파라미터에 대한 해의 미분은 다음과 같이 유도됩니다:
$\frac{da^\star}{d\theta} = -F_a^{-1} F_\theta$
여기서 $F_a$ 는 가속도에 대한 잔차의 자코비안(Jacobian)입니다.
구현: 이 방법은 역방향 패스를 구현하기 위해 jax.lax.custom_root를 사용합니다. 이는 단 한 번의 전치 선형 솔브(transposed linear solve)와 하나의 벡터-자코비안 곱(vector-Jacobian product)만을 요구합니다. 결정적으로, 순방향 패스에서 사용된 $K$ 번의 솔버 반복 과정 중 중간 상태들을 저장하지 않습니다.
범위: 이 미분은 고정된 매끄러운 접촉 영역 내에서 국소적이며, 접촉 세트(contact-set)나 마찰 모드 전환에 따라 변할 수 있지만, 고정된 체제(regime) 내에서는 수렴된 해의 정확한 그래디언트를 제공합니다.

2. 잔차 MPC를 위한 옵티마이저 증류 (Optimiser Distillation for Residual MPC)

내재 미분의 확장성을 활용하기 위해, 저자들은 모델 예측 제어(MPC)를 위한 옵티마이저 증류(optimiser distillation) 파이프라인을 도입합니다.

교사 (Teacher): 배치 처리된 전체 호라이즌 iLQR(Iterative Linear Quadratic Regulator)이 내재 미분 가능한 MJX 역학을 사용하여 고품질의 접촉 풍부 궤적을 생성합니다.
학생 정책 (Student Policy): 신경망 정책이 전체 호라이즌 iLQR 교사의 행동을 모방하도록 학습됩니다.
배포 (하이브리드 컨트롤러): 실행 시에는 다음과 같은 잔차 MPC(Residual MPC) 방식을 사용합니다:
- 증류된 정책이 장기 호라이즌 명목 동작( $\bar{u}_t$ )을 제공합니다.
- 단기 호라이즌 잔차 iLQR이 미분 가능한 접촉 모델을 기반으로 국소 보정값( $r_t$ )과 피드백 이득(feedback gains)을 계산합니다.
- 최종 제어는 $u_t = \text{sg}[\pi_\theta(o_t)] + r_t$ 이며, 여기서 $\text{sg}$ 는 스톱 그래디언트(stop-gradient) 연산을 나타내어 배포 중 짧은 호라이즌 옵티마이저에 의해 정책이 업데이트되는 것을 방지합니다.

주요 기여

AD 지원 내재 역방향 패스 (AD-Assisted Implicit Backward Pass): 저자들은 MJX의 정규화된 접촉 솔브에 대한 정상 상태 잔차의 역방향 패스를 도입했습니다. 이 방식은 순방향 솔버를 변경하지 않고, 수동으로 조립된 KKT 시스템을 피하며, 언롤링 AD에서 요구되는 솔버 반복 의존적 메모리 저장을 제거합니다.
검증 및 확장성: 이 방법은 중앙 유한 차분법 및 언롤링 AD와 비교 검증되었습니다. 결과에 따르면 IFT는 높은 반복 횟수에서 언롤링 AD의 정확도와 일치하면서도 컴파일된 임시 메모리 측면에서 성능이 월등히 뛰어납니다.
- 메모리 확장성: IFT의 메모리는 솔버 반복 횟수가 증가해도 거의 일정하게 유지되는 반면(1회에서 10회 반복 시 <4% 변화), 언롤링 AD는 10.6배 증가합니다.
- 접촉/차원 확장성: 256개의 활성 접촉이 있고 96 자유도(DoF)를 가진 환경에서, IFT는 언롤링 AD에 비해 20배 적은 메모리를 사용하며, 16개 접촉 환경에서는 6배 적은 메모리를 사용합니다.
정책 가이드 잔차 MPC: 전체 호라이즌 최적화된 동작이 정책으로 증류되는 과정을 입증했습니다. 이 정책은 단기 호라이즌 잔차 iLQR을 가이드하여, 표준 단기 호라이즌 iLQR이 실패하는 복잡한 태스크에서도 성공적인 실행을 가능하게 합니다.

실험 결과

프레임워크는 Finger(스피너 회전), Franka(박스 밀기), Unitree(사족보행 로봇 가속)의 세 가지 접촉 풍부 태스크에서 평가되었습니다.

궤적 최적화: 배치 처리된 전체 호라이즌 최적화에서, 내재 미분을 사용하는 iLQR은 모든 태스크에 대해 1차 방법(Adam)보다 낮은 평균 실행 비용(mean running cost)과 더 좁은 백분위 범위(percentile ranges)를 달성했습니다.
증류 성능:
- 하이브리드 컨트롤러(정책 + 단기 호라이즌 잔차 iLकर)는 표준 단기 호라이즌 iLQR보다 성능이 현저히 우수했습니다.
- 6-스텝 계획 호라이즌에서, 하이브리드 접근 방식은 세 가지 태스크 모두에서 표준 iLQR 대비 성공률을 28~98 퍼센트 포인트 개선했습니다.
- Franka: 표준 단기 호라이즌 iLQR은 성공률이 거의 0에 가까웠으나, 하이브리드 컨트롤러는 훨씬 짧은 룩어헤드(lookahead)로도 성공했습니다. 정책이 장기 호라이즌 밀기 전략을 제공하고, iLCR이 국소 접촉 보정을 담당했습니다.
- Finger & Unitree: 정책 덕분에 시스템은 순수 iLQR보다 짧은 룩어헤드로 성공할 수 있었습니다. 일부 구간(예: Finger)에서는 정책 단독 컨트롤러가 매우 짧은 잔차 호라이즌을 가진 경우보다 성능이 좋았는데, 이는 잔차 옵티마이저가 이미 올바른 정책을 섭동(perturb)할 수 있기 때문입니다.

의의 및 주장

본 논문은 잔차 기반 내재 미분이 MJX 접촉 미분의 허용 오차 수렴(tolerance-converged)을 가속기 규모에서 실용적으로 만든다고 주장합니다. 솔버 반복과 관련된 메모리 병목 현상을 제거함으로써, 이 방법은 다음을 가능하게 합니다:

더 정밀한 수렴: 배치 병렬성을 희생하지 않고도 더 높은 정밀도로 솔버를 실행할 수 있습니다.
전체 호라이즌 감독 (Full-Horizon Supervision): 메모리 제약으로 인해 이전에는 불가능했던 배치 처리된 전체 호라이즌 iLQR을 온라인 교사(online teacher)로 실행할 수 있습니다.
효과적인 암모티제이션 (Effective Amortisation): 결과적으로 생성된 하이브리드 컨트롤러는 초기 조건 및 목표에 대해 고비용의 태스크 특화 계산을 효과적으로 암모티제이션하여, 짧은 계획 호라이즌에서도 훨씬 높은 성공률을 달성합니다.

저자들은 구현체를 오픈 소스로 공개하여, 솔버별 분석적 유도 없이도 미분 가능한 접촉 시뮬레이션을 위한 모듈형 패턴을 제공합니다.