Robust and Efficient MuJoCo-based Model Predictive Control via Web of Affine Spaces Derivatives

이 논문은 MuJoCo MPC의 유한 차분 백엔드를 대체하여 미분 기반 제어 계획을 크게 가속화하고 안정화함으로써 다양한 로봇 작업에 걸쳐 기존의 확률적 방법들을 능가하고 최대 2배의 속도 향상을 달성하는, Web of Affine Spaces (WASP) 도함수를 활용한 드롭인 교체 방식을 소개한다.

핵심

당신이 로봇 개에게 걷기, 계단 오르기, 또는 한 발로 중심 잡기를 가르치려 한다고 상상해 보세요. 이를 위해 로봇은 **모델 예측 제어(Model Predictive Control, MPC)**라는 "두뇌"를 사용합니다. 이 두뇌는 일종의 초고속 시뮬레이터로서 끊임없이 스스로에게 질문을 던집니다: "내가 다리를 이렇게 움직이면 다음에 어떤 일이 벌어질까? 저렇게 움직이면 어떻게 될까?" 이 두뇌는 지금 당장 해야 할 최선의 움직임을 결정하기 위해 매초 수천 번의 정신적 시뮬레이션을 수행합니다.

Chen Liang와 Daniel Rakita의 논문은 현재 이 "두뇌"가 가진 주요 문제점을 다룹니다. 그것은 바로 물리 법칙을 계산하는 속도가 너무 느리다는 점입니다.

기존 방식: "추측하고 확인하기" (Guess-and-Check) 방법

현재 로봇은 자신의 움직임이 위치를 어떻게 변화시키는지 이해하기 위해 **유한 차분법(Finite Differencing, FD)**이라는 방법을 사용합니다. 자동차의 조향이 얼마나 민감한지 알아내려는 상황을 상상해 보세요.

• 핸들을 아주 조금 왼쪽으로 돌려보고, 차가 어디로 가는지 확인합니다.
• 그다음 핸들을 아주 조금 오른쪽으로 돌려보고, 어디로 가는지 확인합니다.
• 그러고 나서 가속 페달도 밟아보고, 브레이크도 밟아보고, 에어컨도 작동시켜 봅니다...

만약 당신의 로봇이 (복잡한 인간이나 개처럼) 50개의 관절을 가지고 있다면, 컴퓨터는 이 "돌려보고 확인하는" 과정을 모든 관절 하나하나에 대해 반복해서 수행해야 합니다. 이는 마치 새로운 언어를 배울 때 단어 하나하나를 한 글자씩 외우며 배우는 것과 같습니다. 로봇이 더 복잡해질수록(관절이 많아질수록), 이 방식은 매우 느려져서 로봇이 버벅거리거나 멈추게 만듭니다.

새로운 방식: "아핀 공간의 웹" (Web of Affine Spaces, WASP)

저자들은 WASP(Web of Affine Spaces)라는 새로운 방법을 소개합니다. WASP는 처음부터 다시 시작하는 대신, 지난 몇 가지 단서를 기억하는 똑똑한 탐정과 같습니다.

다음은 비유입니다:

• 기존 방식 (FD): 발을 내디딜 때마다 발 밑의 지면 경사가 정확히 어떤지 측정하고, 그다음 발, 그다음 발을 측정합니다. 마치 이전에 걸어본 적이 전혀 없는 사람처럼 말이죠.
• 새로운 방식 (WASP): 당신은 왼쪽 발 밑의 지면이 오른쪽 발 밑의 지면과 매우 유사하며, 방금 밟은 지면이 지금 밟으려는 지면과도 비슷하다는 사실을 깨닫습니다. 그래서 다음 발걸음의 경사를 예측하기 위해 이전 단계의 정보를 활용합니다. 당신은 오직 다르게 보이는 몇몇 지점들만 골라서 다시 확인합니다.

WASP는 과거의 계산과 현재의 계산 사이에 연결 고리인 "웹"을 구축합니다. 로봇의 움직임은 보통 부드럽고 연속적이기 때문에(순간이동을 하지 않으므로), 한 순간의 수학적 데이터는 다음 순간의 데이터와 매우 유사합니다. WASP는 이 오래된 수학적 데이터를 재사용하여 시간을 절약하며, 반드시 필요한 경우에만 집중적인 계산을 수행합니다.

연구 결과

연구진은 이 새로운 "똑똑한 탐정" 방법을 드론(Quadrotor), 헤엄치는 뱀 로봇, 네 발 달린 개(서기, 등반, 걷기, 질주 등), 이족 보행 로봇(중심 잡기), 그리고 대형 휴머노이드 로봇(걷기) 등 다양한 로봇 작업에 테스트했습니다.

결과:

1. 속도: 많은 경우에서 WASP는 기존 방식보다 로봇의 "두뇌"를 2배 더 빠르게 생각하게 만들었습니다. 물리 법칙을 계산하는 데 필요한 시간을 절반으로 줄였습니다.
2. 성능: 로봇은 단순히 빨라지기만 한 것이 아니라, 종종 작업 수행 능력이 더 좋아졌습니다. 저자들은 WASP가 "완벽하고 날카로운" 계산 대신 "근사치"(똑똑한 추측)를 사용하기 때문에, 로봇이 나쁜 상태(local minima)에 빠지는 것을 피하는 데 도움이 된다고 제안합니다. 이는 라디오 신호에 약간의 "노이즈"가 섞여 있을 때 오히려 주파수를 더 잘 잡게 되는 것과 비슷합니다.
3. 신뢰성: 접촉이 많은 어려운 작업(예: 벽을 타고 오르는 개)에서 기존의 "추측하고 확인하기" 방식이나 다른 무작위 샘플링 방식은 자주 실패하거나 넘어졌습니다. 하지만 WASP 방식은 로봇을 안정적이고 성공적으로 유지시켰습니다.

핵심 요약

저자들은 단순히 새로운 이론을 발명한 것이 아니라, **드롭인 교체 방식(drop-in replacement)**을 만들었습니다. 즉, 인기 있는 MuJoCo 로봇 시뮬레이터를 사용하는 사람이라면 누구나 나머지 코드를 변경할 필요 없이, 느린 "추측하고 확인하기" 수학을 빠른 "똑똑한 탐정" 수학으로 교체할 수 있습니다.

그들은 이 새로운 도구를 오픈 소스 소프트웨어로 공개하여, 다른 연구자들이 자신의 로봇을 더 빠르고, 안정적이며, 효율적으로 만들기 위해 즉시 사용할 수 있도록 했습니다. 논문은 복잡한 실시간 로봇 제어를 위해서는 이 "기억 기반" 수학을 사용하는 것이 전통적인 방식보다 훨씬 큰 업그레이드라고 결론짓습니다.

기술 요약

기술 요약: Web of Affine Spaces 미분을 통한 견고하고 효율적인 MuJoCo 기반 모델 예측 제어

문제 정의
MuJoCo는 로보틱스 분야에서 널리 채택되는 물리 시뮬레이터로, 반복적인 롤아웃(rollout)을 통해 미래의 행동을 최적화하는 모델 예측 제어(MPC) 프레임워크 내에서 자주 활용됩니다. 오픈 소스 라이브러리인 MuJoCo MPC (MJPC)는 이를 용이하게 하기 위해 준비된 알고리즘들을 제공합니다. 그러나 현재 MJPC는 그래디언트 기반 플래너(예: iLQG)에 필요한 미분값을 계산하기 위해 유한 차분법(Finite Differencing, FD)에만 전적으로 의존하고 있습니다. FD는 모든 입력 차원을 독립적으로 섭동(perturbation)시켜 미분값을 추정하며, 이로 인해 계산 비용이 상태 및 행동 공간의 차원에 따라 선형적으로 증가합니다. 고차 자유도(DOF) 시스템이나 복잡한 접촉 역학이 포함된 장면에서는 하나의 미분 평가당 수백 또는 수천 번의 시뮬레이터 호출이 발생하여 실시간 성능을 저해하는 병목 현상을 초래합니다. 자동 미분(Automatic Differentiation, AD)이 대안이 될 수 있으나, 짧은 호라이즌(horizon) 동안의 비선형 역학이 갖는 급격하고 조건이 불량한 민감도 때문에 MPC에서의 정확한 미분값은 수치적 불안정성을 겪는 경우가 많습니다.

방법론
본 논문은 FD의 드롭인 대체제(drop-in replacement)로서 Web of Affine Spaces (WASP) 미분을 MJPC에 통합하는 방법을 소개합니다. WASP는 이전의 관련 평가로부터 얻은 정보를 재사용하여 근사 미분값의 시퀀스를 계산하는 코히런스(coherence) 기반 접근 방식입니다.

• 핵리 메커니즘: WASP는 미분을 처음부터 계산하는 대신, 미분 추정을 제약된 최소제곱 문제(constrained least-squares problem)로 정식화합니다. 이는 새로 계산된 단일 Jacobian-vector product (JVP) 내에 존재하는 근사 Jacobian을 찾으면서, 동시에 캐싱된 이전 반복 회차의 정보와 일치하도록 합니다.
• 통합: 저자들은 기존 FD 구현과 함께 MuJoCo 소스 코드(C 언어)에 직접 WASP를 구현했습니다. MJPC 파이프라인 내에서 각 계획 호라이즌의 타임 스텝마다 WASP 인스턴스가 생성됩니다. 이 인스턴스들은 탄젠트 행렬(tangent matrices)과 점진적으로 업데이트되는 근사 JVP 행렬($\hat{\Delta}F$)을 유지합니다.
• 파라미터화: 정확도와 효율성의 균형을 맞추기 위해, 구현체는 두 가지 조절 가능한 파라미터를 노출합니다: frac(최대 JVP 대비 최소 JVP의 비율을 제어) 및 tol(실제 JVP의 각도와 노름을 일치시키는 임계값을 제어). 사용자는 이를 MJPC GUI를 통해 조정할 수 있으며, 이를 통해 전체 FD(최대 정확도/비용)와 매우 근사적인 미분(최소 비용) 사이의 연속적인 선택이 가능합니다.

주요 기여

1. WASP의 최초 역학 기반 MPC 적용: WASP는 이전에 운동학(kinematics) 기반 함수에 대해 평가되었으나, 본 연구는 이를 전체 물리 시뮬레이션 내의 MPC로 확장하여 접촉 역학 및 비선형성 문제를 해결했습니다.
2. 오픈 소스 구현: 저자들은 WASP 미분이 통합된 완전한 오픈 소스 버전의 MJPC를 공개하여, 커뮤니티가 시뮬레이터의 핵심 소스 코드를 수정하지 않고도 이 드롭인 대체제를 실험할 수 있도록 했습니다.
3. 포괄적 평가: 본 연구는 다양한 복잡도와 접촉 패턴을 가진 10가지 보행(locomotion) 작업(사족 보행, 이족 보행, 휴머노이드, 항공 로봇 포함)에 대해 WASP를 평가했습니다.

결과
본 평가는 WASP 기반 MPC를 FD 기반 MPC 및 확률적 샘플링 기반 플래너(예: Predictive Sampling, Cross-Entropy Method)와 비교합니다.

• FD 대비 속도 향상: iLQG와 같은 미분 기반 플래너와 함께 사용할 때, WASP는 모든 작업에서 FD 대비 모델 미분 계산 시간에서 1.26배에서 2.08배의 속도 향상을 달-성했습니다. 전체 계획 시간 측면에서도 WASP 기반 iLQG는 FD 기반 iLQG보다 일관되게 빨랐습니다.
• 샘플링 대비 성능: 접촉이 빈번한 작업(예: 사족 보행 로봇의 등반, 이족 보행 로봇의 균형 잡기)에서 WASP 기반 iLQG는 확률적 샘플링 기반 플래너보다 성능이 크게 우수했습니다. 샘플링 방식은 종종 작업 완수에 실패(관절 한계 위반 또는 낙하로 표시됨)한 반면, WASP 기반 iLQG는 성공적인 작업 수행을 유지하면서 샘플링 플래너 대비 최대 4.0배의 속도 향상을 달성했습니다.
• 작업 성능: 몇몇 사례(예: 쿼드로터, 스위머)에서 WASP 기반 제어는 FD보다 약간 더 나은 작업 성능(더 낮은 비용)을 보였습니다. 저자들은 가벼운 근사 오차가 그래디언트를 부드럽게 만들어 로컬 미니마(local minima) 탈출을 돕는 정규화 역할을 했을 수 있다고 추측합니다.
• 견고성: 민감도 분석 결과, WASP는 파라미터 변화에 견고한 것으로 나타났으나, 안정성 유지를 위해서는 제어 정확도(fracu)보다 상태 전이 정확도(fracx)가 더 결정적인 것으로 밝혀졌습니다.

의의 및 주장
본 논문은 WASP 미분이 반복 제어 환경에서 효율성과 견고성 사이의 매력적인 균형을 제공한다고 주장합니다. FD를 WASP로 교체함으로써, MJPC는 특히 FD가 과도하게 비싼 고차 자유도 시스템에서 실시간 로보틱스에 필요한 빠른 업데이트 속도를 유지할 수 있습니다. 본 연구는 코히런스 기반의 근사 미분이 계산적으로 우수할 뿐만 아니라, 복잡하고 접촉이 많은 환경에서 제어 신뢰성을 높일 수 있음을 입증합니다. 저자들은 이를 실시간 MPC 스택에서 구조화된 근사 미분 도입의 장벽을 낮추는, 유한 차분법에 대한 실질적인 대안을 확장하는 단계로 규정합니다.

한계점
저자들은 모든 실험이 주로 보행 벤치마크를 대상으로 시뮬레이션 내에서 수행되었으며, 시뮬레이션-실제 간 전이(sim-to-real transfer) 문제는 여전히 미해결 과제로 남아 있다고 언급했습니다. 또한, FD와 WASP 기반 플래너 모두 접촉이 풍부한 조작(manipulation) 작업에서 어려움을 겪었는데, 이는 미분 근사 방법의 문제가 아니라 짧은 호라이즌의 그래디언트 기반 MPC 구조 자체의 한계임을 시사합니다. 마지막으로, 현재의 정확도 파라미터는 수동 튜닝이 필요하지만, 저자들은 향ama 적응형 선택 체계를 탐구하는 후속 연구를 제안했습니다.