Sumo: Dynamic and Generalizable Whole-Body Loco-Manipulation

1. 문제 정의 (Problem Statement)

이 논문은 보행 로봇 (사족보행 및 인형 로봇) 이 이동 (Locomotion) 중에 크고 무거운 물체를 조작하는 로코 - 매니퓰레이션 (Loco-manipulation) 문제를 다룹니다. 기존 연구들은 주로 다음과 같은 한계를 가졌습니다:

• 정적/준정적 환경 제한: 대부분의 연구는 테이블 위와 같은 정적 환경이나 인간 시연 (Teleoperation) 에 의존하여 학습되었으며, 동적인 상호작용을 충분히 활용하지 못했습니다.
• 강화학습 (RL) 의 한계: RL 은 복잡한 지형 보행에는 탁월하지만, 새로운 물체나 작업에 적용하려면 보상 함수 (Reward) 설계와 재학습이 필요하여 일반화 (Generalization) 가 어렵고 계산 비용이 큽니다.
• 샘플 기반 MPC 의 한계: 모델 예측 제어 (MPC) 는 훈련이 필요 없으나, 고차원 (High-DOF) 로봇이나 동적으로 불안정한 시스템에서는 최적 해를 찾기 어렵고 수렴 문제가 발생합니다.

특히 로봇의 체중이나 들어 올릴 수 있는 하중보다 크고 무거운 물체 (예: 타이어, 장벽) 를 다룰 때, 로봇 전체의 몸을 동적으로 조율하여 접촉을 유지하며 물체를 움직이는 것은 매우 어려운 과제입니다.

2. 방법론 (Methodology: Sumo Framework)

저자들은 Sumo라는 계층적 (Hierarchical) 프레임워크를 제안합니다. 이는 사전 학습된 전체 신체 제어 정책 (Whole-Body Control Policy) 과 실시간 샘플 기반 MPC 를 결합한 구조입니다.

A. 계층적 구조 (Hierarchical Architecture)

• 하위 레벨 (Low-Level): 사전 학습된 전체 신체 제어 정책 (WBC Policy)

  • 강화학습 (RL) 을 통해 학습된 정책 (Spot 로봇의 경우 Relic, G1 로봇의 경우 MJLab 정책) 을 사용합니다.
  • 이 정책은 로봇의 전체 관절을 제어하여 보행과 기본적인 자세 유지 (Stabilization) 를 담당합니다.
  • 입력: 상체 (Torso), 팔 (Arm), 다리의 명령어.
  • 출력: 로봇의 관절 토크/위치 명령 (50Hz).
  • 역할: 복잡한 동역학을 안정화시키고, 유효한 행동 공간 (Action Space) 을 축소합니다.

• 상위 레벨 (High-Level): 실시간 샘플 기반 MPC

  • MPPI 또는 CEM(Cross-Entropy Method) 과 같은 샘플 기반 최적화 알고리즘을 사용합니다.
  • 입력: 현재 상태 추정치 및 작업별 비용 함수 (Cost Function).
  • 출력: 하위 레벨 정책으로 전달할 상체 및 팔의 명령어 (20Hz).
  • 역할: 새로운 물체나 작업 목표에 맞춰 실시간으로 계획을 수립하고 하위 정책을 유도 (Steer) 합니다.

B. 핵심 기술적 혁신

1. 정책 내 루프 시뮬레이션 (Policy-in-the-Loop Rollouts):
   • 기존 MPC 는 로봇의 모든 관절을 직접 제어하는 고차원 공간에서 샘플링하여 계산 비용이 높았습니다.
   • Sumo 는 하위 레벨 WBC 정책의 입력 공간 (상체 속도, 팔 각도 등) 에서만 샘플링합니다. 이는 차원의 저주를 완화하고, 하위 정책이 동역학을 안정화하므로 단일 샷 (Single-shooting) 방식의 발산 문제를 해결합니다.
2. 테스트 시간 적응 (Test-Time Adaptation):
   • 새로운 물체나 작업이 등장할 때, 정책 자체를 재학습하지 않고 **물체 모델 (Object Model)**이나 **비용 함수 (Cost Function)**만 변경하여 즉각적으로 대응합니다.
   • 예: 물체를 '옮기기 (Move)'에서 '세우기 (Upright)'로 변경할 때 비용 함수의 목적 함수만 수정하면 됩니다.

3. 주요 기여 (Key Contributions)

1. 계층적 프레임워크 제안: 사전 학습된 RL 기반 WBC 정책과 실시간 샘플 기반 MPC 를 결합하여 동적인 로코 - 매니퓰레이션을 가능하게 함.
2. 구조적 단순화 및 효율성: 종단간 (End-to-End) MPC 나 RL 대비 검색 공간 축소 및 작업 정의 복잡성 감소를 입증.
3. 재학습 없는 일반화 (Zero-Shot Generalization): 새로운 물체나 작업 목표에 대해 재학습 없이 비용 함수와 모델만 변경하여 성공적으로 적응함을 증명.
4. 실제 및 시뮬레이션 검증: Boston Dynamics Spot 로봇 (실제 환경) 과 Unitree G1 로봇 (시뮬레이션) 에서 다양한 과제를 수행.

4. 실험 결과 (Results)

A. 시뮬레이션 비교 (MuJoCo)

• 성능: Sumo 는 상자, 의자, 타이어, 타이어 랙, 교통 원뿔 등 5 가지 다양한 물체를 이동/세우는 과제에서 80%~100% 의 성공률을 기록했습니다.
• 비교:
  • E2E MPC: 차원의 저주로 인해 성공률이 50% 이하로 낮았습니다.
  • E2E RL: 간단한 물체 (상자) 에서는 경쟁력이 있었으나, 복잡한 형상 (타이어 등) 에서는 성능이 급격히 저하되었습니다.
• 계산 효율성: 하이퍼파라미터 튜닝 시, Sumo 는 RL 대비 약 10 배 적은 계산 시간으로 동일한 성능에 도달했습니다.

B. 실제 로봇 실험 (Spot Quadruped)

Spot 로봇을 사용하여 다음과 같은 고난도 과제를 성공적으로 수행했습니다 (10 회 시도 기준):

• 타이어 세우기 (15kg): 로봇 팔의 최대 하중 (11kg) 을 초과하는 물체를 팔, 몸통, 다리를 복합적으로 사용하여 성공 (10/10).
• 인간 통제 장벽 세우기 (16kg) 및 끌기: 로봇보다 크고 무거운 장벽을 세우고 목표 지점까지 끌고 감.
• 타이어 적재 (Stacking): 두 개의 타이어를 쌓는 작업 수행.
• 가혹한 상자 밀기 (20kg): 무거운 상자를 밀어 목표 지점까지 이동.
• 결과: 모든 과제에서 높은 성공률과 평균 10~40 초 내의 완료 시간을 기록했습니다.

C. 휴머노이드 시뮬레이션 (Unitree G1)

• 상자 밀기, 의자 밀기, 문 열기, 테이블 밀기 등의 과제를 성공적으로 수행하여 프레임워크가 사족보행뿐만 아니라 휴머노이드에도 적용 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 동적 상호작용의 새로운 패러다임: 로봇이 단순히 물건을 집어 올리는 (Pick-and-Place) 것을 넘어, 로봇의 전체 신체를 활용하여 무겁고 큰 물체를 동적으로 조작할 수 있음을 보여줌.
• 실용적 유연성: RL 의 강점 (강인한 보행 제어) 과 MPC 의 강점 (유연한 계획 수립) 을 결합하여, 실제 환경에서 발생하는 다양한 불확실성과 새로운 작업에 대한 적응력을 극대화함.
• 미래 연구 방향: 현재는 모션 캡처 (MoCap) 시스템에 의존하고 있으나, 향후 온보드 센서와 결합하여 완전한 자율 주행 및 조작이 가능하도록 발전시킬 필요가 있음. 또한, 인간 선지식 (Human Priors) 이나 기초 모델 (Foundation Models) 을 통합하여 보상 함수 설계의 수동 개입을 줄이는 방향으로 연구가 진행될 것으로 기대됨.

이 논문은 로봇이 인간의 신체적 지능 (Athletic Intelligence) 에 근접하여 복잡한 환경에서 물리적 상호작용을 수행할 수 있는 중요한 진전을 이루었습니다.