Partial Motion Imitation for Learning Cart Pushing with Legged Manipulators

1. 문제 정의 (Problem)

• 배경: 4 발 보행 로봇 (Legged robots) 에 매니퓰레이터 (팔) 를 장착한 '로코 - 매니퓰레이션 (Loco-manipulation)' 로봇은 창고 물류나 소매 환경에서 물체를 운반하거나 밀어주는 등 실용적인 작업을 수행할 수 있습니다. 특히 카트 (장바구니) 를 밀어 이동시키는 작업은 중요한 자동화 시나리오입니다.
• 핵심 난제: 로봇이 안정적으로 보행 (locomotion) 을 유지하면서 동시에 정밀한 조작 (manipulation) 을 수행하는 것은 매우 어렵습니다.
  • 기존 강화학습 (RL) 기반 접근법은 보행과 조작을 동시에 학습하려 할 때 보상 함수 설계가 복잡해지고 (10~20 개 이상의 보상 항목), 정책 학습이 불안정하거나 비효율적인 결과를 초래하는 경우가 많습니다.
  • 기존 모션 모방 (Imitation) 학습은 전체 신체 (Full-body) 의 동작을 모방해야 하는데, 이는 조작 작업 (팔의 움직임) 을 불필요하게 제한하여 유연성을 떨어뜨립니다. 또한, 로코 - 매니퓰레이션 전용의 대규모 참조 데이터셋이 존재하지 않습니다.

2. 제안 방법론 (Methodology)

저자들은 **부분 모방 학습 (Partial Imitation Learning)**을 기반으로 한 새로운 프레임워크를 제안합니다. 이 방법은 보행 스타일만 모방하고 조작 부분은 자유롭게 학습하도록 설계되었습니다.

A. 전체 아키텍처 (2 단계 학습)

1. 1 단계: 견고한 보행 정책 학습 (Robust Locomotion Policy Training)

   • 다양한 지형과 도메인 무작위화 (Domain Randomization) 를 적용하여 카트 조작 없이도 안정적으로 보행하는 참조 정책 ($\pi_{ref}$) 을 학습합니다.
   • 이 단계에서 학습된 정책은 다양한 속도, 보행 패턴, 불규칙한 지형에서도 견고한 보행 스타일을 확보합니다.
   • 학습된 정책으로부터 안정된 보행 동작을 나타내는 상태 전이 데이터 ($D_{ref}$) 를 수집합니다.

2. 2 단계: 부분적 적대적 모션 사전 (Partial AMP) 을 이용한 로코 - 매니퓰레이션 학습

   • 카트 밀기 작업을 수행하는 최종 정책 ($\pi$) 을 학습합니다.
   • 핵심 아이디어: 전체 신체를 모방하는 대신, 하체 (다리) 의 운동 패턴만 모방합니다.
   • 부분적 적대적 모션 사전 (Partial AMP):
     • 판별기 (Discriminator) 는 참조 정책과 학습된 정책의 **전체 상태가 아닌, 하체 및 베이스 (Base) 와 관련된 상태 부분집합 ($\phi(s)$)**만을 비교합니다.
     • 팔과 엔드 이펙터 (End-effector) 의 상태는 모방 대상에서 제외하여, 로봇이 카트 손잡이를 잡고 밀기 위해 팔을 자유롭게 적응하도록 합니다.
   • 보상 함수:
     • 스타일 보상 ($r_{style}$): 하체 보행 스타일이 참조 데이터와 유사하도록 유도 (AMP 기반).
     • 작업 보상 ($r_{task}$): 카트 위치 추적, 속도 제어, 접촉 유지 등을 위한 보상.
   • 커리큘럼 학습: 먼저 직선 경로에서 카트를 밀고, 이후 곡선 경로 및 회전 동작으로 난이도를 점진적으로 높입니다.

B. 경로 추종 (Path Following)

• 학습된 저수준 정책 (Low-level policy) 과 고수준 피드백 컨트롤러 (Stanley Controller) 를 결합하여 장시간의 복잡한 경로를 추종하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 부분 모방 학습 프레임워크 제안: 로코 - 매니퓰레이션 작업에서 보행 안정성을 유지하면서도 조작 유연성을 확보하기 위해 하체 운동 패턴만 모방하는 '부분적 적대적 모션 사전 (Partial AMP)'을 도입했습니다.
2. 강력한 시뮬레이션 성능 및 Sim-to-Sim 전이: IsaacLab 환경에서 다양한 경로에 대해 안정적으로 카트를 밀어내는 것을 입증했으며, MuJoCo 시뮬레이터로의 전이 (Sim-to-Sim Transfer) 에서도 높은 성공률을 보였습니다.
3. 기존 방법론 대비 우수성 입증: 모방 학습이 없는 방법 (No AMP), 전체 신체 모방 (Full AMP), 계층적 강화학습 (Hierarchical RL) 등 여러 베이스라인과 비교하여 더 높은 안정성과 정확도를 보임을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 실험 환경: Unitree Go2 quadruped + WidowX AI 팔을 사용하여 카트를 밀는 작업을 시뮬레이션 (IsaacLab, MuJoCo) 했습니다.
• 성능 비교 (IsaacLab 및 MuJoCo):
  • Partial AMP (제안 방법): 두 환경 모두에서 가장 높은 생존율 (MuJoCo 에서 94.4%) 과 낮은 추적 오차를 기록했습니다. 보행이 안정적이고 ( Trotting gait), 엔드 이펙터의 흔들림이 적었습니다.
  • No AMP: 보행 스타일이 불안정하여 (Bounding gait), MuJoCo 전이 시 생존율이 63.6% 로 급격히 떨어졌습니다.
  • Full AMP: 전체 신체를 모방하려다 팔의 움직임이 과도하게 제한되어 카트 손잡이와의 접촉이 불안정해졌으며, MuJoCo 에서 생존율이 31.6% 로 가장 낮았습니다.
  • Hierarchical RL: 하체 정책이 고정되어 있어 조작 오류 발생 시 보행에 적응하지 못해 중간 정도의 성능만 보였습니다.
• 강건성 (Robustness): 마찰계수, 로봇 질량, 카트 질량, 바퀴 감쇠 등 물리 파라미터를 변화시킨 스트레스 테스트에서 Partial AMP 가 다른 모든 방법보다 넓은 파라미터 범위에서 성공 기준을 만족했습니다.
• 경로 추종: BeatPath, RiverPath, SincPath 등 다양한 곡선 경로에서 평균 횡방향 오차 (Cross-track error) 가 0.01m~0.12m 수준으로 매우 정밀하게 추종했습니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: 복잡한 로코 - 매니퓰레이션 작업에서 '보행'과 '조작'이라는 상충되는 목표를 해결하기 위해, 보행 스타일만 모방하고 조작은 자유롭게 학습하는 부분 모방 (Partial Imitation) 전략의 유효성을 입증했습니다. 이는 데이터가 부족한 분야에서 안정된 제어 정책을 학습하는 새로운 패러다임을 제시합니다.
• 실용적 가치: 이 방법은 실제 환경 (창고, 매장 등) 에서 로봇이 물체를 밀어 이동시키는 작업을 안정적으로 수행할 수 있는 기반을 마련했습니다.
• 향후 과제: 현재 시스템은 시각 피드백이 없으므로, 향후 비전 기반 동적 계획 (Vision-based dynamic planning) 과 슬립 감지 및 재그립 (Re-grasping) 기능을 추가하여 더욱 복잡한 비구조화 환경에서의 자율성을 높이는 것이 필요하다고 결론지었습니다.

이 논문은 보행 로봇이 복잡한 조작 작업을 수행할 때, 보행 안정성을 해치지 않으면서도 조작 유연성을 극대화하는 효율적인 학습 전략을 제시했다는 점에서 중요한 의미를 가집니다.