기술 요약: HiWET

문제 정의

휴머노이드 로코-매니퓰레이션(loco-manipulation)은 베이스 운동 중에도 동적 안정성을 유지하면서 정밀한 조작 작업을 수행해야 합니다. 기존 방식은 두 가지 주요 한계점에 직면해 있습니다:

1. 신체 중심 정식화(Body-Centric Formulation): 대부분의 명령 기반 방식은 신체 중심 좌표계(body-centric frames)에서 작동합니다. 이는 보행 운동으로 인해 발생하는 누적된 월드 프레임 드리프트(world-frame drift)를 본질적으로 교정하지 못하며, 결과적으로 글로벌 프레임에서의 말단 장치(end-effector) 정밀도 저하를 초래합니다.
2. 관절 공간 최적화(Joint-Space Optimization): 전신 운동 모방 방법들은 일반적으로 작업 공간(task-space)의 정밀도보다는 관절 공간의 오차를 최적화하며, 이는 정확한 말단 장치 추적에 대한 이론적 보장이 부족하고 종종 비용이 많이 드는 조밀한 참조 궤적을 요구합니다.
3. 결합 문제(Coupling Challenges): 상체와 하체 역학 사이의 긴밀한 결합으로 인해, 공격적인 팔 동작은 보행을 불안정하게 만들 수 있으며, 로코모션의 영향이 말단 장치로 전달됩니다. 작업 범위가 정적 도달 가능 작업 공간(static reachable workspace)을 벗어날 경우, 신체 중심 정식화는 도달 가능성을 유지하기 위해 베이스를 능동적으로 이동시켜야 할 필요성을 명시적으로 다루지 못합니다.

방법론

저자들은 글로벌 추론과 동적 실행을 분리하는 계층적 강화 학습(HRL) 프레임框架인 HiWET(Hierarchical World-Frame End-Effector Tracking)를 제안합니다. 시스템은 두 개의 타임스케일에서 작동하는 준마르코프 결정 과정(Semi-Markov Decision Process, Semi-MDP)으로 모델링됩니다.

1. 계층적 구조

• 상위 수준 정책 (Commander, $\pi_H$): 월드 프레임에서 더 낮은 빈도로 작동합니다. 이는 작업 플래너 역할을 수행하며, 글로벌 말단 장치 목표를 해석하고 구조화된 하위 목표들을 생성합니다: 베이스 속도($v_{des}^b$), 신체 높이($h_{des}$), 그리고 베이스 상대적 말단 장치 포즈($bT_{des}$). 이 정책은 로코모션과 매니퓰레이션 사이의 기하학적 결합을 명시적으로 추론하여 운용 작업 공간을 재형성합니다.
• 하위 수준 정책 (Tracker, $\pi_L$): 고주파수로 작동하여 하위 목표를 관절 공간 명령으로 변환합니다. 이는 동적 안정성과 물리적 타당성을 보장합니다. 휴머노이드는 상체(팔/허리)와 하체(다리) 서브시스템으로 분해됩니다.

2. 핵심 기술 구성 요소

• 운동학적 매니폴드 사전 지식 (Kinematic Manifold Prior, KMP): 원하는 말단 장치 포즈와 허리 정규화 가중치($\alpha$)를 기반으로 상체의 운동학적으로 일관된 관절 참조값을 제공하는 사전 학습된 신경망입니다.
  • 하위 수준 정책은 절대적인 관절 목표 대신 KMP 참조값($\hat{q}$)에 더해지는 잔차 수정값($\Delta q$)을 학습합니다. 이는 탐색 차원을 줄이고 운동학적으로 유효하지 않은 동작을 완화합니다.
  • 파라미터 $\alpha$를 통해 상위 수준 정책은 몸통 참여도를 조절하여, 도달 가능성(허리 중복성을 활용)과 동적 균형(질량 중심 안정화) 사이의 트레이드오프를 조절할 수 있습니다.
• 상태 추정기 (State Estimator): 관측 이력으로부터 특권 상태 변수(예: 베이스 선속도, 말단 장치 포즈)를 추론하도록 학습된 신경 모듈로, 배포 중 발생하는 부분 관측성(partial observability)을 보상합니다.
• 중요도 샘플링 (Importance Sampling, IS): 균등 카테시안 샘플링(종종 도달 불가능하거나 조건이 좋지 않은 목표를 생성함)의 비효율성을 해결하기 위해, 저자들은 우선순위가 지정된 데이터셋을 큐레이션합니다. 이 데이터셋은 역운동학(IK) 재구성 오차에 의해 필터링되며 조작성 지수(manipulability index)에 의해 가중치가 부여됩니다. 학습 명령 분포는 균등 샘플링과 이 큐레이션된 사전 지식의 혼합으로 구성됩니다.
• 보상 형성 (Reward Shaping):
  • 하위 수준: KMP 참조 추적, 무릎 인지 베이스 높이 추적(굴곡/신전 여유분에 대한 비대칭 가중치 적용), 그리고 매끄러움을 위한 정규화를 포함합니다.
  • 상위 수준: 작업 공간 최적화(베이스 헤딩을 타겟에 정렬), 월드 프레임에서의 정밀한 말단 장치 추적, 그리고 안정성을 장려합니다.

3. 학습 절차

프레임워크는 2단계 학습 과정을 채택합니다.

1. 1단계 (Tracker): 하위 수준 정책은 KMP와 중요도 샘플링을 사용하여 베이스 상대적 말단 장치 명령을 따르도록 학습됩니다.
2. 2단계 (Commander): 하위 수준 정책을 고정한 상태에서 상위 수준 정책을 학습합니다. **공간 커리큘럼(spatial curriculum)**을 사용하여, 로봇 베이스 근처의 타겟에서 시작하여 추적 오차가 감소함에 따라 점진적으로 범위를 확장합니다.

주요 결과

프레임워크는 시뮬레이션 및 제로샷 심투리얼(sim-to-real) 전이를 통해 Unitree G1 휴머노이드(29 DoF)에서 검증되었습니다.

• 추적 정밀도: 시뮬레이션에서 HiWET은 낮은 분산을 가진 12.4 mm의 월드 프레임 말단 장치 추적 오차를 달성했습니다.
• 절제 연구 (Ablation Studies):
  • KMP를 제거하면 손 오차가 25.2 mm로 증가하고 분산이 5배 높아졌으며, 이는 운동학적 가이드의 필요성을 확인시켜 줍니다.
  • 상태 추정기를 제거하면 추적이 거의 10 mm 저하되었으며, 이는 로코모션 진동을 보상하기 위한 정확한 피드백의 필요성을 강조합니다.
  • 중요도 샘플링을 제거하면 더 높은 오차(16.1 mm)가 발생하여, 기능적인 작업 공간 영역에 집중하는 것의 가치를 입증했습니다.
• 비교: HiWET은 HOMIE 베이스라인보다 베이스 선속도 RMSE를 약 20% 감소시키며 성능이 우수함을 보였습니다.
• 심투리얼 (Sim-to-Real): 하위 수준 정책은 미세 조정 없이 물리적 로봇으로 성공적으로 전이되었으며, 다양한 조작 명령 하에서도 안정적인 보행을 보여주었습니다.
• 장기 궤적 작업 (Long-Horizon Tasks): 시스템은 월드 프레임에서 복잡한 기하학적 궤적(별, 하트, 나선형)을 성공적으로 추적하였으며, 타겟 지역으로 이동하면서 동적 안정성을 유지했습니다.

의의 및 주장

본 논문은 HiWET가 베이스와 말단 장치 사이의 기하학적 결합을 명시적으로 다룸으로써, 장기적인 휴머노이드 로코-매니퓰레이션을 위한 효과적이고 확장 가능한 솔루션을 제공한다고 주장합니다.

• 월드 프레임 일관성: 작업을 월드 프레임 말단 장치 추적으로 정식화함으로써, 컨트롤러는 베이스의 교란을 능동적으로 보상하고 로코모션을 통해 운용 작업 공간을 재형성할 수 있으며, 이는 신체 중심 방식에는 없는 능력입니다.
• 분리된 제어: "어디로 갈 것인가"(글로벌 계획)와 "어떻게 움직일 것인가"(동적 실행)의 계층적 분리는 도달 가능성과 안정성을 위한 전문화된 최적화를 가능하게 합니다.
• 효율성: 잔차 학습을 통한 운동학적 매니폴드 사전 지식의 통합은 정책을 유효한 매니퓰레이션 매니폴드에 정착시켜, 동적 적응성을 희생하지 않으면서도 학습을 가속화하고 추적 정밀도를 향상시킵니다.

저자들은 이 접근 방식이 장기적인 작업에서 정밀하고 안정적인 말단 장치 추적을 가능하게 하며, 실제 하드웨어로의 견고한 제로샷 전이를 입증한다고 결론짓습니다.