기술 요약: Humanoid-DART

문제 정의

휴머노이드의 로코-매니퓰레이션(loco-manipulation)은 조화로운 전신 제어와 동적인 객체 상호작용을 필요로 합니다. 최근의 모방 학습(imitation learning)과 강화 학습(RL)의 발전은 전문가의 시연을 추적함으로써 인상적인 보행 능력을 가능하게 했으나, 이러한 접근 방식을 접촉이 빈번한 로코-매니퓰레이션으로 확장하는 것은 여전히 큰 과제로 남아 있습니다. 보행과 달리, 로코-매니퓰레이션은 신체 움직임, 객체 상태, 그리고 환경과의 상호작용에 의해 공동으로 정의되는 크고 연속적인 작업 공간을 포함합니다. 객체의 포즈, 운송 구성, 파지 전략, 그리고 상호작용 타이밍의 변화는 인간의 시연만으로는 감당하기 불가능할 정도로 방대한 조합적 공간을 생성합니다. 기존 방법들은 대규모 인간 동작 데이터셋에 의존하거나 단일 참조 동작을 추적하는 데 집중하며, 이로 인해 다양한 조건 하에서 다양한 로코-매니퓰레이션 작업을 견고하게 해결하는 데 실패합니다.

방법론

본 논문은 희소한 초기 시연 세트로부터 시작하여 점진적으로 행동 레퍼토리를 확장하도록 설계된 자기 지도 학습 기반의 반복적 프레임워크인 Humanoid-DART를 제안합니다. 이 파이프라인은 목표 조건부 동작 생성기(goal-conditioned motion generator)와 물리 기반 동작 추적 정책(physics-based motion tracking policy)이라는 밀접하게 결합된 두 가지 구성 요소를 교대로 실행합니다.

1. 알고-리즘 개요

시스템은 성공적인 궤적들의 엘리트 아카이브 $E$로 정의된 스킬 분포 위에서 진화적 커리큘럼(evolutionary curriculum)으로 작동합니다.

• 목표 샘플링 (Goal Sampling): 각 반복 단계에서 커리큘럼은 현재 $E$의 분포 주변에서 새로운 목표 상태를 샘플링하며, 이는 기존 스킬의 정교화와 미표집 영역의 탐색을 모두 목표로 합니다.
• 운동학적 생성 (Kinematic Generation): 목표 조건부 확산 모델($\pi_\theta$)은 샘플링된 목표들에 대한 운동학적 참조 궤적을 생성합니다. 이러한 궤적에는 물리적 불일치(예: 발 미끄러짐, 관통)가 포함될 수 있습니다.
• 물리 평가 (Physics Evaluation): RL을 통해 학습된 동작 추정 정책($\pi_\phi$)은 물리 시뮬레이터 내에서 이러한 운동학적 참조를 실행합니다. 이는 잠재적으로 실행 불가능한 계획을 물리적으로 일관된 롤아웃(rollout)으로 변환하는 동적 필터 역할을 합니다.
• 선택 및 재라벨링 (Selection and Relabeling): 생성된 궤적들은 추적 충실도, 접촉 정확도, 안정성을 측정하는 적합도 함수 $F(\tau)$를 사용하여 평가됩니다. 임계값 $\tau_f$를 초과하는 궤적들은 엘리트 아카이브 $E$에 유지됩니다. 결정적으로, 샘플링된 목표와 완벽히 일치하지 않는 성공적인 롤아웃은 달성된 작업 지표로 **재라벨링(relabelled)**되어, "아까 놓친(near-misses)" 데이터를 유효한 학습 신호로 전환합니다.
• 반복 업데이트 (Iterative Update): 확산 생성기와 추적 정책은 확장된 아카이브를 바탕으로 재학습되며, 이를 통해 실행 가능한 궤적의 다양성과 작업 공간 커버리지를 점진적으로 높여갑나다.

2. 주요 아키텍처 구성 요소

• 운동학적 동작 생성기 (Diffusion Transformer):
  • 이중 브랜치 백본 (Dual-Branch Backbone): 아키텍처는 상태를 글로벌 스트림(루트 모션 및 객체 상대 특징)과 로컬 스트림(신체 포즈/관절)으로 분리합니다. 로컬 스트림은 글로벌 스트림에 크로스 어텐션(cross-attend)하여, 정밀한 포즈 합성을 위해 거친 내비게이션과 분리하면서도 동기화를 유지합니다.
  • 구조적 부분 언마스킹 (Structured Partial Unmasking): 학습 중 모델은 미래 프레임으로부터 노이즈가 섞인 특징 그룹을 선택적으로 드러냅니다. 이는 플래너가 누락된 동작 성분을 부분적인 관측으로부터 추론하도록 유도하여, 특징 그룹 간(예: 전신 포즈와 객체 상호작용 사이)의 상관관계를 독립적으로 처리하는 대신 학습하게 합니다.
  • 추론 (Inference): 시간적 일관성을 보장하기 위해 히스토리 인페인팅(RePaint 방식)을 포함한 중첩된 세그먼트에 대한 자기 회귀적 합성(auto-regressive synthesis)을 사용합니다.
• 동작 추적 정책 (Motion Tracking Policy):
  • PPO를 통해 학습되는 DeepMimic 방식의 비대칭 액터-크리틱(asymmetric actor-critic) 컨트롤러입니다.
  • 5단계 참조 호라이즌, 고유 수용 감각 상태, 객체 포즈를 관찰하며, 크리틱은 특권적 시뮬레이션 상태(privileged simulation state)를 전달받습니다.
  • 심투리얼(sim-to-real) 전이를 보장하기 위해 도메인 랜덤화(객체 질량, 마찰력, 푸시 등)를 포함하여 학습됩니다.
• 커리큘럼 및 목표 재라벨링 (Curriculum and Goal Relabeling):
  • 프런티어 타겟 샘플링 (Frontier Target Sampling): 작업 공간을 빈(bin)으로 이산화합니다. 샘플링 가중치는 현재 엘리트 세트와의 거리에 따라 다음과 같이 할당됩니다: 정교화(Refine) (기존 엘리트 근처), 탐색(Explore) (중간 거리), 프런티어(Frontier) (멀리 떨어진 미해결 영역). 탐색 빈(bin)에 가장 높은 가중치를 부여하여 커버리지 확장을 유도합니다.
  • 목표 재라벨링 (Goal Relabeling): 롤아웃이 샘플링된 목표를 놓치더라도 이를 버리는 대신, 달성된 상태를 의도된 목표로 사후적으로 취급하여 생성기가 덜 학습된 상황에서도 조밀한 학습 신호를 제공합니다.

주요 기여

1. Humanoid-DART 파이프라인: 희소한 시연으로부터 목표 조건부 로코-매니퓰레이션 기술을 학습하기 위한 최초의 반복적 궤적 증강 파이프라인입니다.
2. 새로운 설계 선택:
   • 희소 데이터 환경에서 궤적 합성을 개선하기 위해 이중 브랜치 구조와 구조적 부분 언마스킹을 갖춘 계층적 목표 조건부 Diffusion Transformer (DiT)를 제안합니다.
   • 객체 포즈에 조건화된 객체 포즈 추적을 위한 RL 전신 컨트롤러를 제안합니다.
   • 근접 실패 롤아웃을 유효한 학습 신호로 전환하는 목표 재라벨링 전략을 갖춘 커리큘럼 기반 알고리즘을 제안합니다.
3. 실증적 검증: Unitree G1 휴머노이드를 사용하여 네 가지 로코-매니퓰레이션 작업(push, kick, hand-off, pick-and-place)에 대해 프레임워크를 입증했습니다. 이 시스템은 단 4개의 기본 시연으로부터 작업 공간 커버리지를 달성하며, 시드 분포을 훨씬 넘어서는 목표로 일반화됩니다.

실험 결과

• 작업 공간 커버리지 (Task-Space Coverage): Pick-and-place 작업에서 Humanoid-DART는 단 4개의 기본 시연(약 20초의 동작)으로부터 시작하여 목표 작업 공간의 96.4% 커버리지를 달로성했습니다. 이는 4세대 동안 0.1%에서 거의 완전한 커버리지로 성장했음을 나타냅전다.
• 일반화 (Generalization): 시스템은 기본 시연보다 4~5배 더 멀리 떨어진 목표에 대해서도 궤적을 성공적으로 생성하고 추적하여 강력한 일반화 성능을 보여주었습니다.
• 실제 환경 배포 (Real-World Deployment): 생성된 궤적은 물리적인 Unitree G1 휴머노이드에 push, kick, pick-and-place 작업을 위해 성공적으로 배포되어 하드웨어에서의 동적 실행 가능성을 확인했습니다.
• 절제 연구 (Ablation Studies):
  • 아키텍처: 이중 브랜치 구조를 제거(단일 평면 DiT로 축소)했을 때 목표 도달 성공률이 1.00에서 0.25로 급감했습니다. 구조적 부분 언마스킹은 경로의 직선성과 파지 일관성을 개선했습니다.
  • 베이스라인: "Parameterized Motion"(좁고 고품질인 영역에 집중) 및 "Hierarchical Diffusion + RL"(진화 루프 없이 공동 학습)과 비교했을 때, Humanoid-DART는 우수한 작업 공간 커버리지를 보여주었습니다. 진화 루프가 성능의 주요 동인으로 식별되었습니다.
  • 초기화: 동적 실행 가능(DF) 시드 궤적은 물리적 불일치를 포함하여 확산 모델이 증폭시키기 쉬운 운동학적 실행 가능(KF) 시드보다 빠른 수렴과 높은 커버리지를 이끌어냈습니다.

의의 및 주장

본 논문은 생성 모델을 활용하여 궤적 참조 세트를 반복적으로 확장함으로써 휴머노이드 로코-매니퓰레이션의 데이터 부족 병목 현상을 해결한다고 주장합니다. 고수준 동작 생성과 저수준 제어를 분리하고, 목표 재라벨링이 포함된 커리큘럼을 활용함으로써, 이 프레임워크는 최소한의 전문가 감독만으로 견고한 목표 조건부 정책을 학습할 수 있게 합니다. 저자들은 이 접근 방식이 대규모 인간 동작 데이터셋 없이도 초기 시드 시연의 범위를 훨씬 넘어서는 다양한 동작과 장기적(long-horizon) 스킬을 발견할 수 있게 한다고 강조합니다.

한계 및 향후 연구: 현재 평가는 단일 객체 기하 구조와 평탄한 지형으로 제한되어 있습니다. 저자들은 파이프라인이 시드 시연의 편향을 상속받으며 수동으로 조정된 적합도 함수에 의존한다는 점을 언급했습니다. 향후 연구는 다양한 객체, 접촉 특성, 불균일한 지형으로 프레임워크를 확장하고, 적합도 함수를 적응형 학습 기준으로 대체하는 것을 목표로 합니다.