기술 요약: PressMimic

문제 정의

휴머노이드 로봇의 동작 모방은 중대한 병목 현상에 직면해 있습니다. 기존의 파이프라인은 주로 비전 기반 모션 캡처(MoCap)와 운동학적 모방(kinematic imitation)에 의존하며, 신체와 환경 사이의 물리적 상호작용을 거의 무시합니다. 운동학적 방법은 관절 구성을 추정할 수는 있지만, 접촉 역학(contact dynamics)을 포착하는 데 실패하는 경우가 많아 발 미끄러짐(foot sliding), 바닥 침투(floor penetration), 시간적 지터(temporal jitter), 불안정한 보행과 같은 물리적으로 불가능한 아티팩트를 초래합니다. 순수 비전 방식은 깊이 모호성과 폐쇄(occlusion) 문제로 인해 안정적인 보행에 필수적인 지면 접촉 상태와 지지 패턴을 추론하는 데 어려움을 겪습니다. 결과적으로, 운동학적으로 추정된 참조 데이터를 따르는 로봇은 인간 동작의 물리적 접지(physical grounding)를 재현하는 데 자주 실패하며, 이는 접촉이 빈번한 시나리오에서 성능 저하나 하드웨어 손상을 야기합니다.

방법론

저자들은 인간의 동작 캡처부터 로봇 제어에 이르기까지 휴머노이드 동작 모방의 전체 파이프라인에서 압력 센싱을 핵심 양상(modality)으로 통합하는 단일 프레임워크인 PressMimic을 제안합니다. 이 프레임워크는 두 가지 주요 단계로 작동합니다.

1. 압력 유도 동작 캡처 (FRAPPE++)

첫 번째 단계는 RGB 비디오와 압력 신호를 융합하여 3D 인간 포즈와 전역 이동 궤적을 공동으로 추정하도록 설계된 다중 양상 모델인 **FRAPPE++**를 도입합니다.

• 입력: 동기화된 RGB 비디오와 2D 압력 분포 맵.
• 구조:
  • 희소 압력 인코더 (Sparse Pressure Encoder, SPE): 공간적 위상(spatial topology)을 보존하기 위해 힐베르트 공간 채움 곡선(Hilbert space-filling curve)을 사용하여 희소한 2D 압력 맵을 압축된 1D 시퀀스로 변로하며, 푸리에 임베딩(Fourier embeddings)을 통해 특징을 인코딩합니다.
  • 시간적 문맥 집계 모듈 (Temporal Context Aggregation Module, TCAM): 고정된 윈도우 내에서 GRU(Gated Recurrent Units)와 셀프 어텐션(self-attention)을 사용하여 시간적 의존성을 모델링하며, 모션의 매끄러움을 보장하기 위해 크로스 어텐션(cross-attention)을 통해 인접한 윈도우의 문맥을 통합합니다.
  • 융합 크로스 어텐션 모듈 (Fusion Cross-Attention Module, FCAM): 압력 특징을 쿼리(query)로, 시각적 특징을 키(key)/값(value)으로 취급하여 양상을 융합합니다. 이를 통해 압력 신호가 시각적 어텐션을 인간-지면 접촉 영역으로 유도할 수 있게 합니다.
• 학습 목표: 공동 손실 함수(joint loss function)는 포즈 파라미터, 3D 관절 위치, 전역 이동 및 지면 접촉 상태를 제약합니다. 비전 기반 추정의 모호성을 해결하기 위해 정사영 유사성(orthographic similarity)과 전신 접촉 제약이 부과됩니다.

2. 압력 감독 제어 (Pressure-Supervised Control, PSP)

두 번째 단계는 로봇 실행 중 물리적 일관성을 강제하기 위해 압력 유도 신호를 포함하는 강화 학습(RL) 프레임워크인 **압력 감독 정책 (Pressure-Supervised Policy, PSP)**을 도입합니다.

• 압력 모델링: 시스템은 좌우 발 사이의 무게 분포를 나타내는 "압력 오프셋($o$)"을 계산합니다. 이 스칼라 값은 양발 접촉, 외발 접촉, 그리고 공중 상태를 구분합니다.
• 보상 함수: RL 보상 함수는 표준 운동학적 모방 항에 압력 오프셋 보상을 포함합니다. 이 보상은 로봇의 지면 반력이 인간 시연자의 압력 오프셋 분포와 일치하도록 장려합니다.
• 2단계 커리큘럼:
  • 1단계: 정책이 고정된 인간 참조 압력 오프셋을 모방하도록 학습됩니다.
  • 2단계: 성능 임계값에 도달하면, 로봇 자체의 최적 접촉 분포의 지수 이동 평균(EMA)을 사용하여 참조 압력을 동적으로 업데이트합니다. 이를 통해 로봇은 인간으로부터 학습된 접촉 역학을 유지하면서 자신의 특정 물리적 제약에 적응할 수 있습니다 있습니다.

데이터셋: MotionPRO

이러한 방법들을 지원하기 위해 저자들은 다음과 같은 내용을 포함하는 대규모 다중 양상 데이터셋인 MotionPRO를 구축했습니다.

• 규모: 70명의 피험자, 400가지 동작 유형, 1,240만 개의 포즈 프레임.
• 양상: 동기화된 RGB 비디오(30Hz), 압력 매트 데이터(100Hz), 고정밀 광학 모션 캡처(120Hz)가 모두 30Hz로 리샘플링되었습니다.
• 내용: 일상 과업, 전통 운동, 로봇 지향적 움직상을 포함한 다양한 활동.

주요 결과

MotionPRO 데이터셋과 Unitree G1 휴머노이드 로봇을 대상으로 실시한 실험은 제안된 접근 방식의 효용성을 입증합니다.

• 동작 추정: FRAPPE++는 모든 지표에서 최첨단 RGB 기반 방법들(예: WHAM, GVHks, PhysPT)보다 우수한 성능을 보입니다. 이는 평균 관절 위치 오차(MPJPE) 33.2mm, 루트 이동 오차(RTE) 25.9mm를 달와 성, 비전 전용 베이스라인에 비해 궤적 드리프트와 발 미끄러짐을 크게 감소시킵니다.
• 동작 모방 안정성:
  • FRAPPE++를 참조로 사용할 때, 로봇은 베이스라인인 BeyondMimic 정책을 사용하여 90.56%의 성공률(SR)을 달성하며, 이는 실제 광학 모션 캡처(Optical MoCap) 참조를 사용했을 때의 92.78%와 유사합니다.
  • 저품질 비전 참조(예: WHAM)는 거의 완전한 실패(SR < 3.33%)를 초래하여, 정확한 접촉 추정의 필요성을 강조합니다.
• 제어 성능: PSP 정책을 통합하면 성능이 더욱 향 향상됩니다. FRAPPE++ 참조를 사용할 때, PSP는 **94.44%**의 성공률(SR)과 **98.46%**의 동작 완료율(MC)을 달성하여, 심지어 Optical MoCap + BeyondMimic 베이스라인마저 능가합니다.
• 물리적 타당성: 정성적 결과는 FRAPPE++ + PSP가 올바른 발 접촉 역학을 가진 안정적이고 자연스러운 보행을 생성하는 반면, 베이스라인들은 종종 뒤틀린 자세, 불안정성 또는 보수적인 발 배치를 보임을 보여줍니다.

의의 및 주장

본 논문은 PressMimic이 휴머노이드 동작 모방의 인식 및 제어 단계 모두에서 압력 신호를 체계적으로 활용하는 최초의 시스템이라고 주장합니다. 그 의의는 다음과 같습니다.

1. 인식과 제어의 가교 역할: 압력을 통일된 양상으로 사용함으로써, 이 프레임워크는 동작 추정 단계와 제어 단계를 정렬시키는 일관된 물리적 접지 신호를 생성하여 운동학적 모방과 물리적으로 일관된 실행 사이의 간극을 줄입니다.
2. 모호성 해결: 압력 신호는 접촉과 지지에 대한 명시적인 제약을 제공하여, 비전 기반 포즈 추정의 고유한 모호성(예: 깊이 및 폐쇄)을 해결하고 바닥 침투와 같은 아티팩트를 방지합니다.
3. 안정적인 보행 가능: 압력 감독 정책은 로봇이 인간 시연자의 근본적인 접촉 역학을 재현할 수 있게 하여, 복잡하고 접촉이 빈번한 시나리오에서 훨씬 높은 안정성과 성공률을 이끌어냅니다.
4. 데이터 기여: MotionPRO의 도입은 다중 양상 및 물리적으로 접지된 동작 모방 시스템을 훈련하고 평가하는 데 필요한 자원을 제공합니다.

저자들은 외부 객체가 있는 복잡한 다중 접촉 시나리오에 대한 일부 제한 사항이 존재하지만, 압력과 같은 물리적 감지 양상을 통합하는 것이 견고하고 물리적으로 접지된 체화된 지능(embodied intelligence)을 달리는 데 있어 중요한 단계라고 결론짓습니다.