ContactMimic: Humanoid Object Interaction via Contact Control

기술 요약: CONTACTMIMIC

문제 정의

현재의 휴머노이드 전신 로코-매니퓰레이션(loco-manipulation) 시스템은 주로 인간의 동작을 모방하기 위해 키포인트 궤적(운동학적 목표)을 추적하는 방식에 의존합니다. 그러나 의자에 앉기, 화이트보드 닦기, 가구 밀기 등 유용한 상호작용 작업의 경우, 성공 여부는 단순히 로봇의 포즈뿐만 아니라 환경과의 명시적인 물리적 접촉에 의해 결정됩니다.

기존의 트래커들은 동작의 형태는 재현할 수 있지만, 필요한 물리적 접촉을 형성하는 데는 실패합니다(예: 보드 근처에서 손을 흔드는 것이 아니라 보드를 실제로 닦는 동작). 결과적으로, 이러한 시스템은 작업 수행에 불충분하며, 성공적인 수행을 위해 작업별 보상(task-specific rewards)을 통한 미세 조정이 필요합니다. 또한, 현재의 방법들은 배포 시 접촉을 할지 혹은 억제할지를 명시적으로 제어하는 능력이 부족하여, 동일한 동작 기하 구조가 서로 다른 접촉 동작을 요구하는 시나리오(예: 의자에 앉기 vs 접촉 없이 쪼그려 앉기)에서 활용도가 제한적입니다.

방법론

저자들은 키포인트 추적과 함께 명시적이고 테스트 타임에 제어 가능한 접촉 동작을 가능하게 하는 학습 프레임워크인 CONTACTMIMIC을 제안합니다. 이 시스템은 세 가지 핵심 축으로 구성됩니다.

1. 접촉 조건부 정책 (Contact-Conditioned Policy)

정책 $\pi_\theta(a_t | p_t, \bar{k}_t, \bar{c}_t)$는 세 가지 입력을 받습니다:

• 고유 수용 감각 (Proprioception, $p_t$): 로봇의 내부 상태.
• 키포인트 목표 (Keypoint Targets, $\bar{k}_t$): 신체 부위에 대한 참조 궤적.
• 이진 접촉 레이블 (Binary Contact Labels, $\bar{c}_t$): 특정 물체 부위와의 접촉 여부를 나타내는 시간 단계별, 신체 부위별 맵 (접촉 희망 시 1, 억제 시 0).

정책은 목표 관절 각도를 출력하며, 이는 PD 컨트롤러를 통해 토크로 변환됩니다. 주목할 점은, 시스템이 명시적인 접촉 센서를 입력으로 사용하지 않고, 고유 수용 감각을 통해 런타임 접촉 상태를 추론한다는 것입니다.

2. 보상 설계 (Reward Design)

정책이 접촉 명령을 준수하도록 훈련하기 위해, 저자들은 표준적인 추적 및 정규화 항과 함께 접촉 인식 보상을 도입했습니다:

• 접촉 레이블 일치 보상 ($r^{lm}_t$): 로봇의 신체 부위와 물체 표면 사이의 명령된 접촉 상태를 일치시키도록 장려합니다 (True Positive Rate 및 True Negative Rate). 두 가지 변형 모델이 사용됩니다: 균형 정확도(Balanced Accuracy, 기본값) 및 TP-FP (희소 접촉 동작용).
• 접촉 거리 보상 ($r^{cd}_t$):
  • 양의 항 (Positive term): 물체와 접촉하도록 의도된 신체 부위가 표면에 가깝게 유지되도록 장려합니다.
  • 음의 항 (Negative term): 접촉하지 않도록 의도된 신체 부위가 임계값 $\delta$ 이내로 가까워질 경우 페널티를 부여합니다.

3. 상관관계 해소를 위한 데이터 증강 (Data Augmentation to Break Correlations)

원시 인간-물체 상호작용 데이터에서는 키포인트 궤적과 접촉 패턴이 강력하게 상관되어 있습니다(특정 동작은 대개 특정 접촉 패턴을 수반함). 이를 그대로 학습하면, 정책이 접촉 명령을 무시하고 키포인트만으로 접촉을 추론할 위험이 있습니다.

이를 완화하기 위해, 저자들은 유사한 키포인트 구조를 가지면서도 서로 다른 접촉 레이블을 가진 동작 쌍을 생성하는 증강 스킴을 제 제안합니다:

• 접촉 레이블 반전 (Contact-Label Flipping): 원래의 궤적은 유지하되 접촉 레이블을 반전시켜, 로봇이 물체와 접촉할 경우 페널티를 부여합니다.
• 물체 제거 (Object Removal): 시뮬레이션에서 상호작용 물체를 제거하고 키포인트 궤적은 유지한 채 접촉 레이블을 0으로 설정합니다.
• 기하 구조 팽창 (Inflated Geometry): 리타겟팅 과정에서 물체의 충돌 메쉬를 팽창시켜 로봇이 물체를 우회하도록 강제하며, 이 과정에서 자연스럽게 접촉이 발생하지 않는 섭동된 궤적을 만들고 이를 0으로 레이블링합니다.

이러한 증강 쌍은 정책이 기하학적 구조만으로 접촉을 추론하는 대신, 명시적인 접촉 명령에 주의를 기울이도록 강제합니다.

주요 기여

1. 명시적 접촉 제어: 단일 정책이 동일한 키포인트 궤적에 대해 접촉을 하거나 억제하는 것을 전환할 수 있게 하여, 상호작용(예: 등받이에 기대어 앉기 vs 기대지 않고 앉기)에 대한 미세한 제어를 가능하게 하는 프레임워크를 제공합니다.
2. 태스크 프리 매니퓰레이션 (Task-Free Manipulation): 별도의 태스크별 보상 없이도 키포인트 및 접촉 궤적 추적만으로 물체 조작 작업(예: 상자 들기)을 완료할 수 있습니다.
3. 데이터 엔지니어링 전략: 특정 증강(반전, 제거, 팽창)을 통해 키포인트와 접촉 사이의 상관관계를 끊는 것이 진정한 접촉 조건부 행동을 학습하는 데 필수적임을 입증했습니다.
4. 고유 수용 감각을 통한 추론: 정책이 고유 수용 감각만을 통해 런타임 접촉 상태를 암묵적으로 추론할 수 있음을 발견하여, 추론 시 외부 접촉 센서의 필요성을 제거했습니다.

실험 결과

본 프레임워크는 시뮬레이션과 실제 환경 모두에서 10가지 다양한 인간-물체 상호작용 동작(예: 닦기, 앉기, 기대기, 발로 차기, 상자 들어 올리기)에 대해 Unitree G1 휴머노이드 로봇을 대상으로 평가되었습니다.

• 접촉 제어 가능성: 시뮬레이션 및 실세계 테스트에서 정책은 접촉 명령을 성공적으로 따랐습니다. 접촉 명령($\checkmark$) 시 로봇은 물리적 접촉을 형성했습니다(예: 화이트보드 지우기, 등받이에 기대기). 접촉 억제 명령($\times$) 시 로봇은 동일한 포즈 기하 구조를 유지하면서도 접촉을 피했습니다.
• 베이스라인과의 비교: 키포인트 전용 트래커인 BeyondMimic과 비교했을 때, CONTACTMIMIC은 유사한 키포인트 추적 정확도(MPJUE)를 유지하면서도 훨씬 높은 접촉 지표(접촉 신체 및 충격량)를 달성했습니다. BeyondMimic은 조작 작업을 위한 필수적인 물리적 접촉을 형성하는 데 실패했습니다.
• 어블레이션 연구 (Ablation Studies): 제안된 데이터 증강 전략을 제거했을 때 접촉 제어 능력이 크게 저하되었으며, 이는 증강이 접촉 동작을 기하학적 궤적으로부터 분리하는 데 필수적임을 확인해 줍니다.
• 실세계 전이 (Real-World Transfer): 정책은 실제 Unitree G1 로봇으로 성공적으로 전이되었으며, 5가지 서로 다른 동작(예: 닦기, 앉기, 기대기)에 대해 높은 성공률과 함께 견고한 접촉 제어 능력을 보여주었습니다.

의의 및 주장

본 논문은 CONTACTMIMIC이 휴머노이드가 환경과 우연히(incidentally)가 아닌 목적을 가지고(purposefully) 상호작용하는 단계로 나아가는 발판이라고 주장합니다. 명시적인 접촉 조건화를 도입함으로써, 저자들은 접촉이 풍부한 작업을 표현할 수 있는 단순하고 일반적인 인터페이스를 제공합니다.

그 의의는 다음과 같습니다:

• 기하 구조와 접촉의 분리: 접촉 동작이 동작의 기하학적 궤적과 독립적으로 제어될 수 있음을 증명했습니다.
• 태스크별 보상 제거: 복잡한 조작 작업을 단순히 접촉 및 키포인트 궤적을 매칭하는 것만으로 학습할 수 있음을 보여줌으로써, 수작업으로 만든 태스크 보상의 필요성을 없앴습니다.
• 확장성: 이 접근 방식은 하나의 정책 아키텍처가 레이블을 전환하는 것만으로 다양한 상호작용 모드(접촉 vs 비접촉)를 처리할 수 있음을 시사하며, 더 다재다능하고 적응력 있는 휴머노이드 로봇을 향한 경로를 제시합니다.

저자들은 현재 동작당 별도의 정책을 훈련해야 한다는 점, 고품질의 인간-물체 상호작용 데이터셋(HUMOTO)에 대한 의존성, 그리고 단일 로봇 플랫폼에서의 평가와 같은 한계점을 인정했습니다. 향후 연구로는 여러 동작에 대한 공동 훈련(joint training) 및 야생(in-the-wild) 비디오 데이터의 활용이 제안되었습니다.