X-Diffusion: Training Diffusion Policies on Cross-Embodiment Human Demonstrations

1. 문제 정의 (Problem)

로봇 학습에서 인간 시연 (Human Demonstrations) 은 대량의 데이터를 쉽게 수집할 수 있어 확장성 (Scalability) 이 뛰어나지만, 구현체 (Embodiment) 의 차이로 인해 직접적인 적용에 한계가 있습니다.

• 구현체 불일치: 인간과 로봇은 신체 구조와 동역학 (Dynamics) 이 다릅니다. 예를 들어, 인간은 손가락을 이용해 접시를 미끄러뜨려 들 수 있지만, 병렬 그리퍼를 가진 로봇은 이를 밀거나 미는 방식으로만 작동할 수 있습니다.
• 기존 방법의 한계:
  • 단순 혼합 학습 (Naive Co-training): 인간과 로봇 데이터를 모두 섞어 학습하면, 로봇이 물리적으로 실행 불가능한 동작 (Kinematically/Dynamically infeasible actions) 을 학습하여 성능이 저하됩니다.
  • 수동 필터링: 실행 가능한 데이터만 선별하는 것은 비용이 많이 들고, 인간 시연의 풍부한 맥락 (객체 상호작용, 작업 의도 등) 을 버리게 됩니다.
• 핵심 질문: 로봇이 실행할 수 없는 인간 시연 데이터도 유용한 정보 (작업 구조, 객체 상호작용) 를 포함하고 있으므로, 이를 어떻게 활용하면서도 로봇의 물리적 제약을 해치지 않을 수 있을까?

2. 방법론 (Methodology)

저자들은 Ambient Diffusion의 아이디어를 차용하여 X-DIFFUSION 프레임워크를 제안합니다. 핵심 아이디어는 **"인간 동작을 로봇 동작의 노이즈가 많은 (Noisy) 버전으로 간주"**하는 것입니다.

A. 기본 원리: 노이즈에 의한 구분 불가능성 (Indistinguishability under Noise)

• 확산 정책 (Diffusion Policy) 은 노이즈가 추가된 동작을 제거 (Denoising) 하는 과정을 학습합니다.
• 확산 과정 (Forward Diffusion) 에서 노이즈가 충분히 커지면, 인간과 로봇의 구현체 특이적 차이 (예: 손가락 움직임 vs 그리퍼 움직임) 는 사라지고 **작업의 본질적인 구조 (Task structure)**만 남게 됩니다.
• 즉, 높은 노이즈 단계에서는 인간과 로봇의 동작 분포가 서로 구분할 수 없게 됩니다.

B. X-DIFFUSION 파이프라인

1. 데이터 통합 (Unified Representation):
   • 인간 시연 데이터에서 손 동작을 추출하여 로봇의 엔드 이펙터 (End-effector) 좌표계로 매핑 (Retargeting) 합니다.
   • 상태 (State) 는 Grounded SAM 2 를 사용하여 객체 분할 마스크와 엔드 이펙터 포즈로 표현합니다.
2. 구분 불가능성 단계 분류기 학습 (Classifier Training):
   • 노이즈가 추가된 동작 ($A_k$) 과 현재 상태 ($s_t$) 를 입력받아, 해당 동작이 '로봇'에서 왔는지 '인간'에서 왔는지 분류하는 이진 분류기를 학습합니다.
   • 최소 구분 불가능 단계 ($k^*$): 각 인간 동작 시퀀스마다, 분류기가 해당 동작을 로봇 동작으로 오인할 확률이 50% 이상이 되는 가장 빠른 확산 단계 ($k$) 를 정의합니다.
     • 로봇과 유사한 인간 동작 (예: 위에서 잡기) 은 낮은 노이즈 단계 ($k^*$가 작음) 에서도 구분되지 않습니다.
     • 로봇과 동역학적으로 불일치하는 동작 (예: 옆에서 잡기) 은 높은 노이즈 단계 ($k^*$가 큼) 까지 인간으로 분류됩니다.
3. 선택적 학습 (Selective Training):
   • 확산 정책 손실 함수: 로봇 데이터는 모든 단계에서 학습하지만, 인간 데이터는 $k \ge k^*$인 경우에만 손실 함수에 포함시킵니다.
   • 효과:
     • 낮은 노이즈 단계: 로봇의 물리적 제약을 준수하는 정밀한 동작만 학습 (인간 데이터 제외).
     • 높은 노이즈 단계: 구현체 차이는 사라지고 작업의 거시적 가이드라인만 학습 (인간 데이터 포함).

3. 주요 기여 (Key Contributions)

1. X-DIFFUSION 프레임워크 제안: 인간과 로봇의 구현체 차이를 '노이즈'로 해석하고, Ambient Diffusion 기법을 적용하여 인간 데이터를 로봇 학습에 통합하는 새로운 방법론을 제시했습니다.
2. 동적 적응형 필터링: 수동 필터링이나 단순 혼합 학습과 달리, 각 동작의 특성에 따라 학습에 포함할 노이즈 단계를 동적으로 결정하는 분류기 기반 메커니즘을 개발했습니다.
3. 물리적 실행 가능성 보장: 로봇이 실행할 수 없는 동작을 학습하지 않으면서도, 인간 시연이 제공하는 풍부한 작업 맥락 (Task intent) 을 최대한 활용합니다.

4. 실험 결과 (Results)

5 가지 실제 로봇 조작 작업 (서랍 닫기, 팬을 접시 위에 올리기, 접시 밀기, 머그컵 거치, 병 세우기) 에서 평가되었습니다.

• 성능 향상: X-DIFFUSION 은 로봇 데이터만 학습한 베이스라인 (Diffusion Policy) 과 기존 혼합 학습 방법들 (Point-Policy, Motion Tracks, DemoDiffusion) 보다 평균 16% 더 높은 성공률을 기록했습니다.
• 비교 분석:
  • Naive Co-training: 인간 데이터를 무조건 섞으면 로봇이 비현실적인 동작을 학습하여 성능이 오히려 저하되거나 개선되지 않았습니다.
  • 수동 필터링 (Filtered): 실행 가능한 인간 데이터만 선별하여 학습한 경우보다 X-DIFFUSION 이 더 좋은 성능을 보였습니다. 이는 X-DIFFUSION 이 '불가능'한 데이터에서도 노이즈가 높은 단계에서 유용한 신호를 추출했기 때문입니다.
• 전이 학습 (Transfer Learning): 작업에 따라 인간 데이터의 활용도가 달랐으며, 인간 시연이 로봇 동역학과 더 잘 맞는 작업 (예: Mug On Rack) 일수록 더 큰 성능 향상을 보였습니다.

5. 의의 및 결론 (Significance)

• 확장성: 로봇 데이터 수집의 높은 비용과 시간을 극복하고, 쉽게 수집 가능한 인간 비디오 데이터를 효과적으로 활용할 수 있는 길을 열었습니다.
• 안전한 학습: 로봇의 물리적 한계를 해치지 않으면서도 인간 시연의 지식을 전수받을 수 있는 안전한 학습 패러다임을 제시합니다.
• 미래 전망: 이 연구는 대규모 인터넷 기반 인간 비디오 데이터를 로봇 학습에 활용하는 데 있어 중요한 기초가 되며, 향후 더 복잡하고 다양한 환경에서의 로봇 학습에 적용될 수 있습니다.

요약하자면, X-DIFFUSION 은 인간과 로봇의 차이로 인해 발생하는 '동역학 불일치' 문제를 노이즈 확산 과정을 통해 해결함으로써, 로봇이 실행 불가능한 동작을 배우지 않으면서도 인간 시연의 풍부한 정보를 효과적으로 학습하는 혁신적인 방법론입니다.