DemoDiffusion: One-Shot Human Imitation using pre-trained Diffusion Policy

이 논문은 특정 작업별 학습이나 인간 - 로봇 쌍 데이터 없이도 단일 인간 데모만으로도 로봇이 복잡한 조작 과제를 성공적으로 수행할 수 있도록, 운동학적 리타게팅과 사전 훈련된 확산 정책을 결합한 'DemoDiffusion' 방법을 제안합니다.

핵심

데모디퓨전 (DemoDiffusion): 로봇이 한 번만 보면 따라 하는 마법

이 논문은 **"로봇이 인간의 행동을 한 번만 보고도, 그 일을 척척 해낼 수 있게 하는 방법"**을 소개합니다. 기존에는 로봇에게 새로운 일을 가르치려면 수천 번의 시뮬레이션이나 로봇 자체의 반복 훈련이 필요했지만, 이 기술은 인간이 한 번 시범을 보이면 그걸로 끝입니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎬 1. 핵심 아이디어: "유능한 조수"와 "초보 지시자"의 만남

이 방법은 두 가지 핵심 인물이 협력하는 방식입니다.

1. 초보 지시자 (Kinematic Retargeting):

   • 역할: 인간이 시범을 보일 때, 로봇의 손가락 위치를 인간 손가락 위치에 맞춰 대략적으로 따라 하게 합니다.
   • 비유: 마치 초보 요리사가 셰프의 동작을 보고 따라 하려 하지만, 손이 작고 힘이 약해서 칼질이나 재료를 잡는 방식이 어색하고 엉뚱하게 되는 상황입니다. "아, 셰프가 이렇게 잡았으니 나도 이렇게 잡아야지"라고 생각하지만, 실제 로봇의 몸체 구조 (Embodiment) 가 인간과 달라서 실패할 확률이 매우 높습니다.

2. 유능한 조수 (Pre-trained Diffusion Policy):

   • 역할: 이미 수만 번의 로봇 훈련을 통해 "어떤 동작이 안전하고 자연스러운지"를 완벽하게 알고 있는 베테랑 로봇 전문가입니다.
   • 비유: 이 조수는 "이렇게 잡으면 물건이 떨어질 거야", "이렇게 움직이면 테이블을 긁을 거야"라고 **상식 (Distribution)**을 가지고 있습니다. 하지만 새로운 일을 처음 해보는 상황에서는 무엇을 해야 할지 막막할 수 있습니다.

🌟 데모디퓨전의 마법:
이 두 사람을 연결합니다. 초보자가 시키는 대로 대략적인 동작을 시작하게 한 뒤, 유능한 조수가 **"아, 그건 좀 위험하네. 내 경험상 이렇게 살짝 고쳐야 해"**라고 실시간으로 수정해 줍니다.

---

🛠️ 2. 작동 원리: "노이즈 제거"라는 필터

이 기술의 핵심은 '노이즈 제거 (Denoising)' 과정입니다.

1. 시작 (인간 시범): 인간이 노트북을 닫는 영상을 보여줍니다.
2. 대략적 변환: 로봇이 그 영상을 보고 "내 손으로 그렇게 해보자"라고 대충 계산합니다. (이때 로봇의 손이 노트북 가장자리를 빗나가거나, 너무 세게 잡을 수 있습니다.)
3. 혼란 추가 (노이즈): 이 대략적인 동작에 약간의 '혼란 (노이즈)'을 섞습니다. 마치 초보자가 "어? 내가 뭘 잘못 잡았나?"라고 잠시 멈추는 순간입니다.
4. 유능한 조수의 수정 (디퓨전): 베테랑 로봇 조수가 이 혼란스러운 동작을 보고, **"아, 원래 의도는 노트북을 닫는 거였지. 내 경험상 이렇게 부드럽게 닫아야 성공이야"**라고 실제 가능한 동작으로 다시 다듬어 줍니다.

이 과정을 반복하면, 로봇은 **인간의 의도 (노트북 닫기)**는 유지하면서, 자신에게 맞는 자연스러운 동작으로 완성됩니다.

---

📊 3. 실제 성과: 얼마나 잘할까요?

논문에서는 8 가지 다양한 실생활 작업 (노트북 닫기, 전자레인지 닫기, 바구니 끌기, 테이블 닦기 등) 을 테스트했습니다.

• 기존 로봇 정책 (유능한 조수만): 새로운 일을 처음 해보면 **13.8%**만 성공했습니다. (너무 막막해서 실패)
• 단순 모방 (초보 지시자만): 인간 동작을 그대로 따라 하려다 **52.5%**만 성공했습니다. (몸이 달라서 빗나감)
• 데모디퓨전 (두 사람 협력): **83.8%**의 성공률을 기록했습니다!

특히, 기존 로봇이 아예 실패했던 작업들 (예: 노트북 닫기, 테이블 닦기) 에서도 데모디퓨전은 인간 시범을 보고 성공적으로 해냈습니다.

---

💡 4. 왜 이것이 중요한가요?

• 훈련 불필요: 로봇을 새로운 환경에 데려가서 수백 번 연습시킬 필요가 없습니다. 인간이 한 번 시범을 보이면 바로 작동합니다.
• 안전하고 실용적: 로봇이 스스로 시행착오를 겪으며 배우는 (강화학습) 방식은 위험할 수 있지만, 이 방법은 이미 안전한 동작을 아는 로봇이 인간을 도와주므로 안전합니다.
• 일상생활 적용 가능: 집안일, 사무실 작업 등 예측 불가능한 환경에서도 유연하게 대처할 수 있습니다.

🚀 요약

데모디퓨전은 **"로봇이 인간의 시범을 보고, 자신의 경험을 바탕으로 그 동작을 자연스럽게 수정해 완성하는 기술"**입니다.

마치 초보자가 셰프의 레시피를 보고 요리할 때, 옆에 있는 베테랑 셰프가 "소금 좀 덜 넣고, 이렇게 저렇게 섞어봐"라고 조언해 주면, 초보자가 훌륭한 요리를 완성하는 것과 같습니다.

이 기술 덕분에 로봇은 이제 복잡한 프로그래밍 없이도, 우리가 한 번 보여주기만 하면 집안일을 척척 도와줄 수 있는 시대가 멀지 않았습니다.

기술 요약

1. 문제 정의 (Problem Statement)

로봇 조작 시스템을 비정형적인 인간 환경에 쉽게 배포하기 위해서는 '범용 (Generalist)' 정책이 필요하지만, 기존 접근법에는 다음과 같은 한계가 존재합니다.

• Zero-shot 실패: 대규모 데이터로 학습된 범용 로봇 정책 (Diffusion Policy 등) 은 새로운 환경이나 보지 못한 작업에 대해 제로샷 (Zero-shot) 으로 배포될 때 성능이 크게 저하되거나 실패합니다.
• 데이터 수집의 어려움: 특정 작업에 맞춰 로봇을 미세 조정 (Fine-tuning) 하려면 해당 환경에서 로봇 시연 데이터를 수집해야 하는데, 이는 시간 소모가 크고 일반 사용자에게는 어렵습니다.
• 기존 인간 모방의 한계:
  • 운동학적 재할당 (Kinematic Retargeting): 인간의 손 동작을 로봇 엔드 이펙터에 직접 매핑하는 방식은 구조적 유사성은 있지만, 인간과 로봇의 신체적 차이 (Embodiment Mismatch) 와 폐루프 (Open-loop) 실행의 한계로 인해 정밀도가 낮고 노이즈에 취약합니다.
  • 온라인 강화학습 (Online RL): 인간 시연을 보상으로 사용하여 학습하는 방식은 신체 격차를 해결할 수 있지만, 테스트 시간 (Test-time) 에 수 시간의 상호작용과 리셋이 필요하여 실용성이 떨어집니다.

핵심 목표: 별도의 로봇 시연 데이터 수집이나 테스트 시간 학습 없이, **단 하나의 인간 시연 (One-shot)**만으로 범용 확산 정책 (Pre-trained Diffusion Policy) 을 활용하여 로봇이 새로운 조작 작업을 성공적으로 수행하도록 하는 것입니다.

2. 방법론 (Methodology: DemoDiffusion)

DemoDiffusion 은 두 가지 핵심 통찰에 기반하여 설계되었습니다.

1. 전통적 통찰: 인간 시연의 손 운동 궤적은 로봇 엔드 이펙터가 따라야 할 대략적인 궤적 (Prior) 을 제공합니다. 이를 운동학적 재할당 (Kinematic Retargeting) 을 통해 로봇의 오픈 루프 궤적으로 변환할 수 있습니다.
2. 확산 모델의 활용: 변환된 궤적은 전체적인 구조는 맞지만, 현재 관측치에 기반한 '타당한 로봇 행동 (Plausible Robot Actions)' 분포 내에서는 최적이지 않을 수 있습니다. 이를 해결하기 위해 미리 훈련된 범용 확산 정책을 사용하여 궤적을 정제 (Refine) 합니다.

구체적인 프로세스:

1. 운동학적 재할당 (Kinematic Retargeting):
   • 인간 시연 비디오에서 3D 손 포즈 (Hand Pose) 를 추출합니다.
   • 이를 로봇의 엔드 이펙터 포즈로 변환하여 초기 오픈 루프 궤적 $\{\hat{a}_t\}$을 생성합니다.
2. 확산 모델 기반 노이즈 제거 (Closed-Loop Denoising):
   • 생성된 초기 궤적에 가우시안 노이즈를 추가하여 중간 확산 단계 $s^*$ ($0 < s^* < S$) 에서 시작합니다.
   • 역 확산 과정 (Reverse Diffusion): 미리 훈련된 확산 정책 $\bar{\pi}_\theta$를 사용하여 로봇의 실시간 관측치 ($o_{\le t}$) 를 조건으로 노이즈를 점진적으로 제거하며 궤적을 정제합니다.
   • 이 과정에서 정책은 인간 시연의 고수준 구조를 유지하면서, 로봇의 신체적 제약과 환경의 물리적 법칙에 부합하도록 저수준의 실행 불가능한 부분을 수정합니다.
3. 하이퍼파라미터 ($s^*/S$):
   • $s^*/S$는 인간 시연에 대한 충실도 (Faithfulness) 와 로봇 정책의 타당성 (Likelihood) 사이의 균형을 조절합니다.
   • 값이 0 에 가까우면 순수한 운동학적 재할당이 되고, 1 에 가까우면 기존 확산 정책의 출력이 됩니다.

3. 주요 기여 (Key Contributions)

• 새로운 배포 패러다임: 로봇 시연 데이터 수집이나 온라인 RL 없이, 단일 인간 시연과 미리 훈련된 확산 정책만으로 새로운 작업을 수행하는 DemoDiffusion 프레임워크를 제안했습니다.
• 폐루프 정제 메커니즘: 단순한 재할당이 아닌, 확산 모델을 통해 폐루프 (Closed-loop) 방식으로 궤적을 정제하여 신체 격차와 환경 변화를 보상합니다.
• 범용성: 특정 작업에 대한 추가 학습 없이도 다양한 조작 작업 (잡기, 밀기, 닫기 등) 에 적용 가능합니다.

4. 실험 결과 (Results)

실험은 시뮬레이션 (다재능 잡기) 과 실제 세계 (8 가지 다양한 조작 작업) 에서 수행되었습니다.

• 실제 세계 조작 (Real-World Manipulation):

  • 8 가지 작업: 노트북 닫기, 전자레인지 닫기, 바구니 끌기, 테이블 닦기, 커튼 다림질, 곰 인형 들기, 그릇 옮기기, 바나나 옮기기 등.
  • 성능 비교:
    • DemoDiffusion: 평균 성공률 83.8%
    • 기존 운동학적 재할당 (Kinematic Retargeting): 평균 성공률 52.5%
    • 기존 범용 정책 (Pi-0, Zero-shot): 평균 성공률 13.8%
  • 의미: 기존 정책이 완전히 실패하는 작업 (예: 바나나 옮기기, 곰 인형 들기) 에서도 DemoDiffusion 은 인간 시연을 통해 성공적으로 작업을 수행했습니다. 특히 정밀한 접촉이 필요한 작업 (노트북 닫기, 테이블 닦기) 에서 성능 향상이 두드러졌습니다.

• 시뮬레이션 (Dexterous Grasping):

  • 다양한 크기의 물체를 잡는 작업에서 DemoDiffusion 은 베이스라인 (재할당 및 정책 단독) 을 일관되게 능가했습니다. 특히 작은 물체 잡기에서 큰 개선을 보였습니다.

• 강건성 (Robustness):

  • 노이즈: 추적된 3D 손 키포인트에 5cm 의 노이즈를 추가해도 성능이 크게 저하되지 않았습니다.
  • 재할당 방식: 엄지손가락과 검지손가락만 사용하는 등 재할당 방식이 비최적이어도 DemoDiffusion 이 이를 보정하여 성공률을 높였습니다.

5. 의의 및 결론 (Significance)

• 접근성 향상: 로봇 조작 작업을 위해 전문가가 로봇을 직접 시연하거나 복잡한 보상을 설계할 필요 없이, 일반 사용자가 스마트폰이나 카메라로 시연만 보여주면 로봇이 작업을 수행할 수 있게 합니다.
• 실용성: 테스트 시간 학습 (Test-time training) 이나 온라인 상호작용이 불필요하므로, 안전이 중요한 실제 환경에서도 즉시 배포가 가능합니다.
• 미래 방향: 본 연구는 인간 모방 로봇 제어의 새로운 기준을 제시하며, 온라인 RL 기반 적응 전략을 위한 탐색 (Exploration) 전략으로도 확장될 수 있는 가능성을 보여줍니다.

한계점:

• 인간과 로봇의 신체 구조가 너무 달라 전략이 달라져야 하는 경우에는 적용이 어려울 수 있습니다.
• 재사용 가능한 범용 정책을 생성하는 것이 아니라 매번 시연을 기반으로 동작을 생성하므로, 동일한 작업을 반복할 때마다 시연이 필요합니다.
• 3D 손 포즈 추정의 정확도에 의존적이며, 인간과 로봇의 동작 타이밍/속도 정렬에 대한 가정이 필요합니다.

요약하자면, DemoDiffusion은 인간의 시연을 '초기값'으로, 미리 훈련된 확산 정책을 '정제 도구'로 활용하여, 별도의 학습 없이도 로봇이 복잡한 조작 작업을 인간처럼 수행할 수 있게 하는 획기적인 방법론입니다.