UniPrototype: Humn-Robot Skill Learning with Uniform Prototypes

논문 요약: UniPrototype (인간 - 로봇 기술 학습을 위한 균일 프로토타입)

1. 문제 정의 (Problem Statement)

로봇 학습 분야에서 가장 근본적인 난제 중 하나는 **데이터 부족 (Data Scarcity)**입니다. 인간은 모션 캡처 데이터나 인터넷 영상 등 방대한 자원을 통해 기술을 학습할 수 있지만, 로봇은 실제 물리적 실험 (Trials) 에 제한이 있어 학습 데이터가 매우 부족합니다.

기존의 '시범 학습 (Imitation Learning)'은 인간과 로봇 간의 **구현체 차이 (Embodiment Gap)**로 인해 한계가 있습니다. 인간과 로봇은 형태 (Morphology), 운동학 (Kinematics), 행동 공간 (Action Space) 이 크게 다르기 때문에, 인간의 영상을 단순히 로봇의 궤적으로 매핑하는 것은 어렵습니다. 특히 기존의 방법들은 대부분 각 시간 단계 (Frame) 를 하나의 원시 행동 (Primitive) 에 1:1 로 매핑하여, 여러 행동이 동시에 혼합되거나 중첩되는 복잡한 조작 (예: 물을 따르면서 회전시키기) 을 표현하지 못했습니다.

2. 방법론 (Methodology)

저자들은 인간과 로봇의 시범 데이터에서 **공유되는 구성적 프로토타입 (Compositional Prototypes)**을 발견하고 정렬하는 새로운 프레임워크인 UniPrototype을 제안합니다. 이 프레임워크는 크게 세 단계로 구성됩니다.

가. 구성적 프로토타입 학습 (Compositional Prototype Learning)

• 소프트 할당 (Soft Assignment) 메커니즘: 기존의 클러스터링이 하나의 프레임을 하나의 프로토타입에만 할당하는 것과 달리, UniPrototype 은 여러 프로토타입이 동시에 활성화되도록 허용합니다. 이는 '들기', '회전', '잡기' 등이 동시에 일어나는 혼합된 행동 (Blended Skills) 을 자연스럽게 표현합니다.
• 비대칭 정규화 (Asymmetric Normalization): 행 단위 정규화를 적용하여 각 프로토타입 표현이 유효한 확률 분포를 형성하면서도 여러 행동이 같은 프로토타입을 활성화할 수 있게 합니다.
• 자기지도 학습 (Self-Supervised Learning): 시간적 일관성 (Temporal Coherence) 과 데이터 증강 (Augmentation) 을 통해 인간과 로봇 데이터 모두에서 동일한 프로토타입이 일관되게 활성화되도록 학습합니다.

나. 적응형 프로토타입 선택 (Adaptive Prototype Selection)

• 엔트로피 기반 최적화: 작업의 복잡도에 따라 필요한 프로토타입의 수 ($K$) 를 자동으로 결정합니다.
• 할당 엔트로피 (Assignment Entropy) 의 변화율을 모니터링하여, 더 이상 의미 있는 패턴을 포착하지 못하는 시점에서 프로토타입 수를 고정합니다. 이를 통해 단순한 작업에는 적은 수의 프로토타입을, 복잡한 작업에는 풍부한 어휘를 자동으로 할당합니다.

다. 유연한 태스크 실행 (Flexible Task Execution)

• 스킬 정렬 모듈 (Skill Alignment Module, SAM): 인간의 시퀀스에서 추출된 프로토타입 계획을 로봇의 현재 상태와 어텐션 (Attention) 메커니즘을 통해 동적으로 정렬합니다. 이는 속도 차이나 실패를 보상하며 강건한 실행을 가능하게 합니다.
• 확산 기반 정책 (Diffusion-based Policy): 발견된 프로토타입 시퀀스를 조건으로 하여 로봇의 행동을 생성합니다. 확산 모델은 다중 모드 행동 분포를 자연스럽게 처리하여, 여러 활성화된 프로토타입을 부드럽게 혼합 (Blending) 하여 연속적인 동작을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 소프트 할당을 통한 구성적 프로토타입 발견: 여러 원시 행동이 동시에 활성화되도록 하여, 물 붓기나 닦기 같은 혼합된 기술을 정밀하게 포착합니다.
2. 엔트로피 기반 적응형 선택 전략: 작업 복잡도에 따라 프로토타입 수를 자동으로 조절하여, 수동 하이퍼파라미터 튜닝 없이 단순 작업부터 복잡한 작업까지 확장 가능하게 합니다.
3. 광범위한 실험을 통한 검증: 시뮬레이션 및 실제 로봇 환경에서 기존 방법들보다 뛰어난 성능을 입증하고, 인간 데이터에서 로봇으로의 효과적인 지식 전이를 실현했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 성능 (RLBench):
  • 성능: UniPrototype 은 다양한 실행 속도에서 기존 방법 (GCD Policy, XSkill 등) 을 압도했습니다. 특히 인간과 로봇의 속도 차이가 2 배 ($\times 2.0$) 일 때, 기존 방법들의 성능이 급격히 떨어지는 반면 UniPrototype 은 **71.2%**의 높은 성공률을 유지했습니다.
  • 복잡한 작업: '물 붓기 (Pour water)'나 '다단계 작업'과 같이 연속적이고 혼합된 행동이 필요한 작업에서 XSkill 대비 약 7~10% 높은 성공률을 기록했습니다.
  • 적응성: 단순 작업 (Reach-Grasp) 에는 약 4872 개의 프로토타입을, 복잡한 작업 (Tool-use, Multi-step) 에는 120156 개의 프로토타입을 자동으로 선택하여 효율성을 입증했습니다.
• 실제 로봇 실험 (Franka Research3):
  • 4 가지 실제 작업 (테이블 닦기, 컵 잡기, 서랍 열기, 도구 사용) 에서 평균 **77.1%**의 성공률을 달성했습니다.
  • 기존 최첨단 방법인 XSkill (54.2%) 과 GCD Policy (26.1%) 보다 월등히 우수한 성능을 보였으며, 특히 연속적인 원형 운동이 필요한 '테이블 닦기' 작업에서 큰 개선을 보였습니다.
  • 훈련 시 보지 못한 환경 (다른 컵 크기, 조명 변화, 위치 오차) 에서도 **67.3%**의 성공률을 유지하며 뛰어난 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

UniPrototype 은 로봇 학습의 패러다임을 '궤적 매칭 (Trajectory Matching)'에서 '프로토타입 발견 및 재구성 (Discovery and Recomposition)'으로 전환시켰다는 점에서 의의가 큽니다.

• 구현체 격차 해소: 형태가 다른 인간과 로봇 간의 기능적 동등성 (Functional Equivalence) 을 프로토타입을 통해 매핑함으로써, 방대한 인간 영상 데이터를 로봇 학습에 효과적으로 활용할 수 있게 했습니다.
• 강건성과 유연성: 여러 원시 행동의 동시 활성화와 확산 정책을 통해 속도 변화나 환경적 교란에 강건하며, 새로운 작업을 기존 프로토타입의 조합으로 유연하게 수행할 수 있습니다.
• 확장성: 데이터 기반의 적응형 프로토타입 선택을 통해 다양한 복잡도의 작업에 자동으로 확장 가능한 스케일러블한 솔루션을 제시했습니다.

결론적으로, UniPrototype 은 데이터 부족 문제를 해결하고 인간에서 로봇으로의 기술 전이를 가능하게 하는 확장 가능하고 일반화 가능한 새로운 접근법을 제시합니다.