UniBYD: A Unified Framework for Learning Robotic Manipulation Across Embodiments Beyond Imitation of Human Demonstrations

Each language version is independently generated for its own context, not a direct translation.

🍳 문제: "인간 요리사의 레시피를 로봇이 그대로 따라 하면 실패한다?"

기존에 로봇을 가르칠 때는 인간 요리사 (전문가) 가 요리를 하는 영상을 보여주고, 로봇이 그 동작을 1:1 로 똑같이 따라 하도록 (모방 학습) 했습니다.

하지만 여기서 큰 문제가 생깁니다.

인간: 손가락이 5 개이고, 관절이 유연합니다.
로봇 A: 손가락이 2 개뿐인 집게입니다.
로봇 B: 손가락이 3 개인 특수한 손입니다.

[비유]
인간 요리사가 "손가락 5 개로 컵을 잡고 돌려라"라고 시연하면, 2 개 손가락인 로봇은 그걸 따라 하려고 애쓰다가 컵을 떨어뜨리거나, 3 개 손가락인 로봇은 어색하게 컵을 잡게 됩니다. 마치 인간이 쓴 레시피를 그대로 읽어서, 손가락이 2 개뿐인 로봇이 복잡한 요리를 하려다 실패하는 상황과 같습니다.

기존 기술들은 "인간의 동작을 얼마나 잘 따라했나"만 중요하게 여겨서, 로봇이 가진 자신의 장점 (손가락 개수, 힘 등) 을 살리지 못해 성능이 떨어졌습니다.

💡 해결책: "UniBYD (유니바이드)" - 로봇을 위한 맞춤형 요리 학교

이 논문에서 제안한 UniBYD는 로봇에게 "인간의 동작을 그대로 따라 하라"가 아니라, **"인간의 목표를 보고, 너의 손 모양에 맞춰 가장 잘하는 방법을 스스로 찾아내라"**라고 가르칩니다.

세 가지 핵심 비유로 설명해 드릴게요.

1. 🎨 "만능 캔버스" (UMR - 통합 형태 표현)

다양한 로봇 (2 개, 3 개, 5 개 손가락) 을 하나의 시스템으로 가르치려면, 서로 다른 모양을 통일된 언어로 번역해줘야 합니다.

비유: 마치 모든 로봇의 손 모양을 하나의 '만능 캔버스' 위에 그려넣는 것입니다. 2 개 손가락이든 5 개 손가락이든, 로봇은 이 캔버스 위에서 "내 손은 이렇게 생겼어"라고 인식하게 되어, 어떤 로봇이든 같은 수업을 들을 수 있게 됩니다.

2. 🚂 "점진적인 운전 교습" (동적 PPO & 보상 어닐링)

로봇이 처음부터 혼자 운전하면 사고가 나기 쉽습니다. UniBYD 는 세 단계로 가르칩니다.

1 단계 (초보자): 인간 요리사 옆에 서서 "완벽하게 따라 하라". 이때는 인간이 로봇의 손을 잡고 (Shadow Engine) 움직여주어 실수를 막아줍니다.
2 단계 (수습생): 인간이 손을 살짝 떼고 "너도 해봐, 하지만 실패하면 다시 도와줄게". 로봇이 스스로 시도해보지만, 인간이 뒤에서 살짝 도와주어 큰 실수를 막아줍니다.
3 단계 (프로): 인간은 완전히 사라지고, 로봇은 **"내 손에 맞는 최고의 방법을 찾아봐"**라고 합니다. 이때부터 로봇은 인간이 한 동작을 그대로 복사하지 않고, 자신의 손가락 개수에 맞춰 가장 효율적인 새로운 동작을 개발합니다.

3. 🛡️ "보이지 않는 안전망" (Shadow Engine)

초보 로봇이 처음에 실수하면, 물체가 바닥에 떨어져서 학습이 중단됩니다.

비유: **보이지 않는 안전망 (Shadow Engine)**이 있습니다. 로봇이 처음에 실수해서 물체가 떨어지려고 하면, 이 안전망이 물체를 살짝 들어 올려서 "아직 실패한 게 아니야, 계속 해봐"라고 도와줍니다. 로봇이 충분히 연습해서 실력이 늘면, 이 안전망은 서서히 사라집니다.

🏆 결과: "로봇이 인간보다 더 잘한다?"

이 방법으로 실험해 보니 놀라운 결과가 나왔습니다.

성공률: 기존 최고 기술 (SOTA) 보다 약 44% 더 높은 성공률을 기록했습니다.
적응력: 2 개 손가락 로봇은 컵을 비스듬히 잡는 법을, 3 개 손가락 로봇은 아래를 받쳐 잡는 법을 스스로 찾아냈습니다. 인간이 시연한 동작과 완전히 달랐지만, 로봇 자신의 손 모양에 맞춰 가장 안정적으로 물건을 잡는 방법을 찾아낸 것입니다.

📝 한 줄 요약

"인간의 손짓을 그대로 복사하는 로봇은 실패합니다. UniBYD 는 로봇에게 인간의 '목표'만 보여주고, 로봇 스스로 자신의 손 모양에 맞춰 가장 똑똑한 방법을 찾아내도록 가르칩니다."

이 기술은 앞으로 다양한 모양의 로봇들이 인간의 일을 더 잘, 더 똑똑하게 도와줄 수 있는 기반이 될 것입니다.

Each language version is independently generated for its own context, not a direct translation.

1. 연구 배경 및 문제 정의 (Problem)

구현체 간 격차 (Embodiment Gap): 인간의 손과 다양한 형태 (2 개, 3 개, 5 개 손가락 등) 의 로봇 손 사이에는 해부학적, 동역학적 차이가 존재합니다. 기존 연구들은 인간의 시연 (Human Demonstrations) 을 단순히 모방 (Imitation) 하거나, 강제로 매핑 (Retargeting) 하는 데 그쳐, 로봇의 물리적 특성에 최적화된 행동을 학습하지 못했습니다.
기존 방법의 한계:
- 모방 학습 (Imitation Learning): 인간의 동작을 그대로 복사하려다 보니, 로봇의 구조적 제약 (손가락 개수, 자유도 등) 을 고려하지 못해 작업 성공률이 낮습니다.
- 강화 학습 (Reinforcement Learning, RL): 인간 시연을 완전히 배제하고 보상 함수만 기반으로 학습하는 경우, 탐색 공간이 너무 넓어 수렴이 어렵거나 국소 최적해 (Local Optima) 에 빠지기 쉽습니다.
- 초기 학습의 불안정성: 초기 정책이 미숙할 때 발생하는 상태 드리프트 (State Drift) 로 인해 에피소드가 조기에 종료되어 학습 효율이 떨어집니다.
- 범용성 부재: 대부분의 기존 방법은 특정 로봇 손에 맞춰져 있어, 다양한 형태의 로봇 (2~5 개 손가락) 에 적용 가능한 통합 프레임워크가 부족했습니다.

2. 제안 방법: UniBYD (Methodology)

저자들은 인간의 시연을 넘어 로봇의 물리적 특성에 맞춰 조작 정책을 발견하는 UniBYD라는 통합 강화 학습 프레임워크를 제안합니다.

2.1. 통합 형태 표현 (Unified Morphological Representation, UMR)

다양한 로봇 손의 구조적 차이를 해결하기 위해 UMR을 도입했습니다.
손의 관절 상태 (각도, 속도) 를 최대 자유도 (DOF) 기준으로 패딩 (Zero-padding) 하여 고정된 차원의 벡터로 변환합니다.
손가락 개수, 자유도, 강체 수 등 정적 형태 정보를 임베딩하여 정책 네트워크가 특정 로봇의 물리적 특성을 인식하도록 합니다.

2.2. 동적 PPO 및 보상 어닐링 (Dynamic PPO with Reward Annealing)

오프라인 모방에서 온라인 탐색으로의 전환: 초기에는 인간 시연을 모방하고, 점차 로봇 고유의 최적 전략을 탐색하도록 점진적으로 전환하는 동적 보상 어닐링 (Reward Annealing) 메커니즘을 사용합니다.
보상 구성:
- 모방 보상 ( $R_{imitation}$ ): 인간 시연과 상태의 유사도를 기반으로 한 밀집 보상 (Dense Reward).
- 목표 보상 ( $R_{goal}$ ): 작업 성공 여부에 기반한 희소 보상 (Sparse Reward).
동적 가중치: 학습 에포크와 최근 성공률에 따라 모방 보상의 가중치를 줄이고 목표 보상의 가중치를 늘려, 로봇이 인간을 단순 모방하는 것을 넘어 물리적으로 더 효율적인 행동을 스스로 발견하도록 유도합니다.

2.3. 하이브리드 마르코프 기반 섀도우 엔진 (Hybrid Markov-based Shadow Engine)

초기 학습 단계에서 정책이 미숙하여 발생하는 상태 드리프트를 방지하기 위해 설계되었습니다.
행동 혼합: 실행되는 행동은 정책이 예측한 행동과 인간 시연 행동의 가중 합 ( $\Delta a_{exec} = \alpha \cdot \Delta a_{\pi} + \beta \cdot \Delta a_{E}$ ) 으로 구성됩니다. 학습이 진행됨에 따라 시연 행동의 비중 ( $\beta$ ) 이 선형적으로 감소합니다.
객체 제어 (PD Controller): 물체의 낙하나 이탈을 방지하기 위해 섀도우 엔진이 PD 제어기를 통해 물체에 가상 지지력을 가해 초기 학습을 안정화시킵니다. 학습이 진행되면 이 지원력도 서서히 제거됩니다.

2.4. 손실 함수 시너지 (Loss Synergy)

엔트로피 정규화: 조기 수렴을 방지하고 탐색을 장려합니다.
경계 손실 (Bound Loss): 정책의 평균 행동이 물리적으로 불가능한 영역으로 벗어나는 것을 부드럽게 제재하여 학습 안정성을 확보합니다.

3. 주요 기여 (Key Contributions)

UniBYD 프레임워크: 다양한 로봇 손 형태 (2, 3, 5 개 손가락) 에 호환되며, 인간 시연을 넘어 로봇 고유의 물리적 특성에 맞는 조작 정책을 학습하는 최초의 통합 강화 학습 프레임워크입니다.
동적 학습 전략: 오프라인 모방에서 온라인 적응적 탐색으로의 체계적인 전환을 가능하게 하는 동적 PPO 와 섀도우 엔진을 설계했습니다.
UniManip 벤치마크: 다양한 손 형태와 단일/이중 손 작업을 포괄하는 최초의 통합 벤치마크를 구축했습니다. 이는 기존 연구에서 간과되었던 2~3 개 손가락 로봇에 대한 평가 기준을 제공합니다.

4. 실험 결과 (Results)

벤치마크 (UniManip): OakInk-V2 데이터를 기반으로 2, 3, 5 개 손가락 단일/이중 손 작업을 포함하는 31 가지 작업 카테고리로 구성되었습니다.
성능 비교:
- 기존 SOTA 방법 (ManipTrans, DexMachina, Retargeting) 대비 평균 성공률 (Success Rate) 44.08% 향상을 기록했습니다.
- 특히 5 개 손가락 이중 손 작업에서 기존 최상위 방법 대비 28.92% 높은 성공률 (57.67%) 을 달성했습니다.
- 2 개 및 3 개 손가락 로봇에서도 기존 방법들이 지원하지 않거나 낮은 성능을 보인 반면, UniBYD 는 78.13% 및 71.81% 의 높은 성공률을 보였습니다.
적응 점수 (Adaptation Score, AS): LLM 과 인간 평가자를 통해 로봇의 하드웨어 형태에 얼마나 잘 적응했는지 평가한 결과, UniBYD 가 모든 베이스라인을 압도적으로 상회했습니다 (최대 9.29/10).
실제 로봇 실험: X-Arm, Casia Hand-G, OHandT 등 실제 로봇 플랫폼에서 제로샷 (Zero-shot) 전이가 성공적으로 이루어졌으며, 시뮬레이션 대비 성공률은 다소 감소했으나 여전히 유효한 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

모방의 한계 극복: 이 연구는 로봇이 인간의 동작을 단순히 복사하는 것을 넘어, 자신의 신체 구조 (Embodiment) 에 최적화된 고유한 조작 전략을 스스로 발견할 수 있음을 증명했습니다.
범용성: 단일 프레임워크로 다양한 형태의 로봇 손 (2~5 개 손가락) 을 지원하며, 로봇 공학 분야에서 '구현체 간 일반화 (Cross-embodiment Generalization)' 문제를 해결하는 중요한 이정표가 됩니다.
실용적 가치: 복잡한 물체 조작 작업에서 인간의 시연을 효율적으로 활용하면서도 로봇의 물리적 한계를 극복하여 높은 성공률을 보장함으로써, 실제 로봇 적용 가능성을 크게 높였습니다.

이 논문은 UniBYD를 통해 강화 학습과 모방 학습의 장점을 결합하고, 동적인 학습 전략과 섀도우 엔진을 통해 초기 학습 불안정성을 해결함으로써, 다양한 로봇 형태에 적용 가능한 강력한 조작 학습 프레임워크를 제시했습니다.