Uni-Skill: Building Self-Evolving Skill Repository for Generalizable Robotic Manipulation

이 논문은 고정된 기술 라이브러리의 한계를 극복하고 대규모 로봇 비디오에서 자동으로 추출된 계층적 기술 저장소 (SkillFolder) 를 통해 새로운 작업을 자동 구현하며 Few-shot 추론을 가능하게 하는 자기 진화형 범용 로봇 조작 프레임워크인 Uni-Skill 을 제안합니다.

핵심

이 논문은 **"로봇이 새로운 일을 배울 때, 인간이 일일이 가르치지 않아도 스스로 지식을 쌓아갈 수 있게 해주는 시스템"**에 대한 이야기입니다.

기존의 로봇은 마치 정해진 레시피만 있는 요리사와 같았습니다. "계란 프라이를 해줘"라고 하면 해줄 수 있지만, "새로운 소스를 만들어줘"라고 하면 "저는 그 레시피를 몰라요"라고 답하며 멈춰버렸습니다.

이 논문에서 제안한 **Uni-Skill(유니-스킬)**은 그 정해진 레시피를 넘어서, **스스로 새로운 레시피를 찾아내고 만들어내는 '요리사'**입니다.

이 시스템을 이해하기 쉽게 세 가지 비유로 설명해 드릴게요.

---

1. 문제점: "고정된 도구상자"의 한계

기존 로봇들은 미리 정해진 도구상자 (스킬 라이브러리) 만 가지고 있었습니다.

• 상황: 로봇에게 "책상을 닦아줘"라고 시켰는데, 로봇의 도구상자에는 '접시 닦기'는 있지만 '책상 닦기' 도구가 없었습니다.
• 결과: 로봇은 당황해서 아무것도 못 하거나, 인간이 "책상 닦는 법을 새로 가르쳐줘"라고 일일이 시켜야만 했습니다.

2. 해결책 1: "스스로 부족함을 아는 계획가" (Skill-Aware Planning)

Uni-Skill 의 첫 번째 핵심은 스스로 "내가 이 일을 하려면 무언가가 부족해!"라고 깨닫는 능력입니다.

• 비유: 마치 현명한 요리사가 손님이 "이국적인 요리를 만들어줘"라고 하면, 자신의 주머니를 뒤져보며 "아, 이 요리를 하려면 내가 가진 '양념'은 있지만 '특수 소스'가 없구나!"라고 알아챕니다.
• 작동 원리: 로봇은 "책상 닦기"라는 명령을 받으면, 기존에 아는 '접시 닦기'만으로는 부족하다고 판단합니다. 그리고 스스로 **"아, '책상 닦기'라는 새로운 스킬이 필요해!"**라고 정의하고, 그 스킬이 어떤 것인지 (예: "스펀지로 원을 그리며 닦는 것") 언어로 설명해냅니다.

3. 해결책 2: "거대한 인터넷 도서관" (SkillFolder)

새로운 스킬을 정의했으니, 이제 실제로 어떻게 하는지 배워야 합니다. 여기서 Uni-Skill 은 SkillFolder라는 거대한 도서관을 활용합니다.

• 비유: 이 도서관은 수십만 개의 요리 시연 영상 (유튜브 등) 이 쌓인 곳입니다. 하지만 기존에는 이 영상들이 제목도 없이 뒤죽박죽 섞여 있어 찾기 힘들었습니다.
• 혁신: Uni-Skill 은 이 영상들을 VerbNet(동사 사전) 이라는 체계적인 분류법을 이용해 정리했습니다.
  • "닦다" → "원형으로 닦다" → "스펀지로 책상 닦기" 처럼 계층적으로 정리된 것입니다.
  • 로봇이 "책상 닦기"가 필요하다고 말하면, 이 도서관에서 가장 비슷한 예시 영상 (예: 누군가 스펀지로 테이블을 닦는 모습) 을 순식간에 찾아냅니다.

4. 해결책 3: "모방하며 배우는 학생" (Few-Shot Implementation)

찾아낸 예시 영상을 보고 로봇은 직접 실행합니다.

• 비유: 요리사가 새로운 요리를 배울 때, **유튜브 영상을 보며 "아, 저 사람은 이렇게 손목을 돌리네? 나도 저렇게 해보자"**라고 따라 하는 것과 같습니다.
• 작동 원리: 로봇은 찾아낸 예시 영상의 **움직임 궤적 (어떻게 손이 움직였는지)**과 **의미 (어떤 물체를 잡아야 하는지)**를 분석합니다. 그리고 이를 바탕으로 인간이 실물을 보여줄 필요 없이, 단 몇 번의 예시만으로도 새로운 일을 척척 해냅니다.

---

🌟 요약: Uni-Skill 이 왜 특별한가요?

1. 스스로 배우는 능력: 새로운 일이 생기면 "모르겠다" 하고 멈추는 게 아니라, "내가 뭘 더 배워야 할지 스스로 정의하고, 인터넷에서 예시를 찾아 배웁니다."
2. 유연한 사고: "접시 닦기"만 알던 로봇이, "책상 닦기"나 "옷 개기" 같은 완전히 새로운 일도 비슷한 원리를 적용해 해낼 수 있습니다.
3. 실제 성과: 컴퓨터 시뮬레이션과 실제 로봇 실험에서, 기존 최신 기술들보다 새로운 일을 성공적으로 해내는 비율이 20~30% 이상 높았습니다.

결론적으로, Uni-Skill 은 로봇에게 **"정해진 레시피만 따르는 기계"**가 아니라, **"새로운 요리를 보고 배우고, 스스로 레시피를 만들어내는 창의적인 요리사"**의 능력을 선물한 기술입니다.

기술 요약

1. 문제 정의 (Problem)

기존 로봇 조작 (Robotic Manipulation) 연구는 주로 두 가지 접근 방식을 취해 왔으나, 각각 한계가 존재합니다.

• End-to-End 행동 복제 (Behavior Cloning): 대규모 데이터로 학습되지만, 새로운 환경이나 작업에 적응하기 위해 추가적인 파인튜닝이 필요하며, 분포 밖 (out-of-distribution) 작업에 대한 일반화 능력이 부족합니다.
• 기술 중심 (Skill-centric) 접근법: 사전 정의된 기술 (Skill) 라이브러리를 기반으로 LLM 을 사용하여 작업을 계획합니다. 그러나 고정된 기술 세트에 의존하기 때문에, 라이브러리에 없는 새로운 작업 (예: '옷 개기' API 가 없는 경우) 이 발생하면 시스템이 이를 수행할 수 없습니다. 또한, 새로운 기술을 추가할 때마다 수동으로 데모 데이터를 수집하고 주석을 달아야 하는 비효율성이 존재합니다.

핵심 문제: 기존 프레임워크는 새로운 작업에 필요한 기술 격차 (Skill Gap) 를 스스로 식별하고, 대규모 비정형 로봇 비디오 데이터를 활용하여 새로운 기술을 자동으로 확장 및 진화시키는 능력이 부족합니다.

2. 방법론 (Methodology)

저자들은 Uni-Skill이라는 통합 기술 중심 프레임워크를 제안합니다. 이는 **기술 인식 계획 (Skill-aware Planning)**과 **자동 기술 진화 (Automatic Skill Evolution)**라는 두 가지 핵심 모듈로 구성됩니다.

A. 기술 인식 계획 (Skill-Aware Planning)

• 기능: 주어진 언어 지시어와 시각적 관찰을 바탕으로, 기존 기본 기술 세트 ($L_{base}$) 로 작업 수행이 가능한지 판단합니다.
• 동작:
  1. 충분성 판별 (Sufficiency Discriminator): 현재 기술로 작업이 가능한지 평가합니다.
  2. 기술 생성 (Skill Generator): 필요한 기술이 부족할 경우, 새로운 기술의 고수준 설명 (High-level description) 을 자동으로 생성하여 기술 저장소를 확장합니다 ($L_{ext}$).
  3. 계획자 (Planner): 확장된 기술 라이브러리를 기반으로 실행 가능한 정책 코드 (Policy Code) 를 생성합니다.
• 특징: 사전 정의된 기술에 국한되지 않고, 필요 시 동적으로 새로운 기술 설명을 생성하여 유연한 계획을 수립합니다.

B. 자동 기술 진화 (Automatic Skill Evolution)

계획 모듈에서 요청한 새로운 기술 설명을 실행 가능한 저수준 동작 시퀀스로 변환하는 과정입니다. 이를 위해 SkillFolder라는 계층적 기술 저장소를 구축합니다.

1. SkillFolder 구축 (Hierarchical Skill Repository):

   • 데이터 소스: 대규모 비정형 로봇 비디오 (DROID 등) 를 활용합니다.
   • 구조: VerbNet(동사 네트워크) 에서 영감을 받아 4 단계 계층 구조를 가집니다.
     • $N_1$: VerbNet 클래스 (예: wipe-manner)
     • $N_2$: 구체적인 동사 인스턴스 (예: scrub, wipe)
     • $N_3$: 객체 중심 상호작용 템플릿 및 기술 설명 (예: wipe_table)
     • $N_4$: 시각적으로 고정된 구체적인 데모 슬라이스 (Leaf nodes)
   • 자동 주석: VLM(Vision-Language Model) 을 활용하여 비디오를 절차적 설명, 기술 설명, 시간적 정렬 (Temporal Alignment) 단계로 자동 주석 처리하여 10,000 개 이상의 기술 데모를 추출했습니다.

2. Few-shot 기술 구현 (Few-shot Skill Implementation):

   • 검색: 새로운 기술 요청 시, SkillFolder 에서 의미적으로 가장 유사한 예시를 검색합니다.
   • 제약 조건 및 궤적 참조: 검색된 예시에서 시맨틱 제약 조건 (접촉, 방향 등) 과 **공간 궤적 (Spatial Trajectory)**을 추출합니다.
   • 구현: 검색된 예시를 In-context 예제로 활용하여, 대상 작업의 시각적 관찰과 결합해 6-DoF 포즈 (위치 및 회전) 를 생성합니다. 이는 배포 시 추가적인 데모 수집 없이도 새로운 기술을 구현할 수 있게 합니다.

3. 주요 기여 (Key Contributions)

1. Uni-Skill 프레임워크: 고정된 기술 라이브러리의 한계를 극복하고, 필요 시 새로운 기술을 자동 생성 및 확장하여 일반화 능력을 극대화하는 통합 프레임워크를 제안했습니다.
2. SkillFolder: 대규모 비정형 로봇 비디오를 VerbNet 기반의 계층적 구조로 조직화한 데이터셋을 구축했습니다. 이는 106 개의 VerbNet 클래스와 1,659 개의 고유한 기술 설명을 포함하며, 자동 주석 처리된 10,000 개 이상의 데모를 제공합니다.
3. 자동 기술 진화 메커니즘: 수동 주석 없이 대규모 비디오 데이터에서 기술을 추출하고, Few-shot 추론을 통해 새로운 작업을 수행할 수 있는 파이프라인을 제시했습니다.
4. 성능 입증: 시뮬레이션 및 실제 환경에서 기존 VLM 기반 방법론 (CaP, MOKA) 을 능가하는 Zero-shot 일반화 성능을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 (RLBench):
  • 기본 기술 범위 내: 기존 방법 (CaP) 보다 우수한 성능을 보였습니다 (평균 0.42 vs 0.28).
  • 기본 기술 범위 외 (Novel Tasks): 사전 정의되지 않은 10 가지 작업에서 Uni-Skill은 SOTA 인 MOKA 보다 31.0% 높은 성공률을 기록했습니다. 특히 회전 (Revolute) 및 직선 (Prismatic) 관절 조작 작업에서 뛰어난 성능을 보였습니다.
• 실제 환경 (Real-world):
  • Franka Emika 로봇 팔을 사용한 실험에서, 평균 성공률이 0.73으로 CaP(0.00) 및 MOKA(0.39) 보다 월등히 높았습니다.
  • '옷 개기 (Fold Cloth)', '상자 닫기 (Close Drawer)' 등 복잡한 궤적 추론이 필요한 작업에서 특히 강력한 성능을 발휘했습니다.
• Ablation Study:
  • 기술 업데이트 메커니즘을 제거할 경우 대부분의 작업에서 실패했습니다.
  • 시맨틱 제약 조건과 공간 궤적 참조는 작업 유형에 따라 서로 다른 중요도를 가지며, 둘 다 Few-shot 구현에 필수적입니다.

5. 의의 및 결론 (Significance)

Uni-Skill 은 로봇 학습 패러다임을 수동 주석과 고정된 기술 세트에서 자동화된 데이터 활용 및 진화하는 기술 저장소로 전환하는 중요한 이정표입니다.

• 효율성: 배포 시마다 새로운 데모를 수집하고 주석하는 비용과 시간을 획기적으로 줄였습니다.
• 일반화: 언어 지시어와 시각적 맥락을 결합하여, 훈련 데이터에 없는 완전히 새로운 작업 (Zero-shot) 을 수행할 수 있는 능력을 입증했습니다.
• 확장성: 비정형 비디오 데이터를 체계적인 지식으로 변환하는 SkillFolder 는 향후 로봇이 더 다양한 환경에서 스스로 학습하고 적응하는 데 필수적인 인프라가 될 것입니다.

이 연구는 로봇이 인간과 유사하게 새로운 기술을 배우고, 이를 기존 지식과 연결하여 복잡한 작업을 해결할 수 있는 '자기 진화 (Self-Evolving)' 능력을 갖추는 데 중요한 기여를 했습니다.