Reference Grounded Skill Discovery

이 논문은 고차원 에이전트의 의미 있는 기술 발견을 위해 참조 데이터를 기반으로 한 잠재 공간에 기술을 정렬하는 '참조 기반 기술 발견 (RGSD)' 알고리즘을 제안하여, 다양한 모션의 모방과 의미 있는 변형 발견을 동시에 달성하고 하류 작업에서 사용자 지정 스타일 명령을 효과적으로 수행함을 보여줍니다.

핵심

RGSD: 로봇에게 '참고서'를 주고 새로운 기술을 가르치는 방법

이 논문은 **"고차원 (High-DoF)"**이라고 불리는 매우 복잡하고 유연한 로봇 (예: 인간형 로봇) 에게 새로운 기술을 가르치는 방법에 대한 연구입니다.

기존의 방법들은 로봇에게 "스스로 놀게 하라"고만 했다가 실패하거나, "정해진 동작만 따라 하라"고 했다가 유연성이 떨어지는 문제가 있었습니다. 이 논문은 **"참고서 (Reference Data)"**를 활용하여 로봇이 유사하지만 새로운 동작을 스스로 찾아내도록 하는 RGSD라는 새로운 알고리즘을 제안합니다.

이해하기 쉽게 요리사와 요리 학교의 비유로 설명해 드리겠습니다.

---

1. 문제: "스스로 놀게 하면 로봇은 엉뚱한 짓만 합니다"

비유:
새로운 요리사 (로봇) 를 주방에 혼자 두었습니다.

• 기존 방법 (무작위 탐색): "너는 뭐든 해봐!"라고 했더니, 요리사는 재료를 바닥에 던지거나, 냄비를 뒤집거나, 손가락을 비비는 등 의미 없는 동작만 반복합니다. (논문에서는 이를 '무작위로 떨리는 관절'이라고 표현합니다.)
• 이유: 로봇이 가진 관절 (손, 발, 허리 등) 의 개수가 너무 많아서 (359 개의 관찰, 69 개의 동작), 가능한 동작의 조합이 우주의 별만큼 많습니다. 그중에서 '맛있는 요리 (의미 있는 동작)'를 찾는 것은 바늘을 건더기에서 찾는 것과 같습니다.

2. 해결책: RGSD (참고서 기반 기술 발견)

이 논문은 **"참고서 (Reference Data)"**를 활용합니다. 마치 요리 학교에서 "이제부터는 '스파게티' 레시피 (참고 동작) 를 보고 배우되, 너만의 스타일을 더해보라"고 가르치는 것과 같습니다.

RGSD 는 두 단계로 나뉩니다.

1 단계: '참고서'를 머릿속에 새기기 (Pretraining)

• 상황: 요리 학교가 '스파게티', '비빔밥', '떡볶이' 레시피 (참고 동작 데이터) 를 준비합니다.
• 작동: 로봇은 아직 움직이지 않습니다. 대신 이 레시피들을 분석하여, 각 레시피가 머릿속의 **'특정 방향'**에 해당한다는 것을 학습합니다.
  • '스파게티' = 북쪽 방향
  • '비빔밥' = 동쪽 방향
  • '떡볶이' = 남쪽 방향
• 결과: 로봇은 이제 "북쪽을 향해 가면 스파게티를 만드는구나"라고 이해하게 됩니다. 이걸 **의미 있는 공간 (Latent Space)**이라고 합니다.

2 단계: '참고서'를 바탕으로 새로운 요리 개발하기 (Discovery)

이제 로봇은 실제 움직임을 시작합니다.

• 모방 (Imitation): '북쪽 (스파게티)'을 가리키는 지시를 받으면, 로봇은 레시피대로 정확한 스파게티를 만듭니다.
• 발견 (Discovery): 여기서 핵심입니다! 로봇에게 "북쪽과 동쪽 사이 (스파게티와 비빔밥 사이)"를 가리키면 어떨까요?
  • 로봇은 "아, 이건 스파게티에 비빔밥을 섞은 새로운 요리구나!"라고 생각합니다.
  • 로봇은 스파게티를 만들면서 발을 살짝 옆으로 옮기는 '옆으로 걷는 스파게티' 같은 새롭지만 의미 있는 동작을 스스로 찾아냅니다.

3. 왜 이 방법이 특별한가요?

기존의 다른 방법들은 다음과 같은 한계가 있었습니다.

• 순수 무작위 학습 (DIAYN, METRA 등): "스스로 놀아라"라고 하면, 로봇은 스파게티를 만들다가 갑자기 엉덩이를 흔들거나 팔을 비틀어 버립니다. (의미 없는 동작)
• 단순 모방 학습 (ASE, CALM 등): "레시피대로만 해라"라고 하면, 로봇은 레시피대로만 합니다. 하지만 "스파게티를 만들면서 왼쪽으로 90 도 돌아라"라고 하면, 로봇은 당황해서 멈추거나 엉뚱한 행동을 합니다. (유연성 부족)

RGSD 의 장점:

• 유연성: 로봇은 레시피 (참고 데이터) 를 완벽하게 이해하고 있기 때문에, 그 사이사이에 있는 새로운 변형을 자연스럽게 만들어냅니다.
• 실전 적용: 예를 들어, "뒤로 걷는 스타일로 목표 지점에 가라"고 명령하면, 로봇은 뒤로 걷는 동작을 유지하면서 목표 지점을 향해 꺾어가는 새로운 기술을 즉시 찾아냅니다. 기존 방법들은 이럴 때 스타일을 잃고 그냥 앞으로 달려가거나 멈춰버렸습니다.

4. 요약: 로봇 교육의 새로운 패러다임

이 논문은 로봇에게 **"완벽한 답안지"**를 주는 것도, "아무것도 주지 않고 혼내서 배우게 하는" 것도 아닙니다.

대신 **"참고서 (Reference)"**를 주고, **"이것을 바탕으로 너만의 창의적인 변주를 찾아봐"**라고 가르칩니다.

• 비유하자면: 요리사가 레시피를 보고 기본기를 익힌 뒤, "이제 너만의 맛을 더해서 새로운 요리를 개발해봐"라고 하는 것입니다.

이 방법으로 로봇은 걷기, 뛰기, 주먹질, 옆으로 걷기 등 복잡한 동작을 완벽하게 모방할 뿐만 아니라, "뒤로 뛰면서 왼쪽으로 도는" 같은 인간이 상상하지 못했던 새롭고 유용한 기술까지 스스로 발견해냅니다.

결론

RGSD 는 로봇이 복잡한 세상에서 의미 있는 동작을 배우고, 그 지식을 바탕으로 창의적인 새로운 행동을 만들어낼 수 있게 해주는 획기적인 방법입니다. 이는 앞으로 인간형 로봇이 우리 일상에서 더 자연스럽게 움직이고, 다양한 일을 도와줄 수 있는 기초가 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 고차원 자유도 (High-DoF) 에이전트의 무감독 기술 발견의 어려움: 기존 무감독 기술 발견 (Unsupervised Skill Discovery) 알고리즘은 자유도 (DoF) 가 낮은 환경 (예: 6 DoF 이하의 로봇 팔, 4족 보행 로봇 등) 에서는 잘 작동하지만, 359 개의 관측 차원과 69 개의 행동 차원을 가진 인간형 로봇 (SMPL humanoid) 과 같은 고차원 에이전트로 확장하는 데는 한계가 있습니다.
• 탐색 공간의 폭발적 증가: 차원이 증가함에 따라 탐색 공간이 기하급수적으로 커지지만, 의미 있는 행동 (semantic meaningfulness) 을 가진 매니폴드는 상대적으로 제한적입니다.
• 의미 없는 행동의 발생: 기존 최첨단 알고리즘인 METRA 와 같은 방법들은 고차원 공간에서 무작위적인 관절 움직임을 생성하여, 팔, 다리, 몸통이 독립적이고 무작위로 움직이는 구조화되지 않은 행동을 보여줍니다. 이는 하류 작업 (downstream tasks) 에 필요한 의미 있는 기술 (예: 걷기, 뛰기, 주먹질) 을 학습하는 데 실패하게 만듭니다.
• 핵심 과제: 고차원 공간에서 의미 있는 기술의 잠재 공간 (latent space) 을 사전에 구축하고, 이를 기반으로 탐색을 제한하여 구조화된 기술을 발견하는 메커니즘이 필요합니다.

2. 제안 방법론: RGSD (Reference-Grounded Skill Discovery)

RGSD 는 참조 데이터 (Reference Data) 를 활용하여 의미 있는 잠재 공간을 먼저 구축한 후, 이를 기반으로 기술 발견을 수행하는 2 단계 접근법을 제시합니다.

2.1. 전체 아키텍처

1. 사전 학습 (Pretraining): 참조 동작 기반 잠재 공간 정렬

   • 목표: 참조 데이터셋의 각 동작을 단위 초구 (unit hypersphere) 상의 서로 다른 방향 벡터로 매핑합니다.
   • 기법: 대조 학습 (Contrastive Learning) 을 사용합니다.
     • 양성 쌍 (Positive Pair): 동일한 동작 내의 상태들.
     • 음성 쌍 (Negative Pair): 서로 다른 동작의 상태들.
   • 모델: 상태 $s$를 잠재 벡터 $z$로 매핑하는 인코더 $q_\phi(z|s)$를 von Mises-Fisher (vMF) 분포로 모델링합니다.
   • 손실 함수: InfoNCE 손실을 최소화하여, 동일한 동작 내의 모든 상태가 동일한 방향 벡터로 정렬 (Alignment) 되게 하고, 서로 다른 동작은 명확하게 분리되도록 학습합니다.
   • 결과: 학습 후 각 동작은 잠재 공간에서 하나의 명확한 방향 벡터로 표현되며, 이는 의미 있는 매니폴드를 형성합니다.

2. 기술 발견 및 모방 (Imitation & Discovery): 병렬 학습

   • 잠재 공간 활용: 사전 학습된 인코더를 고정 (Freeze) 하고, 새로운 인코더와 정책을 병렬로 학습합니다.
   • 모방 (Imitation): 참조 동작의 임베딩 벡터 $z_m$을 조건으로 하여, DIAYN 의 보상 함수를 변형하여 참조 동작을 정밀하게 모방하도록 유도합니다.
     • 보상: $r(s, z_m) \propto \mu_\phi(s)^\top z_m$ (상태와 참조 벡터 간의 코사인 유사도).
   • 발견 (Discovery): 참조 벡터 사이의 영역이나 주변을 샘플링하여 새로운 기술을 발견합니다.
     • 잠재 벡터 $z$는 참조 벡터 $z_m$ 근처 (모방) 와 무작위 방향 (발견) 에서 샘플링됩니다.
   • 참조 상태 초기화 (RSI): 모방과 발견이 겹치는 상태 분포에서 시작되도록 하여, 학습이 불안정해지거나 분리된 기술 집합이 생성되는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 고차원 에이전트 확장 가능한 새로운 알고리즘: 참조 데이터를 통해 잠재 공간을 사전에 정렬 (Grounding) 함으로써, 고차원 인간형 로봇에서도 구조화된 기술을 발견할 수 있는 RGSD 알고리즘을 제안했습니다.
2. 실험적 검증: 69 DoF SMPL 인간형 에이전트에서 걷기, 뛰기, 옆으로 이동하기, 주먹질 등 복잡한 동작을 고충실도 (High-fidelity) 로 모방하고, 이를 변형한 새로운 기술을 성공적으로 발견함을 증명했습니다.
3. 이론적 증명: 제안된 보상 함수가 참조 동작에 대한 유효한 모방 신호 (Imitation Signal) 로서 작동함을 수학적으로 증명했습니다 (최적점에서의 최적성 및 국소적 준오목성).
4. 방법론적 통찰: 상호 정보 (Mutual Information) 기반 방법이 RGSD 와 잘 결합되는 반면, Wasserstein 의존도 기반 방법 (METRA 등) 은 반복적인 동작 (예: 걷기) 을 학습하는 데 한계가 있음을 분석하고 그 이유를 규명했습니다.

4. 실험 결과 (Experimental Results)

• 실험 환경: Isaac Gym 시뮬레이터, 359 차원 관측, 69 차원 행동, ACCAD 데이터셋의 20 개 참조 동작.
• 비교 대상:
  • 무감독 기술 발견: DIAYN, METRA.
  • 모방 학습 기반: ASE, CALM, Meta-Motivo.
• 성능 지표:
  • 카르테시안 오차 (Cartesian Error): 참조 동작과의 물리적 거리.
  • Motion FID: 생성된 동작의 자연스러움과 다양성.
• 결과 요약:
  • 모방 성능: RGSD 는 DIAYN, METRA 보다 월등히 낮은 오차를 보였으며, 모방 학습 기반 방법 (ASE, CALM) 과 비교했을 때 카르테시안 오차에서 우위를 보였습니다 (Meta-Motivo 는 FID 는 낮았으나 궤적 정밀도는 RGSD 가 더 높음).
  • 기술 발견: 참조 동작의 스타일을 유지하면서 다양한 변형 (예: 다른 각도로 옆으로 이동, 다양한 방향 주먹질) 을 생성했습니다. CALM 은 다양성을 확보하려다 원래 동작의 특징을 잃는 경향이 있었으나, RGSD 는 스타일과 다양성을 동시에 잘 유지했습니다.
  • 하류 작업 (Goal Reaching): 지정된 스타일 (예: 뒤로 걷기, 옆으로 이동) 을 유지하면서 목표 지점에 도달하는 작업에서 RGSD 는 다른 모든 방법보다 높은 성공률과 스타일 준수도를 보였습니다. 특히, 참조 데이터에 없는 회전 동작을 스스로 발견하여 목표에 도달하는 유연성을 입증했습니다.
  • 다양성 제어: 테스트 시 잠재 변수의 분포 파라미터 ($\kappa$) 를 조절하여 생성된 행동의 다양성을 사용자가 제어할 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

• 고차원 제어의 패러다임 전환: 무감독 학습이 고차원 에이전트에서도 의미 있는 구조를 가질 수 있도록, "참조 데이터 기반의 사전 정렬"이라는 새로운 접근법을 제시했습니다. 이는 대규모 언어 모델 (LLM) 의 사전 학습 (Pretraining) 후 미세 조정 (Fine-tuning) 과 유사한 철학을 강화 학습에 적용한 사례입니다.
• 실용적 적용 가능성: 복잡한 인간형 로봇의 보행 및 조작 작업을 위한 기술 베이스 (Skill Foundation Model) 구축의 첫걸음으로 평가됩니다.
• 향후 방향: 개별 기술의 변형을 넘어, "걷면서 주먹질하기"와 같은 구성적 행동 (Compositional Behaviors) 과 다양한 신체 구조 및 데이터셋으로의 확장을 통해 제어 분야의 기초 모델 (Foundation Model) 로 발전할 가능성을 제시합니다.

이 논문은 고차원 강화 학습에서 '무작위 탐색'의 비효율성을 해결하고, '의미 있는 탐색'을 가능하게 하는 핵심적인 방법론을 제시했다는 점에서 큰 의의를 가집니다.