Generalizing from References using a Multi-Task Reference and Goal-Driven RL Framework

1. 문제 정의 (Problem Statement)

휴머노이드 로봇의 민첩한 행동을 학습하는 데 있어 기존 접근법들은 다음과 같은 지속적인 트레이드오프 (Trade-off) 에 직면해 있습니다.

• 참조 추종 (Reference Tracking) 기반: 모션 캡처 데이터를 기반으로 한 모방 학습은 자연스럽고 조율된 동작을 생성하지만, 시연 데이터 (Demonstration) 범위를 벗어나면 일반화 능력이 떨어지고 취약해집니다.
• 순수 과제 기반 (Pure Task-Driven) RL: 강화학습 (RL) 을 통해 목표 달성에 집중하면 다양한 환경에 적응할 수 있지만, 학습된 동작의 질 (자연스러움, 인간과 유사한 스타일) 이 저하되거나 원치 않는 급격한 행동이 발생할 수 있습니다.

기존 연구들은 참조 모션을 '추적해야 할 궤적', '교사 모델', 또는 '분포 일치 대상'으로만 활용하여, 학습된 제어기가 특정 시연 데이터에 종속되는 경향이 있었습니다. 본 논문은 참조 모션을 배포 시의 제약이 아닌, 행동 형성 (Behavioral Shaping) 을 위한 사전 지식 (Prior) 으로 재정의하여 이 간극을 해소하고자 합니다.

2. 방법론 (Methodology)

저자들은 단일 목표 조건부 정책 (Single Goal-Conditioned Policy) 을 두 가지 서로 다른 작업에 대해 공동으로 학습하는 통합 멀티태스크 RL 프레임워크를 제안합니다. 이 정책은 추론 (Inference) 시 참조 모션을 입력받지 않으며, 현재 상태와 목표 지시 (Goal Specification) 만을 기반으로 작동합니다.

A. 멀티태스크 학습 구조

두 가지 작업은 동일한 관측 (Observation) 과 행동 (Action) 공간을 공유하지만, 초기화 방식, 명령 공간, 보상 구조가 다릅니다.

1. 참조 유도 모방 작업 (Reference-Guided Imitation Task):

   • 목적: 인간과 유사한 자연스러운 모터 스킬을 학습하기 위한 밀집된 (Dense) 지도 신호 제공.
   • 입력: 참조 모션은 입력으로 제공되지 않음. 대신 목표 조건 (Goal Condition) 과 모방 보상을 정의하는 데 사용됨.
   • 보상: 참조 모션과의 정렬 (Base pose, velocity, joint configuration) 을 장려하는 추적 보상, 물리적으로 타당한 행동을 위한 정규화 보상, 생존 보상.
   • 역할: 정책이 구조화된 모터 스킬을 학습하도록 유도 (Representation Learning) 하고, 학습 안정성을 높임.

2. 목표 조건부 일반화 작업 (Goal-Conditioned Generalization Task):

   • 목적: 새로운 목표와 초기 조건에 적응하는 능력 학습.
   • 입력: 참조 모션과 무관하게 무작위로 샘플링된 목표 (Goal).
   • 보상: 참조와 무관하며, 목표 도달 여부 (Task Success) 만을 반영하는 희소 (Sparse) 한 보상.
   • 역할: 모방을 통해 학습된 스킬을 다양한 조건에 적용하고 적응하도록 함.

B. 훈련 설정 및 커리큘럼 (Curriculum)

• MDP 공식화: 정책은 로봇 상태 ($s_t$) 와 목표 ($g_t$, 수평면상의 2D 위치) 를 입력받습니다. 행동은 PD 제어기의 잔차 (Residual) 로 출력됩니다.
• 자동 난이도 스케줄링 (Automatic Difficulty Schedule):
  • 학습 초기에는 가상 보조 힘 (Virtual Assistive Wrench) 을 적용하여 학습을 안정화하고, 참조 모방 작업의 샘플링 확률을 높입니다.
  • 학습이 진행됨에 따라 보조 힘을 점차 줄이고, 일반화 작업의 비중을 높여 목표 기반 적응을 강화합니다.
• 초기화 전략: 모방 작업은 참조 모션 기반의 초기화를, 일반화 작업은 넓은 분포의 무작위 초기화를 사용하여 정책이 참조 데이터에서 벗어난 상황에도 적응하도록 훈련합니다.
• 알고리즘: Isaac Lab 환경에서 PPO (Proximal Policy Optimization) 를 사용하며, 비대칭 Actor-Critic 구조를 채택합니다.

3. 주요 기여 (Key Contributions)

1. 통합 멀티태스크 프레임워크: 참조 모션을 추론 입력으로 사용하지 않으면서도, 모방 학습의 자연스러움과 목표 기반 RL 의 적응성을 동시에 달성하는 단일 정책을 제안했습니다.
2. 행동 형성으로서의 참조 (Reference as Prior): 참조 모션을 단순한 궤적 추종이 아닌, 행동의 스타일과 구조를 형성하는 사전 지식으로 활용하여, 시연 데이터 범위를 벗어난 새로운 목표에도 적용 가능한 스킬을 학습했습니다.
3. 적대적 학습 및 명시적 추적 제거: 적대적 생성 (Adversarial Imitation) 이나 명시적 궤적 추적, 위상 변수 (Phase Variables) 없이도 인간과 유사한 복잡한 동작 (점프, 등반 등) 을 학습했습니다.
4. 장기적 행동 생성 (Long-Horizon Composition): 학습된 개별 스킬 (걷기, 점프, 등반) 을 상태 기계 (State Machine) 를 통해 조합하여 복잡한 파쿠르 (Parkour) 시나리오를 성공적으로 수행함을 입증했습니다.

4. 실험 결과 (Results)

Unitree G1 휴머노이드 로봇 (29 DoF) 을 사용하여 시뮬레이션 (MuJoCo, Isaac Lab) 및 실제 하드웨어에서 실험을 수행했습니다.

• 강건성 및 일반화 (Robustness & Generalization):
  • 시뮬레이션: 초기 위치, 방향, 박스 높이 등을 크게 변화시켰을 때, 제안된 방법은 높은 성공률을 유지했습니다.
  • 하드웨어: 실제 로봇에서도 다양한 초기 조건 (박스와의 거리, 각도 등) 에서 걷기 - 등반, 걷기 - 점프, 하강 동작을 성공적으로 수행했습니다. 로봇은 초기 조건에 따라 왼쪽/오른쪽 다리를 먼저 내딛는 등 전략을 자연스럽게 적응시켰습니다.
• 비교 평가 (Comparison):
  • ZEST (추적 기반 RL): 정상 조건에서는 정확도가 높았으나, 비정상 (Beyond-nominal) 조건에서는 참조 궤적에 과도하게 의존하여 실패율이 급증했습니다.
  • Tabula Rasa RL (순수 RL): 목표 달성률은 높았으나, 동작이 비협조적이고 공격적 (예: 50cm 박스에서 그냥 뛰어내림) 이며 자연스러움이 부족했습니다.
  • 제안 방법: 높은 성공률과 함께 낮은 자세 오차, 그리고 자연스러운 동작을 모두 달성했습니다.
• 성분 분석 (Ablation Study):
  • 커리큘럼 부재: 복잡한 동작 (점프, 등반) 학습 실패.
  • 모방 작업 부재: 동작이 비협조적이고 목표만 향해 급하게 이동하는 경향 발생.
  • 일반화 작업 부재: 새로운 조건에서의 적응 능력 상실.
  • 결론적으로 세 가지 요소 (커리큘럼, 모방, 일반화) 가 모두 필수적입니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 휴머노이드 로봇이 자연스러운 인간 동작의 스타일을 유지하면서도, 복잡한 환경과 다양한 목표에 유연하게 적응할 수 있는 새로운 패러다임을 제시합니다.

• 실용적 가치: 참조 데이터에 종속되지 않는 단일 제어기를 통해, 다양한 파쿠르 환경에서 장시간의 복잡한 작업을 안정적으로 수행할 수 있음을 입증했습니다.
• 미래 전망: 고수준의 상태 기계 대신 학습된 고수준 정책을 사용하여 목표 선택 및 파라미터화를 자동화하고, 환경 인식 (Perception) 을 통합하여 더욱 복잡하고 비구조화된 환경에서의 자율성을 확장할 수 있는 기반을 마련했습니다.

요약하자면, 이 연구는 **"참조 모방을 통한 스킬 습득"**과 **"목표 기반 RL 을 통한 일반화"**를 통합함으로써, 기존 방법론의 한계를 극복하고 실용적인 휴머노이드 자율 제어의 가능성을 크게 확장했습니다.