1. 연구 배경 및 문제 정의 (Problem)

인간형 로봇의 강화학습 (RL) 은 단일 작업에서 다중 기술 (Multi-skill) 패러다임으로 진화하고 있습니다. 그러나 embodied intelligence(구현 지능) 의 핵심 과제는 새로운 기술을 효율적으로 확장하면서도 기존 기술을 망각하지 않는 것입니다. 기존 접근 방식의 주요 한계점은 다음과 같습니다.

• 기존 MoE(Mixture-of-Experts) 모델의 복잡성: 새로운 기술을 추가할 때마다 네트워크 토폴로지를 복잡하게 조정해야 하거나, 거대 규모의 모델을 훈련시켜야 하여 엣지 디바이스에서의 경량화 배포가 어렵습니다.
• 파괴적 망각 (Catastrophic Forgetting): 새로운 동작을 학습할 때 기존 정책을 완전히 재훈련하는 방식은 기존 기본 능력의 저하를 초래합니다.
• 제한된 일반화 능력: 기존 강인한 제어 전략들은 기본 보행에 국한되어 있으며, 저비용으로 다양한 모달리티 (주기적/비주기적) 간 동작을 일반화하기 어렵습니다.

2. 제안 방법론: Tree Learning (Methodology)

저자들은 생물학적 진화의 '선조 유전 (prior inheritance)'과 '전문화 진화'에서 영감을 받아 Tree Learning이라는 계층적 상속 기반의 다중 기술 지속 학습 프레임워크를 제안했습니다.

2.1. 계층적 파라미터 상속 구조 (Root-Branch Hierarchical Inheritance)

• 루트 스킬 (Root Skill): 평지 보행 (Flat-ground walking) 을 기본으로 훈련된 '루트' 기술을 정의합니다.
• 브랜치 스킬 (Branch Skills): 다른 모든 기술 (달리기, 계단 오르기, 쪼그려 앉기 등) 은 루트 스킬의 파라미터를 상속받아 트리 구조로 계층적으로 확장됩니다.
• 물리적으로 격리된 서브네트워크: 각 기술은 독립적인 서브네트워크 클러스터로 물리적으로 격리되어 저장됩니다. 이는 다중 작업 최적화 시 발생하는 경쟁적 간섭 (Gradient Interference) 을 근본적으로 제거하여 파괴적 망각을 방지합니다.
• 상태 공간 일관성: 모든 기술이 동일한 센서 입력 인터페이스와 관절 제어 출력 차원을 공유하도록 설계되어, 모델 간 전환 시 동작의 불연속성을 방지하고 매끄러운 전환을 가능하게 합니다.

2.2. 멀티모달 피드포워드 적응 메커니즘

다양한 동작 유형을 지원하기 위해 두 가지 전략을 결합합니다.

• 주기적 동작 (Phase Modulation): 걷기, 달리기, 계단 오르기 등에는 코사인 위상 변조 (Cosine Phase Modulation) 를 사용하여 좌우 다리의 지지 단계를 스케줄링합니다.
• 비주기적 동작 (Interpolation): 쪼그려 앉기 등에는 선형 보간 (Linear Interpolation) 을 사용하여 동작의 깊이 (예: 0~100% 스쿼트) 를 연속적으로 조절 가능한 기준 궤적을 생성합니다.
• 이러한 피드포워드 동작은 RL 네트워크에 물리적 의미가 있는 기준 궤적을 제공하여 탐색 비용을 줄이고 학습 효율을 높입니다.

2.3. 작업 수준 보상 설계 (Reward Shaping)

• 속도 추적, 각속도 추적, 질량 중심 (CoM) 높이, 방향 제약, 생존 보상, 에너지 패널티 등 기본 보상 요소를 정의합니다.
• 각 기술의 특성에 따라 이 기본 보상들을 재조합하거나 특정 선호도 보상을 추가하여 수렴을 가속화합니다.

2.4. 점진적 커리큘럼 학습

• 계단 오르기 등 복잡한 지형 조건에서는 목표 환경에서 직접 훈련하기보다, 단계 높이 (0.01m → 0.15m) 를 점진적으로 높이는 커리큘럼 학습을 도입하여 국소 최적해 (Local Optima) 에 빠지는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 지속 학습을 위한 트리 구조 파라미터 상속 아키텍처: 물리적으로 격리된 서브네트워크를 통해 파괴적 망각을 근본적으로 제거하고, 손실 없는 다중 기술 증분 확장을 가능하게 함.
2. 저비용 기술 반복 파이프라인: 특정 브랜치만 증분적으로 파인튜닝 (Fine-tuning) 할 수 있어 계산 및 시간 비용을 크게 절감함.
3. 실시간 상호작용 및 확장성: Unitree G1 인간형 로봇 시뮬레이션에서 11 가지의 고동적 기술 (Highly dynamic skills) 을 효율적으로 확장하고 실시간으로 원활하게 전환하는 것을 검증함.

4. 실험 결과 (Results)

Unitree G1 로봇을 사용한 Unity 시뮬레이션 환경에서 다음과 같은 결과를 도출했습니다.

• 다중 작업 학습 (Multi-task) vs Tree Learning:
  • 6 가지 대표 기술 (Walk, Run, Squat, Jump, Crawl, One-leg stand) 에 대한 비교 실험에서 Tree Learning 이 모든 기술에서 더 높은 최종 보상을 달성했습니다.
  • 특히 점프 (Jump) 와 달리기 (Run) 와 같은 고동적 기술에서 Tree Learning 은 각각 990 과 6138 의 안정적 보상을 기록한 반면, 기존 동시 다중 작업 학습은 99 와 609 에 그쳐 경쟁적 간섭으로 인한 수렴 실패를 보였습니다.
  • Tree Learning 은 기존 기술의 100% 유지율을 기록하며 파괴적 망각이 없음을 입증했습니다.
• 슈퍼 마리오 시나리오 실험:
  • 유령 피하기, 계단 오르기, 터널 기어가기, 상자 치기, 공 차기 등 연속적이고 복잡한 상호작용 작업을 성공적으로 수행했습니다.
  • 수동 및 자동 전환 제어 모두에서 매끄러운 동작 전환과 물리적 실현 가능성을 검증했습니다.
• 자율 항해 실험 (중국의 정원 환경):
  • 약 240 초 동안의 연속 이동 동안 보행 (Walk), 달리기 (Run), 계단 오르기 (Stair) 모드를 환경에 따라 자동 전환하며 22 개의 목표 지점을 성공적으로 도달했습니다.
  • 계단 오르기 시 질량 중심 높이가 0.78m 에서 1.78m 로 안정적으로 상승하는 등 지형 변화에 따른 자세 안정성과 제어 정밀도를 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 인간형 로봇의 다중 기술 학습에서 발생하는 저효율성과 파괴적 망각 문제를 해결하는 효율적인 시스템 수준의 솔루션을 제시했습니다.

• 기존 RL 기반 제어와의 차별점:
  1. 높은 학습 효율성: 계층적 파라미터 재사용을 통해 새로운 기술 확장 시 수렴 보상이 기존 다중 작업 베이스라인을 상회합니다.
  2. 파괴적 망각 방지: 물리적으로 격리된 트리 구조 네트워크를 통해 기존 기본 기술의 유지율을 100% 로 보장합니다.
  3. 광범위한 시나리오 적응성: 단순 평지 보행부터 복잡한 지형 (계단, 터널) 및 고동적 상호작용 (공 차기, 점프) 까지 폭넓은 스펙트럼을 커버합니다.
  4. 실용적 상호작용: 저지연 동적 기술 전환을 지원하여 사용자의 명령에 따른 매끄러운 로봇 제어가 가능합니다.

결론적으로 Tree Learning 은 embodied intelligent agents 의 지속적 학습을 위한 실용적이고 확장 가능한 프레임워크로서, 향후 실제 물리 로봇으로의 전이 (Sim-to-Real) 및 복잡한 장기 동작 (예: 춤) 학습을 위한 기반을 마련했습니다.