Learning Task-Invariant Properties via Dreamer: Enabling Efficient Policy Transfer for Quadruped Robots

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 4 발 보행 로봇이 다양한 지형과 동적인 환경에서 자율적으로 이동하는 것은 embodied intelligence 의 핵심 목표이나, 시뮬레이션과 현실 (Sim-to-Real) 간의 차이 (dynamics discrepancies, 센서 노이즈, 시각적 불일치) 로 인해 훈련된 정책의 성능이 급격히 저하되는 문제가 발생합니다.
• 기존 방법의 한계:
  • 도메인 랜덤화 (Domain Randomization): 시뮬레이션 파라미터를 무작위화하지만, 복잡한 현실 세계를 완전히 커버하지 못해 일반화 능력이 제한적입니다.
  • 시뮬레이션 향상 (Simulator Enhancement): 고충실도 모델링이 필요하지만 비용이 많이 들고 복잡한 동역학을 모델링하기 어렵습니다.
  • 기존 도메인 적응 (Domain Adaptation): 훈련 불안정성과 높은 계산 비용, 그리고 시뮬레이션의 특정 동역학 파라미터에 대한 과도한 의존성으로 인해 실제 환경의 변화에 취약합니다.
• 핵심 문제: 시뮬레이션에서 학습된 정책이 실제 환경의 동역학 변화에 민감하게 반응하지 않도록 하되, 적은 수의 실제 데이터로 효율적으로 적응 (Adaptation) 할 수 있는 방법론이 필요합니다.

2. 제안 방법론: DreamTIP (Methodology)

저자들은 Dreamer 세계 모델 (World Model) 아키텍처를 기반으로 DreamTIP (Learning Task-Invariant Properties via Dreamer) 프레임워크를 제안합니다. 이 프레임워크는 크게 두 단계로 구성됩니다.

A. 작업 불변 속성 (Task-Invariant Properties, TIP) 학습

• LLM 기반 TIP 추출기 (TIP Extractor):
  • 기존의 수동 피처 설계의 비효율성과 편향을 해결하기 위해 대형 언어 모델 (LLM) 을 활용합니다.
  • LLM 에게 작업 설명과privileged observation(우월한 관측치, 예: 지면 접촉력, 높이 등) 을 입력하여, 작업 성공에 필수적이지만 동역학 변화 (무게, 마찰계수 등) 에 민감하지 않은 고수준 작업 불변 속성을 추출하도록 유도합니다.
  • 예시 속성: 접촉 안정성 (Contact stability), 지형 여유 높이 (Terrain clearance) 등.
• DreamTIP 아키텍처:
  • 기존 Dreamer 의 세계 모델 학습 과정에 속성 예측기 (Properties Predictor) 를 추가합니다.
  • 은닉 상태 (Latent state) 로부터 추출된 TIP 을 예측하도록 보조 손실 함수 (Auxiliary loss) 를 도입합니다.
  • 이를 통해 정책이 특정 동역학 파라미터에 의존하지 않고, 작업의 본질적인 물리적 특성을 학습하도록 유도하여 전이 능력을 향상시킵니다.

B. 현실 세계 효율적 적응 (Real-World Efficient Adaptation)

• 혼합 리플레이 버퍼 (Mixed Replay Buffer):
  • 시뮬레이션 데이터와 실제 로봇에서 수집한 소량의 데이터를 혼합하여 버퍼를 구성합니다. 이는 분포 차이로 인한 표현 붕괴 (Representation Collapse) 를 방지하고 적응의 안정성을 높입니다.
• 정규화 제약 (Regularization Constraints):
  • Teacher-Student 구조: 사전 훈련된 DreamTIP 모델 (Teacher, $M_{sg}$) 의 파라미터를 고정하고, 이를 기준으로 실제 데이터로 적응하는 모델 (Student, $M$) 의 업데이트를 제어합니다.
  • 음의 코사인 유사도 손실 (Negative Cosine Similarity Loss): Teacher 와 Student 모델이 입력을 인코딩한 확률적 상태 표현 ($z_t$) 간의 방향성을 일치시키도록 제약합니다. 이는 특징의 스케일 변화에 민감하지 않으면서 의미적 일관성을 유지하게 하여 파괴적 망각 (Catastrophic Forgetting) 을 방지합니다.
• 효율성: 적응 과정에서 순환 모듈 (Recurrent Module) 을 고정하여 실제 동역학에 빠르게 정렬되도록 하며, 정책 네트워크 (Policy Network) 는 고정된 상태에서 세계 모델만 미세 조정 (Fine-tuning) 합니다.

3. 주요 기여 (Key Contributions)

1. LLM 기반 TIP 추출: 인간의 직관적 설계 없이 LLM 을 활용하여 작업 불변 속성을 자동으로 추출하고 이를 세계 모델 학습에 통합하는 새로운 패러다임을 제시했습니다.
2. DreamTIP 프레임워크: Dreamer 아키텍처에 TIP 예측기를 추가하여 동역학 변화에 강건한 표현을 학습하도록 개선했습니다.
3. 안정적 적응 전략: 혼합 버퍼와 정규화 제약 (Teacher-Student distillation) 을 결합하여, 소량의 실제 데이터로도 표현 붕괴와 망각 없이 안정적으로 적응할 수 있는 방법을 제안했습니다.

4. 실험 결과 (Results)

• 실험 환경: Unitree Go2 로봇을 사용하여 Isaac Gym 시뮬레이션 및 실제 환경 (계단, 경사, 크롤링, 등반 등 8 가지 전이 작업) 에서 평가했습니다.
• 시뮬레이션 결과:
  • 8 가지 전이 작업에서 기존 최첨단 방법 (WMP, DreamTIP-DWL 등) 대비 평균 28.1% 의 성능 향상을 기록했습니다.
  • 특히 난이도가 높은 'Crawl' 작업 (23cm 간격) 에서 WMP 는 평균 보상 5.66 을 기록한 반면, 제안 방법은 25.35 를 기록하여 성능 저하가 극히 적음을 보였습니다.
• 실제 환경 (Real-World) 결과:
  • 등반 (Climb, 52cm) 작업: 기존 방법 (WMP) 의 성공률은 **10%**였으나, 제안 방법은 **100%**의 성공률을 달성했습니다.
  • 기울기 (Tilt) 및 크롤링 (Crawl) 작업: 모든 작업에서 기존 방법보다 우수한 성능을 보였으며, 특히 동역학 변화 (무게 중심 이동) 가 있는 상황에서도 강건성을 입증했습니다.
  • Ablation Study: LLM 기반 TIP 추출이 직접적인 우월 정보 예측보다 우수하며, 적응 과정의 정규화 제약이 성능 향상에 결정적임을 확인했습니다.

5. 의의 및 결론 (Significance)

• Robust Sim-to-Real Transfer: 로봇이 시뮬레이션과 현실의 동역학 차이에도 불구하고, 작업의 본질적인 물리적 속성 (접촉, 높이 등) 을 학습함으로써 강력한 전이 능력을 확보할 수 있음을 증명했습니다.
• 데이터 효율성: 실제 환경에서의 데이터 수집 비용이 높은 문제를 해결하기 위해, 소량의 실제 데이터만으로도 세계 모델을 안정적으로 적응시킬 수 있는 방법을 제시했습니다.
• LLM 의 활용: 로봇 제어 분야에서 LLM 을 단순한 명령 생성이 아닌, 작업의 핵심 물리 속성을 추상화하고 추출하는 도구로 활용하는 새로운 가능성을 열었습니다.

이 논문은 4 발 보행 로봇의 복잡한 지형 이동 문제를 해결하기 위해 세계 모델 학습과 LLM 의 추론 능력을 결합한 혁신적인 접근법을 제시하며, 향후 적응형 로봇 학습의 중요한 방향성을 제시합니다.