논문 요약: 인간형 로봇 제어를 위한 대규모 사전 학습과 효율적 미세 조정 간의 간극 해소 (LIFT)

이 논문은 인간형 로봇 (Humanoid) 제어 분야에서 **대규모 시뮬레이션 기반 사전 학습 (Pretraining)**과 효율적인 실제 환경 미세 조정 (Finetuning) 사이의 간극을 해소하기 위한 새로운 프레임워크인 **LIFT (Large-scale pretraIning and efficient FineTuning)**를 제안합니다.

1. 문제 정의 (Problem)

• 온-폴리시 (On-policy) 방법의 한계: PPO 와 같은 온-폴리시 강화학습 (RL) 알고리즘은 대규모 병렬 시뮬레이션을 통해 인간형 로봇 제어에 강력한 성능을 보여주고 있으며, 제로샷 (Zero-shot) 실물 배포도 가능하게 합니다. 그러나 샘플 효율성이 낮아 새로운 환경이나 작업에 적응할 때 안전하고 효율적인 학습이 어렵습니다.
• 오프-폴리시 (Off-policy) 및 모델 기반 방법의 과제: 샘플 효율성이 높은 오프-폴리시 (SAC 등) 나 모델 기반 RL 은 존재하지만, 대규모 병렬 시뮬레이션에서의 사전 학습과 새로운 환경에서의 효율적인 미세 조정을 동시에 지원하는 통합 프레임워크가 부족합니다. 특히 인간형 로봇은 지지 면적이 좁고 불안정하여, 미세 조정 중 무작위 탐색 (Stochastic Exploration) 을 실제 환경에서 수행할 경우 위험이 큽니다.
• 핵심 질문: 어떻게 대규모 시뮬레이션의 벽시계 시간 (Wall-clock) 효율성과 모델 기반 학습의 샘플 효율성을 결합하여, 안전하고 데이터 효율적인 인간형 로봇 적응을 가능하게 할 수 있을까요?

2. 제안 방법 (Methodology: LIFT Framework)

LIFT 는 세 단계로 구성된 파이프라인을 제시합니다.

(i) 대규모 정책 사전 학습 (Large-scale Policy Pretraining)

• 알고리즘: **SAC (Soft Actor-Critic)**를 기반으로 합니다. PPO 보다 오프-폴리시 특성을 활용하여 제한된 샘플로도 안정적인 수렴을 보장하고, 상태 의존적 확률적 액터 (State-dependent stochastic actor) 를 통해 세계 모델 내에서의 탐색 다양성을 높입니다.
• 구현: JAX를 사용하여 대규모 병렬 시뮬레이션 (수천 개의 환경) 을 지원합니다. 대배치 업데이트 (Large-batch update) 와 높은 업데이트 - 대 - 데이터 (UTD) 비율을 구현하여 단일 GPU (RTX 4090) 에서도 빠른 수렴을 달성했습니다.
• 결과: 대규모 시뮬레이션에서 훈련된 정책은 실제 로봇에 제로샷으로 배포될 수 있습니다.

(ii) 물리 정보 기반 세계 모델 사전 학습 (Physics-Informed World Model Pretraining)

• 데이터 활용: 사전 학습된 SAC 정책에서 수집된 트랜지션 데이터를 오프라인으로 저장한 후, 이를 기반으로 세계 모델을 학습합니다.
• 모델 구조: **라그랑주 역학 (Lagrangian dynamics)**을 물리 사전 지식 (Physics prior) 으로 포함하고, 미지수 (접촉력, 소산 토크 등) 를 예측하는 **잔차 네트워크 (Residual Network)**를 결합한 하이브리드 모델을 사용합니다.
• 장점: 순수 신경망 기반 모델 (MBPO 등) 의 편향을 줄이고, 제한된 데이터에서도 정확한 상태 예측을 가능하게 하여 미세 조정의 안정성을 높입니다.

(iii) 효율적인 미세 조정 (Efficient Finetuning)

• 안전한 데이터 수집: 새로운 환경 (실제 로봇 또는 다른 시뮬레이터) 에서는 **결정론적 정책 (Deterministic Policy, 평균 액션)**만 실행하여 무작위 탐색으로 인한 위험을 제거합니다.
• 모델 내 탐색: 확률적 탐색은 물리 정보 기반 세계 모델 내부에서만 수행됩니다. 학습된 세계 모델을 통해 생성된 가상의 트래젝토리를 사용하여 정책을 업데이트합니다.
• 반복 과정: 실제 환경 데이터 수집 $\rightarrow$ 세계 모델 미세 조정 $\rightarrow$ 세계 모델 내에서의 가상 롤아웃을 통한 정책 업데이트 순서로 반복됩니다.

3. 주요 기여 (Key Contributions)

1. 확장 가능한 SAC 구현: JAX 기반의 SAC 구현을 통해 단일 GPU 에서 대규모 병렬 시뮬레이션을 지원하며, 1 시간 이내의 훈련 시간으로 실제 인간형 로봇에 제로샷 배포가 가능한 강력한 정책을 생성했습니다.
2. 안전하고 효율적인 미세 조정 전략: 새로운 환경에서는 결정론적 행동을 수행하고, 확률적 탐색을 물리 정보 기반 세계 모델 내부로 제한함으로써 샘플 효율성을 극대화하고 학습 안정성을 확보했습니다.
3. 오픈 소스 파이프라인: 사전 학습, 제로샷 배포, 미세 조정을 아우르는 인간형 로봇 제어용 오픈 소스 파이프라인을 공개하여 로봇학계의 실용적인 베이스라인을 제공합니다.

4. 실험 결과 (Results)

• 사전 학습 성능: MuJoCo Playground 환경에서 PPO 및 FastTD3 와 비교했을 때, LIFT 는 유사하거나 더 높은 성능을 보이며 더 빠르게 수렴했습니다. 특히 불규칙한 지형 (Rough terrain) 에서 안정성이 뛰어났습니다.
• 시뮬레이션 간 미세 조정 (Sim-to-Sim): MuJoCo 에서 학습된 정책을 Brax 시뮬레이터로 전이하여 미세 조정 실험을 수행했습니다.
  • 성능: LIFT 는 분포 내 (In-Distribution) 및 분포 외 (Out-of-Distribution) 속도 추적 작업에서 모두 안정적으로 수렴했습니다.
  • 비교: SAC(단독), PPO, FastTD3 는 새로운 환경에서 수렴 실패나 성능 저하를 보였으며, SSRL(물리 모델 기반) 은 고속 추적 작업에서 실패했습니다. LIFT 는 40,000 환경 스텝 (약 800 초) 내에 목표 속도를 안정적으로 추적했습니다.
• 실제 로봇 미세 조정 (Real-world Finetuning): Booster T1 인간형 로봇을 대상으로 실험했습니다.
  • 사전 학습된 정책이 실물에서 불안정하게 동작하는 상황에서도, LIFT 를 통해 단 몇 분 (80~590 초) 의 실제 데이터만으로 로봇의 자세를 바로잡고 보행 패턴을 안정화하며 속도 추적을 개선했습니다.
  • 현재는 모션 캡처 시스템 (Vicon) 에 의존하지만, 향후 온보드 센서로 확장 가능함을 시사합니다.

5. 의의 및 결론 (Significance)

이 논문은 인간형 로봇 제어의 핵심 난제인 **"대규모 시뮬레이션의 속도"**와 **"실제 환경 적응의 안전성/효율성"**을 동시에 해결하는 실용적인 프레임워크를 제시했습니다.

• 안전성: 실제 로봇에서의 위험한 무작위 탐색을 제거하고 모델 내 탐색으로 대체함으로써 안전성을 확보했습니다.
• 데이터 효율성: 물리 법칙을 모델에 내재화하고 오프-폴리시 학습을 결합하여, 제한된 실제 데이터로도 고성능 적응을 가능하게 했습니다.
• 미래 방향: 이 접근법은 인간형 로봇이 새로운 환경이나 작업에 빠르게 적응할 수 있는 지속 가능한 학습 (Continuous Learning) 의 길을 열어주며, 향후 비전 기반 입력이나 고차원 센서 데이터 통합으로 확장될 잠재력을 가지고 있습니다.

요약하자면, LIFT는 대규모 시뮬레이션으로 강력한 초기 정책을 만들고, 물리 기반 세계 모델을 통해 안전하고 효율적으로 실제 환경에 적응시키는 하이브리드 RL 프레임워크로서, 인간형 로봇의 실용화를 위한 중요한 진전을 이룩했습니다.