기술 요약: 실제 로봇을 위한 시뮬레이션-투-온라인 강화학습에서 중요한 요소들

문제 정의

강화학습(RL)은 로보틱스 분야에서 성공적인 성과를 보여왔지만, 대부분의 현재 시스템은 시뮬레이터나 고정된 데이터셋 내에서의 오프라인 학습에 의존하며, 전형적인 온라인 학습 환경은 피하고 있습니다. 이러한 접근 방식은 성능을 사전 지식(priors)의 품질에 국한시키며, "오픈 월드"에 적응하는 것을 방해합니다. 시뮬레이터는 불완전할 수밖에 없지만, 언어 모델링과 같은 도메인에 비해 고품질의 실세계 사전 학습 데이터를 확보하는 비용은 매우 높습니다. 따라서 미래의 자율 시스템은 체화된 상호작용(embodied interaction)을 통해 온라인으로 학습해야 합니다.

그러나 시뮬레이션에서 학습된 정책을 실제 하드웨어에 대해 단순히 미세 조정(fine-tuning)하는 것은 치명적인 망각(catastrophic forgetting)과 불안정성을 초래할 수 있습니다. 본 논문은 새로운 알고리즘을 제안하기보다는, 표준적인 오프-폴리시(off-policy) RL을 시뮬레이션-투-온라인 설정에서 신뢰할 수 있게 만들기 위해 필요한 구체적인 설계 선택 사항들을 조사합니다. 핵심 과제는 "하향 나선(downward spiral)"입니다. 즉, 시뮬레이션에서 학습된 정책($p_0$)이 실제 역학($p$)에 배포될 때, 발생하는 분포 변화(distribution shift)로 인해 크리틱(critic)이 부정확해집니다. 이러한 부정확함은 좋지 않은 행동을 강화하고, 이는 다시 추가적인 분포 변화와 성능 붕괴로 이어지는 악순환을 만듭니다.

방법론

저자들은 세 가지 서로 다른 로봇 플랫폼을 대상으로 100회 이상의 실제 세계 훈련 실행을 포함하는 대규모 경험적 연구를 수행했습니다:

1. Franka Emika Panda: 비전 기반 조작 작업 (큐브 잡기 및 들어올리기).
2. Unitree Go1: 조이스틱 명령을 따르는 사족보행 로코모션 작업.
3. Race Car: 주차를 포함하며 빠른 제어 루프(60 Hz)와 복잡한 타이어 마찰 역학을 특징으로 하는 고속 주행 작업.

본 연구는 베이스라인 오프-폴리시 알고리즘으로 **Soft Actor-Critic (SAC)**을 활용합니다. 저자들은 새로운 알고리즘 구성 요소를 도입하는 대신, 안정적인 전이를 위한 견고한 "레시피"를 식별하기 위해 표준적인 설계 선택 사항들을 체계적으로 절제(ablation) 실험하였습니다.

제안된 레시피

본 논문은 안정적인 온라인 미세 조정을 가능하게 하는 네 가지 핵심 구성 요소를 식별했습니다:

1. 유지된 리플레이 (데이터 앵커링 - Retained Replay):

   • 메커니즘: 시뮬레이션 데이터를 버리거나($\mathcal{D}_0$) 온라인 데이터에만 의존하는 대신, 저자들은 시뮬레이션과 실세계 데이터가 혼합된 리플레이 버퍼를 유지합니다.
   • 전략: 온라인 데이터의 샘플링 확률($\alpha$)이 0.5에서 시작하여 점진적으로 1.0까지 증가하는 어닐링 스케줄(annealing schedule)을 사용합니다.
   • 근거: $\mathcal{D}_0$를 유지함으로써 리플레이 분포를 고정(anchor)하여, 시뮬레이션-실세계 간극으로 인해 크리틱의 평형이 너무 급격하게 이동하는 것을 방지하고 초기 적응을 안정화합니다.

2. 웜 스타트된 온라인 리플레이 (Warm-Started Online Replay):

   • 메커니즘: 정책 업데이트가 일어나기 전, 초기 정책($\pi_0$)을 소수의 시행($N^*$) 동안 실행하여 초기 실세계 데이터 배치를 수집합니다.
   • 근거: 이는 $\mathcal{D}_0$를 유지할 수 없는 상황에서 온라인 버퍼가 비어 있음으로써 발생하는 불안정성을 완화하며, 시뮬레이션 데이터를 유지하는 효과를 근사합니다.

3. 지연된 액터 업데이트 (비대칭 업데이트 - Delayed Actor Updates):

   • 메커니즘: 액터는 크리틱보다 덜 빈번하게 업데이트되는 반면(예: 크리틱 20회 업데이트당 1회), 크리틱은 더 빈번하게 업데이트되며 보수적인 학습률을 가집니다.
   • 근 근거: 이는 "두 가지 타임스케일(two-timescale)" 문제를 해결합니다. 역학이 변할 때 크리틱은 새로운 분포에 적응할 시간이 필요합니다. 만약 액터가 뒤처진 크리틱을 바탕으로 너무 빠르게 업데이트되면 오류를 강화하게 됩니다. 액터 업데이트를 지연시킴으로써, 정책이 변경되기 전에 크리틱이 이동하는 평형을 추적할 수 있도록 합니다.

4. 최적화된 업데이트-대-데이터 비율 (Optimized Update-to-Data (UTD) Ratio):

   • 메커니즘: 사전 학습에 사용된 병렬 시뮬레이션 환경의 규모에 맞추어, 환경 단계당 크리틱 업데이트 횟수($\eta$)를 조절합니다.
   • 근거: 표준 구현체들은 대규모 병렬 시뮬레이터를 사용할 때 크리틱을 충분히 학습시키지 못하는 경우가 많습니다. $\eta$를 높이면 샘플 효율성이 향상되고 학습 부족을 방지하지만, 계산 비용은 더 많이 발생합니다.

이론적 분석

본 논문은 "하향 나선"에 대한 두 가지 타임스케일 분석을 제공합니다. 크리틱을 정책과 리플레이 분포가 변함에 따라 움직이는 평형을 추적하는 모델로 상정합니다.

• 식 (9) & (10): 크리틱 추적 오차를 "잔여 오차(residual error)"와 "분포 유도 드리프트(distribution-induced drift, 또는 액터 유도 드리프트)"로 분해합니다.
• 식 (15): 액터 업데이트의 왜곡이 추적 오차와 액터 업데이트 전 수행된 크리틱 단계 수($M$)에 비례함을 보여줍니다.
• 결론: $M$(지연된 업데이트)을 늘리면 유한 추적 오차($q^M$)를 줄일 수 있으며, 더 작은 액터 학습률($\beta_\pi$)은 아직 적응하지 못한 크리틱에 의해 발생하는 섭동을 제한합니다.

주요 결과

제안된 레시피는 세 가지 로봇 플랫폼 전체에서 검증되었으며, 표준적인 오프-폴리시 RL이 주요 알고리즘 수정 없이도 신뢰할 수 있게 만들어질 수 있음을 입증했습니다:

• 안정성 vs 불안정성: 베이스라인 구성(온라인 전용 리플레이, 웜 스타트 없음, 동기적 액터-크리틱 업데이트)은 일관되적으로 성능 저하나 치명적인 실패(예: 로봇이 넘어지거나 목표를 놓침)를 초래했습니다. 전체 레시피는 모든 작업에서 안정적인 개선을 보여주었습니다.
• 성性能 이득:
  • Franka Emika Panda: 제로샷 시뮬레이션-투-리얼 전이에서 상실되었던 신뢰할 수 있는 잡기 능력을 회복했습니다.
  • Unitree Go1: 이전에 본 적 없는 속도 명령에 대한 강건성을 개선했습니다.
  • Race Car: 더 빠르고 정밀한 주차를 달성했습니다.
• 데이터 효율성: 이전 시행의 데이터를 재사용하는 것(Retained Replay)이 학습을 크게 가속화했습니다. 단 몇 번의 이전 시행 데이터만 유지하더라도 상당한 성능 향상을 보였습니다.
• 웜 스타트: Franka 로봇에는 엄격하게 필수적이지 않았으나, Unitree Go1과 Race Car의 학습을 안정화하는 데에는 결정적이었습니다.

의의 및 주장

저자들은 본 연구가 물리적 로봇에 대한 시뮬레이션-투-온라인 RL의 설계 선택 사항에 관한 최초의 대규모 샘플 경험적 연구라고 주장합니다.

• 실무적 가이드: 본 논문은 실무자들이 더 적은 엔지니어링 노력으로 온라인 RL을 배포하기 위해 직접 채택할 수 있는 표준 RL 구성 요소로 구축된 "간단한 레시피"를 제공합니다.
• 기본값의 해체: 널리 사용되는 기본값들(예: 온라인 전용 리플레이 또는 동기적 업데이트)이 시뮬레이션-투-온라인 설정에서는 해로울 수 있음을 보여줌으로써 이를 반박합니다.
• 알고리즘적 미니멀리즘: 복잡한 알고리즘적 혁신이 항상 필요한 것은 아니며, 데이터 관리와 최적화 스케줄의 세심한 엔지니어링만으로도 실세계 미세 조정을 위한 표준 SAC를 효과적으로 만들 수 있음을 시사합니다.
• 오픈 소스: 저자들은 특히 Franka Emika Panda를 위한 지속적인 연구를 지원하기 위해 풀스택 훈련 파이프라인과 코드를 공개합니다.

본 논문은 이러한 발견들이 온라인 RL을 더욱 실용적으로 만들지만, 인간의 리셋이 없는 완전한 자율 학습은 여전히 열려 있는 연구 과제임을 언급하며 마무리합니다. 현재의 연구는 안전과 리셋을 위해 인간의 개입이 여전히 필요한 반자동 에피소드 설정에 집중하고 있습니다.