Learning to Race in Minutes: Infoprop Dyna on the Mini Wheelbot

기술 요약: Infoprop Dyna 를 활용한 미니 휠봇의 분 단위 레이싱 학습

문제 제기
빠르고 불안정하며 비선형적인 동역학을 특징으로 하는 로봇 시스템의 제어는, 특히 실제 하드웨어에서 직접 학습할 때 여전히 중요한 과제로 남아 있습니다. 강화 학습 (RL) 은 잠재력을 제공하지만, 기존 방법들은 종종 낮은 샘플 효율성을 겪으며, 성공적인 시뮬레이션 - 현실 전이를 달성하기 위해 정교하게 설계된 물리 기반 시뮬레이터와 광범위한 도메인 무작위화가 필요합니다. 모델 기반 강화 학습 (MBRL) 은 학습된 동역학 모델을 통해 상상된 롤아웃으로 실제 경험을 보강함으로써 샘플 효율성을 개선합니다. 그러나 불완전한 모델은 종종 장기 계획 중 '모델 악용 (model exploitation)'을 초래하여 실제 세계 성능을 저하시킵니다. 본 연구에서 다루는 구체적인 과제는 매우 비선형적인 요우 (yaw) 동역학을 가진 미구동 단바퀴 로봇인 미니 휠봇입니다. 지면 접촉 상호작용, 작은 시간 상수, 그리고 구동에 대한 민감도로 인해 제어가 복잡해지며, 정확한 모델링이 어렵고 효과적인 궤적 추적을 위해서는 장기 계획이 필수적입니다.

방법론
저자들은 Infoprop Dyna 를 활용하여 미니 휠봇이 물리 기반 시뮬레이터에 의존하지 않고 실제 세계 상호작용으로부터 직접 학습할 수 있도록 합니다. Infoprop Dyna 는 최첨단 불확실성 인식 MBRL 프레임워크입니다.

• 핵심 알고리즘: Infoprop Dyna 는 모델 예측을 기준 신호 (ground truth signal) 의 노이즈가 포함된 관측치로 간주합니다. 정보 이론을 활용하여 이 프레임워크는 추정된 기준 신호를 복원하면서 동시에 노이즈로 인한 누적 오염을 추적합니다. 이 접근법은 모델 악용을 완화하고 기존 방법들보다 더 긴 시간 범위에서 신뢰할 수 있는 롤아웃을 가능하게 합니다.
• 동역학 모델링: 완전히 관측되고 메모리가 없는 상태를 가정하는 이전 벤치마크와 달리, 미니 휠봇은 온보드 상태 추정에 의존합니다. 따라서 학습된 전이 모델은 추정된 물리 상태와 적용된 제어 입력의 짧은 역사에 조건부로 설정되어 다음 추정 상태를 예측합니다. 이를 통해 모델은 물리 시스템과 함께 상태 추정기의 동역학을 암묵적으로 포착할 수 있습니다.
• 학습 파이프라인: 시스템은 분산 학습 설정 (그림 2 에 도시됨) 을 활용합니다. 실제 세계 데이터는 물리 로봇에 의해 수집되어 SSH 를 통해 로컬 워크스테이션으로 전송된 후, 해당 워크스테이션이 데이터셋을 고성능 컴퓨팅 (HPC) 클러스터로 전달합니다. 모델 학습 및 정책 최적화는 BRAX 위에 구축된 JAX 기반 구현을 사용하여 수행됩니다. 핵심적으로, 훈련에는 시뮬레이션 모델이 사용되지 않으며, HPC 클러스터는 학습된 동역학 모델을 사용하여 대규모 병렬 합성 롤아웃을 생성함으로써 물리 시뮬레이터의 필요성을 대체합니다.
• 초기화: 안전성을 보장하고 정보 있는 전이를 제공하기 위해, 실제 세계 데이터셋은 근사 모델 예측 제어기 (AMPC) 와 조이스틱 인터페이스를 사용하여 로봇을 수동으로 조종하여 수집한 1 분간의 데이터로 워밍업됩니다.

주요 기여

1. 시뮬레이터 없는 실제 세계 학습: 본 연구는 Infoprop Dyna 가 로봇이 정교하게 설계된 시뮬레이션 - 현실 파이프라인의 필요성을 우회하고 실제 세계 상호작용으로부터 직접 복잡한 제어 정책을 학습할 수 있음을 입증합니다.
2. 공격적 행동의 신속한 습득: 미니 휠봇은 11 분의 실제 세계 경험을 통해 고정된 트랙을 주행하는 법을 학습하며, 보수적인 움직임에서 공격적인 레이싱 전략으로 진화합니다.
3. 비자명한 전략의 발견: 학습된 정책은 코너를 navigate 하기 위해 고속에서 제어된 미끄러짐과 같은 복잡한 행동을 발견하는데, 이는 순수 물리 기반 시뮬레이션으로는 포착하기 어렵습니다.
4. 분산 학습 아키텍처: 본 논문은 HPC 에서의 대규모 병렬화를 통해 훈련 시간이 실제 세계 데이터 수집 시간과 비교 가능하도록 하는 파이프라인을 제시하며, 이는 훈련이 벽시계 시간을 지배했던 이전 벤치마크와 대조됩니다.

결과
단일 연속 훈련 실행에서, 에이전트는 6 분의 실제 세계 상호작용 후 첫 번째 랩을 성공적으로 완료했습니다. 11 분 시점에 에이전트는 정점 성능에 도달하여 높은 일관성으로 여러 랩을 완주했습니다.

• 성능 지표: 최종 레이싱 에이전트는 평균 속도 0.5 m/s 및 최대 속도 0.97 m/s 를 달성했습니다. 비교 대상인 초기 AMPC 기준선은 평균 속도 0.15 m/s 및 최대 속도 0.33 m/s 였습니다.
• 효율성: 레이싱 에이전트는 AMPC 에이전트보다 3 배 이상 많은 랩을 완주했습니다.
• 행동적 차이: AMPC 가 재구성을 위해 자이로스코프 효과에 의존한 반면, 학습된 에이전트는 빠른 코너를 처리하기 위해 제어된 미끄러짐을 활용하여 트랙 중심선에 더 밀착하고 더 높은 속도를 유지할 수 있었습니다.

의의
본 논문은 이러한 결과들이 Infoprop Dyna 의 실제적 잠재력을 강조하여 실제 로봇 시스템에서 데이터 효율성과 높은 최종 성능 간의 격차를 해소할 수 있음을 보여준다고 주장합니다. 시뮬레이터 없이도 분 단위에 미구동 시스템을 공격적인 레이싱 행동으로 학습할 수 있음을 입증함으로써, 이 연구는 실제 세계 모델 기반 강화 학습의 더 넓은 채택을 위한 실현 가능한 경로를 제시합니다. 저자들은 이를 더 큰 아레나와 임의의 트랙 레이아웃으로 이러한 방법을 확장하고, 로봇 시스템 전반에 걸쳐 보다 광범위한 적용을 위한 모듈식 인터페이스를 개발하는 단계로 위치시킵니다.