Continual-RL for Generalization in Autonomous Racing on the RoboRacer Platform

기술 요약: RoboRacer 플랫폼 상의 자율 주행 레이싱을 위한 일반화를 위한 지속적 강화학습(Continual-RL)

문제 정의
본 논문은 시뮬레이션이 모든 실제 환경 구성을 포괄할 수 없는 변화하는 물리적 환경에 로봇 에이전트를 적응시키는 과제를 다룹니다. 강화학습(RL)은 게임과 시뮬레이션된 로보틱스 분야에서 초인적인 성능을 달est했지만, 물리적 세계로의 일반화는 여전히 어렵습니다. 도메인 무작위화(domain randomization)에 크게 의존하는 기존 방식은 지나치게 보수적인 정책을 초래하거나, 수집하기 어렵고 시간이 많이 소요되는 방대한 양의 실제 데이터를 필요로 합니다.

구체적으로, 저자들은 RoboRacer 플랫폼에서의 자율 주행 레이싱(Autonomous Racing, AR)에 초점을 맞춥니다. 이 영역에서 에이전트는 엄격한 시간 제약 조건 하에서 새로운 트랙 레이아웃과 다양한 타이어-노면 마찰력 조합(비정상 환경)에 적응해야 합니다. 핵심 문제는 잔여 정책 구조(residual policy structures)나 광범ware한 시뮬레이션 사전 학습에 의존하지 않고도, "파괴적 망각"(task switching 후 성능 저하)을 방지하고 "가소성"(새로운 태스크에 적응하는 능력)을 유지하면서 샘플 효율적인 학습을 달성하는 것입니다.

방법론
제안된 솔루션은 직접적인 실세계 학습을 위해 설계된 지속적 강화학습(Continual RL) 프레임워크입니다. 이 방법론은 다음 구성 요소들을 통합합니다:

1. 핵심 알고리즘: 프레임워크는 샘플 효율성을 위해 오프-폴리시(off-policy) Soft Actor-Critic(SAC) 알고리즘을 활용합니다. 이는 별도의 액팅(acting) 노드와 러닝(learning) 노드를 갖춘 비동기 아키텍처(Async-SAC)를 채택합니다.
2. 지속적 학습 메커니즘:
   • 지속적 역전파(Continual Backpropagation, CBP): 가소성 상실을 완화하기 위해 액터(actor) 및 크리틱(critic) 네트워크의 모든 레이어에 적용됩니다. CBP는 활성화 차이와 가중치 크기를 고려하는 즉각적인 유틸리티 함수를 기반으로 "휴면" 뉴런(유용성이 낮은 유닛)을 동적으로 재초기화합니다.
     간접적으로 가중치가 무한히 커지는 것을 방지하여 가소성 상실의 원인이 되는 현상을 막기 위해 학습 목적 함수에 추가된 정규화 기술입니다.
   • 적응형 경험 재생(Adaptive Experience Replay, ERE 변형): 크기가 줄어드는 버퍼 대신, 저자들은 샘플링을 위한 우선순위 곡선을 구현했습니다. 새로운 샘플에는 높은 우선순위($P_{high} = 1.0$)가 할당되는 반면, 오래된 샘플은 버퍼가 채워짐에 따라 감소하는 적응형 낮은 우선순위를 가집니다. 이는 과거 경험의 기억을 유지하면서 현재 상태 분포에 적응하는 것 사이의 균형을 맞춥니다.
3. 훈련 프로토콜:
   • 사전 학습(Pre-training): 에이전트는 네 가지 서로 다른 트랙과 두 가지 뚜렷한 타이어-노면 조합(레진 코팅 및 아스팔트)에서 100,000 그레이디언트 스텝 동안 학습됩니다.
   • 미세 조정(Fine-tuning): 이후 정책은 마찰력이 더 낮은, 완전히 보지 못한 트랙(연마된 콘크리트)에서 미세 조정됩니다. 목표는 추가 학습 15분 이내에 고전적 컨트롤러를 능가하는 것입니다.
   • 안전(Safety): 학습은 인간의 모니터링 하에 진행됩니다. 안전 필터는 RL 에이전트에게 완전한 대리권(end-to-end control)을 허용하지만, 인간 운영자가 드라이브 버튼을 눌러야 합니다. 버튼을 놓으면 페널티가 발생합니다.
4. 베이스라인 비교:
   • 오프라인 RL: 지속적 학습 단계 동안 수집된 다양한 궤적 데이터셋을 사용하는 Implicit Q-Learning(IQL) 기반의 대안적 사전 학습 전략입니다.
   • 고전적 컨트롤러: 모델 예측 컨투어링 제어(MPCC) 및 모델 및 가속도 기반 추적(MAP)입니다.
   • 어블레이션(Ablation): 처음부터 학습하는 방식(Baseline-FS) 및 CBP 없이 지속적 학습을 수행하는 방식(Baseline-C-n)과의 비교입니다.

주요 기여
본 논문은 다음과 같은 기여를 주장합니다:

• 지속적 RL 프레임워크: CBP를 기반으로 하여 실제 세계 데이터만을 사용하여 일반적인 정책을 학습하는 시스템입니다. 이 시스템은 잔여 정책 구조를 사용하지 않고도 보지 못한 트랙-노면 조합에 대해 15분 이내에 성공적으로 미세 조정하며, 이는 이전 연구(약 82분 소요)보다 훨씬 빠릅니다.
• 오프라인 RL 비교: 오프라인 RL 사전 학습 접근 방식(IQL)에 대한 평가입니다. 이 방법은 네트워크 가소성(데드 유닛이 0%로 수렴) 측에는 유망한 징후를 보였으나, 미세 조정 단계에서 지속적 접근 방식보다 낮은 성능을 보였습니다.
• 시뮬레이션 분석: 지속적 학습 네트워크 수정(CBP, L2 Init)이 버퍼 관리 전략만 사용하는 것보다 미세 조정 성능을 크게 향상시킨다는 것을 입증하는 평가입니다. 이 연구는 복잡한 트랙에서 먼저 학습하는 것이 더 높은 가소성 상실을 유발할 수 있음을 강조합니다.
• 오픈 소스: 재현을 용이하게 하기 위해 트랙, 시뮬레이션 모델 및 RL 프레임워크를 공개합니다.

결과
실험은 시뮬레이션과 실제 물리적 RoboRacer 플랫폼 모두에서 수행되었습니다.

• 시뮬레이션: 지속적 방법(CBP-n)은 랩 타임과 가소성(데드 유닛 수) 측면에서 비지속적 베이스라인(Baseline-C-n)보다 일관되게 우수한 성능을 보였습니다. 오프라인 방법(IQL-n)은 높은 가소성을 보였으나 랩 타임은 느렸습니다.
• 실제 세계 성능:
  • 보지 못한 테스트 트랙에서 15분간의 미세 조정을 거친 후, 지속적 RL 정책(CBP-5)은 평균 랩 타임 10.44초를 달성했습니다.
  • 이는 고전적 MAP 컨트롤러(10.97초)와 MPC 컨트롤러(11.50초)를 능가했습니다.
  • 지속적 RL 정책은 고전적 MAP 베이스라인보다 6.4% 더 빨랐으며, 이는 84분의 학습이 필요했던 이전 연구의 결과와 대등한 수준입니다.
  • "처음부터 학습(From Scratch)" 정책(CBP-FS)은 유사한 성능(10.62초)을 보였으나 훨씬 더 많은 시간(약 50분)이 소요되었습니다.
  • 오프라인 RL 정책(IQL-4-CBP)은 데드 유닛 측면에서는 높은 가소성을 보였음에도 불구하고, 높은 편차와 함께 낮은 성능(12.13초)을 보였습니다.
• 가소성 지표: 지속적 방법은 비지속적 베이스라인에 비해 액터 네트워크의 "데드 유닛" 비율을 낮게 유지했습니다. 흥로롭게도, 실제 세계의 지속적 방법은 시뮬레이션(60%)보다 훨씬 적은 데드 유닛(18%)을 보여주었으며, 이는 실제 환경이 더 복잡한 표현을 요구함을 시사합니다.

의의 및 주장
본 논문은 자사의 접근 방식이 정확한 시뮬레이션이 불가능하거나 비실용적인 비정상 물리적 환경에서 일반적인 정책을 훈련하기 위한 실행 가능한 경로를 제공한다고 주장합니다. SAC와 지속적 역전파(CBP), 그리고 적응형 재생 전략을 결합함으로써, 이 방법은 새로운 지형과 마찰 수준에 대해 빠른 적응(10~15분)을 달성하며 고전적인 모델 기반 컨트롤러를 능가합니다.

저자들은 네트워크 가소성(데드 유닛으로 측정)과 적응 능력 사이의 상관관계를 강화하는 발견을 강조합니다. 이들은 본 프레임워크가 미지의 지형에서의 사족 보행 이동이나 새로운 재료를 이용한 정교한 조작과 같이 빠른 적응을 요구하는 다른 도메인에도 적용 가능하다고 제안합니다. 또한 오프라인 RL 사전 학습에서 관찰된 성능 저하와 같은 한계를 인정하며, 더욱 샘플 효율적인 알고리즘에 대한 향후 연구를 제안합니다.