Transfer Learning for Customized Car Racing Environments

기술 요약: 맞춤형 자동차 레이싱 환경을 위한 전이 학습

문제 제기
강화 학습 (RL) 은 탐험과 활용 사이에서 근본적인 트레이드오프에 직면하며, 특히 희소 보상, 부분 관측 가능성, 그리고 고차원 연속 제어 공간이 존재하는 환경에서는 수렴을 위해 막대한 양의 데이터가 필요합니다. 전이 학습 (TL) 은 지도식 딥러닝에서 잘 정립되어 있지만, 마르코프 결정 과정 (MDP) 내에서 지식을 전이하는 복잡성으로 인해 딥 강화 학습에서의 적용은 단순하지 않습니다. 본 연구에서 다루는 구체적인 과제는 오픈에이 (OpenAI) 의 자동차 레이싱 환경에서 빠른 랩 타임을 달성하는 것으로, 소스 서킷에서 에이전트를 훈련시킨 후 제로샷 전이 또는 파인튜닝을 통해 다른 맵, 가속, 제동, 또는 마찰 파라미터를 특징으로 하는 맞춤형 타겟 환경에 그 지식을 적용하는 것입니다.

방법론
본 연구는 오픈에이 짐 (OpenAI Gym) 자동차 레이싱 환경 내에서 모델 프리 (model-free) 와 모델 기반 (model-based) 딥 강화 학습 알고리즘의 비교 분석을 수행합니다.

• 테스트된 알고리즘:
  • 모델 프리: 근접 정책 최적화 (PPO), 소프트 액터-크리틱 (SAC), 심층 결정적 정책 경사 (DDPG).
  • 모델 기반: 꿈꾸는 (Dreamer, 구체적으로 맞춤형 DreamerV2) 으로, 세계 모델을 통해 잠재 역학을 학습하여 '상상' 속에서 계획을 수립합니다.
• 실험 설정:
  • 소스 도메인: 초기 훈련에 사용된 덜 극단적인 커브가 있는 표준 자동차 레이싱 맵 (100 만 스텝 이상 훈련).
  • 타겟 도메인: 변경을 통해 생성된 맞춤형 환경:
    1. 레이스 맵: 더 좁고 어려운 커브가 있는 타겟 맵.
    2. 역학: 수정된 가속도 (기본 +0.1 대비 +0.2/스텝), 제동 계수 (0.8 대비 0.6), 그리고 잔디 마찰력 (0.6 대비 0.8).
  • 전이 프로토콜:
    • 제로샷 전이: 추가 상호작용 없이 타겟 도메인에서 사전 훈련된 모델을 평가.
    • 퓨샷 전이 (파인튜닝): 타겟 도메인에서 30 만 스텝의 추가 훈련.
  • 구현: 저자들은 PPO, SAC, DDPG 를 위해 Stable Baselines3 (SB3) 저장소를 활용했으며, DreamerV2 저장소의 맞춤형 포크를 사용했습니다. 신경망 가중치는 소스 및 타겟 작업 간에 전이되었습니다.

주요 기여
본 논문은 연속 제어 작업의 전이 학습 시나리오에서 모델 기반 접근법과 모델 프리 접근법의 효능을 비교하는 광범위한 제거 실험 (ablation study) 을 제시합니다. 구체적인 기여 사항은 다음과 같습니다:

1. 표준 오픈에이 자동차 레이싱 환경에서 PPO, SAC, DDPG, 그리고 Dreamer 의 체계적 테스트.
2. 레이스 트랙 및 차량 역학 (가속, 제동, 마찰) 의 변화를 포함하는 맞춤형 환경으로의 이러한 알고리즘들의 전이 능력 평가.
3. 전이 학습의 맥락에서 모델 기반 및 모델 프리 패러다임 간의 수렴 속도, 샘플 효율성, 그리고 최종 성능에 대한 비교 분석.

결과

• 기본 환경 성능: 모델 기반 접근법 (Dreamer) 은 모델 프리 대응 알고리즘보다 현저히 우수한 성능을 보였으며, 900 점 이상의 보상을 달성하고 약 20 만 스텝 이내에 수렴했습니다. 반면, PPO 와 SAC 는 100 만 스텝에서 각각 약 550 점과 500 점의 보상에 도달했습니다. DDPG 는 광범위한 하이퍼파라미터 튜닝에도 불구하고 일관되게 음수 보상 (~-84) 을 산출하며 수렴에 실패했습니다.
• 제로샷 전이: 타겟 맵에서 Dreamer 가 가장 높은 보상 (500) 을 달성했으며, 이어 PPO (400) 와 SAC (~350) 순이었습니다. 모든 알고리즘은 소스 맵 수준보다 낮은 성능을 보였습니다. DDPG 는 계속 어려움을 겪었습니다.
• 파인튜닝: 30 만 스텝의 파인튜닝 후 Dreamer 는 소스 수준 성능 (~915 점 보상) 으로 회복하여 타겟 작업을 해결했습니다. PPO 와 SAC 는 제로샷 대응 알고리즘과 유사한 성능을 보이며 Dreamer 의 회복을 따라가지 못했습니다.
• 맞춤형 역학:
  • 가속: PPO 와 Dreamer 는 기본 수준 성능을 유지했으며, SAC 는 약간 하락했습니다.
  • 제동: PPO 와 SAC 는 기본 수준보다 나쁜 성능을 보였으며, Dreamer 는 기본 수준 성능을 유지했습니다.
  • 마찰: PPO 는 현저히 나쁜 성능을 보였으며 파인튜닝으로 인해 더 악화되었습니다. SAC 는 기본 수준을 유지했으며, Dreamer 는 약간 나쁘지만 여전히 모든 모델 프리 알고리즘보다 우수한 성능을 보였습니다.
• 정성적 관찰: 비디오 분석 결과, 모델 프리 에이전트는 때때로 괜찮은 보상을 달성하기도 했으나, 종종 잘못된 방향으로 주행하거나 미끄러지는 것과 같은 안전하지 않은 행동을 보였습니다. Dreamer 는 특히 파인튜닝 후 날카로운 커브를 통과하는 데 있어 우수한 기동성을 보여주었습니다.

의의 및 주장
저자들은 모델 기반 접근법, 특히 Dreamer 가 모델 프리 방법에 비해 이 환경에서 성능, 수렴 속도, 그리고 샘플 효율성 측면에서 우세하다고 주장합니다. 본 연구는 모델 프리 알고리즘이 정밀한 하이퍼파라미터 튜닝이 필요함에도 불구하고 서로 다른 환경에서 신뢰성 있게 일반화되지 못하는 취약한 수렴 특성을 보임을 강조합니다 (DDPG 와 고마찰 시나리오에서 PPO 의 저하에서 확인됨).

본 논문은 전이 학습, 특히 파인튜닝과 결합된 경우, 타겟 도메인에서의 성능을 향상시킬 뿐만 아니라 학습 과정 중에도 높은 성능 능력을 보여 안전 강화 학습의 잠재력을 시사한다고 주장합니다. 저자들은 모델 기반 RL 을 사용하여 맞춤형 설정에서 자동차 레이싱 작업을 성공적으로 해결했지만, 각 실험이 약 24 시간 소요되는 계산적 한계에 의해 제약받았다고 결론지었습니다. 그들은 메타-RL, 안전-RL, 그리고 실세계 테스트를 포함한 향후 작업에 관심을 표명하지만, 시뮬레이션 실험의 범위를 넘어선 즉각적인 적용 가능성은 주장하지 않습니다.