Track-Guided Hierarchical Reinforcement Learning for Autonomous Vehicle Drifting with Minimum-Lap-Time Planning

기술 요약: 최소 랩 타임 계획을 통한 자율 주행 차량 드리프트용 계층적 강화 학습

문제 정의
자율 주행 차량의 드리프트는 고도로 비선형적인 드리프트 역학을 안정화하는 동시에 랩 타임을 엄격하게 최소화해야 하는 복잡한 이중 목적 제어 과제를 제시한다. 타이어 그립 한계 내에서 레이싱 라인을 최적화하는 포뮬러 1(Formula 1)과 달리, 느슨하거나 접지력이 낮은 노면에서의 랠리 레이싱은 종종 의도적으로 트랙션을 깨뜨려 드리프트를 유도해야 한다. 이러한 기동은 코너 탈출 시 차량의 정렬을 도와 랩 타임을 단축시키지만, 타이어 및 섀시 역학의 강력한 비선형성으로 인해 상당한 제어 난이도를 유발한다. 기존의 강화 학습(RL) 접근 방식은 두 가지 주요 문제에 직면해 있다: (1) 액션 수준의 감독을 위한 비용이 많이 드는 차량 특화 전문가 데모 데이터에 대한 과도한 의존, (2) 학습 초기 단계에서 에이전트를 물리적으로 의미 있는 드리프트 전략으로 유도할 수 있는 구조화된 메커즘의 부재로 인한 최적화 실패 또는 안전하지 못한 정책 생성.

방법론
본 논문은 모델 기반 궤적 플래너와 딥 강화 학습 컨트롤러를 통합하여, 전문가 데이터의 부족과 극단적인 역학을 직접 학습하는 어려움을 해결하는 최소 랩 타임(Minimum-Lap-Time, MLT) 드리프트 계획 및 트랙 가이드 강화 학습(Track-guided Reinforcement Learning, TgRL) 프레임워크를 제안한다. 이 접근 방식은 모델 기반 궤적 플래너와 딥 RL 컨트롤러를 결합한다.

1. 최소 랩 타임(MLT) 드리프트 계획:

   • 결합 슬립(combined slip) 조건을 시뮬레이션하기 위해 고충실도 비선형 3-DoF 차량 모델과 Magic Formula 타이어 모델을 사용하여 최적 제어 문제(OCP)를 정식화한다.
   • 목표는 차량 위치, 자세, 사이드슬립 각도(sideslip angle), 요 레이트(yaw rate)를 포함하는 동역학적으로 실행 가능한 공격적인 참조 궤적을 생성하여 랩 타임을 최소화하는 것이다.
   • 제약 조건에는 도로 경계, 상태 제한(예: 사이드슬립 각도 $\beta \in [-\pi/6, \pi/6]$), 제어 입력 제한이 포함된다.
   • 결과물인 궤적은 RL 컨트롤러를 위한 고품질의 사전 데이터(참조 경로) 역할을 하며, 이를 통해 인간 전문가의 시연 데이터가 필요하지 않게 된다.

2. 트랙 가이드 강화 학습(TgRL):

   • 알고리টি: 저자는 연속 제어에 적합한 오프 폴리시(off-policy) 엔트로피 정규화 액터-크리틱 방법인 Soft Actor-Critic(SAC) 알고리즘을 사용한다.
   • 커리큘럼 학습: 큰 사이드슬립 각도를 가진 극단적인 역학을 직접 학습하는 어려움을 극복하기 위해, 단계별 3단계 훈련 전략을 구현한다:
     • 1단계 (기초 정책): 기본적인 드리프트 제어(타이어 슬립 유도 및 큰 사이드슬립 각도 관리)를 배우기 위해 단순화된 직선 트랙에서 훈련한다.
     • 2단계 (코너 정책): 드리프트 개시, 슬립 각도 유지, 매끄러운 탈출에 집중하며 헤어핀 커브에서 드리프트 코너링을 학습한다.
     • 3단계 (레이스 정책): 안정성을 유지하면서 랩 타임을 최소화하기 위해 전체 폐쇄형 레이싱 서킷(Lkarting)에서 기술을 통합한다.
   • 상태 공간(State Space): 횡방향/헤딩/사이드슬립 오차, 속도 오차, 그리고 미래의 참조 궤적 지점들을 포함한다.
   • 액션 공간(Action Space): 연속적인 스티어링 각도와 스로틀 입력을 포함하며, 고속에서의 전복을 방지하기 위해 적응형 액션 스무딩(Adaptive Action Smoothing, AAS) 전략을 통해 매끄럽게 처리된다.
   • 보상 함수: 다음을 결합한 다목적 보상을 사용한다:
     • 즉각적 보상(Instant Rewards): 횡방향 편차, 헤딩, 사이드슬립 및 속도 오차에 대해 페널티를 부여한다. 속도 가중 항은 고속 코너링을 장려한다.
     • 종료 보상(End Rewards): 에피소드 종료 시 부여되는 이산적 보상이다. 양(+)의 보상은 MLT 계획 최적값에 얼마나 근접했는지에 따라 스케일링되며, 충돌이나 전복 시에는 생존 시간에 반비례하는 음(-)의 보상이 적용된다.

주요 기여

1. 새로운 프레임워크: 본 논문은 최적 제어 기반의 궤적 생성과 딥 RL을 원활하게 통합하여, 전문가 데이터 없이도 자율 에이전트가 극한의 드리프트 기동을 수행할 수 있게 하는 계층적 계획-제어 프레임워크(MLT-TgRL)를 도입한다.
2. MLT 드리프트 계획: RL 에이전트의 사전 데이터로서 효과적인, 공격적이고 동역학적으로 실행 가능한 드리프트 궤적을 생성하기 위해 특정 OCP 정식화가 개발되었다. 이는 고비용의 인간 데몬스트레이션 필요성을 대체한다.
3. 점진적 훈련 방법론: 기초 드리프트 제어에서 코너링, 그리고 전체 레이싱으로 단계별로 학습하는 혁신적인 커리큘럼 학습 접근 방식을 도입하였다. 이는 트랙 정보에 의해 가이드되며, 즉각적인 추적 항과 MLT 유도 종료 보상을 결합한 특화된 보상 함수에 의해 강화된다.

결과
본 프레임워크는 CARLA 시뮬레이터를 사용하여 세 가지 트랙(Lkarting, Willow Springs, Nelson Ledges)에서 검증되었다.

• 베이스라인 대비 성능: 제안된 MLT+TgRL 컨트롤러는 표준 SAC 베이스라인 및 이전 RL 기반 드리프트 컨트롤러(Cai et al.)보다 일관되게 우수한 랩 타임을 달いました. Lkarting에서 MLT+TgRL 프레임워크는 평균 랩 타임 45.4초를 기록하여, Cai_DRIFT 베이스라인(51.2초)보다 약 11% 향상된 성능을 보였다.
• 플래닝과의 비교: MLT 플래너가 이론적 하한선(Lkarting 기준 최소 랩 타임 33.1초)을 달성한 반면, TgRL 컨트롤러는 최소 랩 타임 37.2초, 평균 45.4초를 기록하며 실시간 제어 환경에서 최적 궤적을 근사할 수 있음을 입증했다.
• 안정성 및 역학: 에이전트는 큰 사이드슬립 각도를 성공적으로 유지하였다(Lkarting 기준 평균 15.9°, 인간 운전자 10.4°, 베이스라인 16.3° 대비). 이는 드리프트 상태를 지속할 수 있는 능력을 확인시켜 준다. 또한 컨트롤러는 낮은 요 각도 추적 오차와 최소한의 횡방향 오프셋 변동을 유지했다.
• 절제 연구(Ablation Studies): MLT 가이드를 제거하거나(중심선 참조 사용) 점진적 커리큘럼을 제거하면 성능이 크게 저하되었으며, 이는 모델 기반 사전 데이터와 단계별 훈련 접근 방식의 필요성을 확인시켜 준다. 종료 보상과 적응형 액션 스무딩의 포함은 랩 타임 일관성과 드리프트 정확도를 더욱 향상시켰다.

의의 및 주장
본 논문은 이론적으로 최적화된 계획과 실제적인 드리프트 실행 사이의 간극을 메우는 데 그 주요 의의가 있다고 주장한다. 모델 기반 플래너를 활용하여 동역학적으로 실행 가능한 참조를 제공하고, RL 컨트롤러를 통해 미모델링된 역학 및 액추에이션 지연에 적응함으로써, 이 방법은 안정성과 반복성이 향상된 공격적인 드리프트 기동을 달enc한다. 본 연구는 구조화된 커리큘럼 기반 훈련이 최적 궤적에 의해 가이드될 때, 극한의 차량 역학 학습에 내재된 데이터 부족 및 탐색 문제를 극복할 수 있음을 보여줌으로써, 실세계 자율 레이싱 시스템에서 강화 학습을 사용하는 토대를 마련하였다. 저자들은 현재의 접근 방식이 효과적이지만, 향-후 연구에서는 다양한 차량 모델 및 도로 조건에 대한 컨트롤러의 일반화와 하드웨어-인-더-루프(HIL) 실험 구현에 집중할 것이라고 언급하였다.