기술 요약: 시뮬레이션 기반 자율 슈퍼바이크 레이싱을 위한 자기 주도형 커리큘럼 강화 학습

문제 정의

자율 레이싱은 딥 강화 학습(RL), 특히 Gran Turismo와 같은 고충실도 시뮬레이터에서의 4륜 차량 분야에서 상당한 이정표를 달성했습니다. 그러나 모터사이클 레이싱은 근본적으로 다른 물리적 및 역학적 도전 과제 때문에 RL 문헌에서 여전히 미개척 영역으로 남아 있습니다. 자동차와 달리, 레이싱 모터사이클는 코너링 중 원심력에 대응하기 위해 **린 각도(lean angle)**를 능동적으로 관리해야 합니다. 이 각도를 제어하지 못하면 균형을 잃고 넘어지게 되는데, 이는 4륜 차량에서는 나타나지 않는 실패 모드입니다. 또한, 레이싱 바이크는 높은 출력 대 중량비를 가지고 있어 더욱 공격적인 제동 및 가속 역학을 수반합니다. 핵심 과제는 에이전트가 조향, 스로틀/브레이크 제어, 그리고 두 바퀴의 안정성을 위한 복잡한 균형을 동시에 처리할 수 있도록 훈련하는 것입니다.

방법론

저자들은 실제 세계의 슈퍼바이크 월드 챔피언십 트랙과 바이크 모델을 특징으로 하는 물리적으로 정확한 Unity 기반 시뮬레이터인 VRider SBK로 구현된 프레임워크를 제안합니다. 이 시스템은 **Soft Actor-Critic (SAC)**과 **자기 주도형 딥 강화 학습 (Self-Paced Deep Reinforcement Learning, SPDL)**을 통합합니다.

1. 상태 및 행동 공간

• 상태 공간 (State Space): 관측 벡터는 고유 수용성(proprioceptive) 특징과 전역적 특징을 결합하며, $[-1, 1]$ 범위로 정규화됩니다.
  • 고유 수용성: 선속도/각속도, 현재/이전 조향 및 린 각도, 린 각도 이력($\theta$), 타이어 슬립 비율, 그리고 이전 제어 동작. 린 각도 이력의 포함은 진동 동작을 예측하고 억제하는 데 결정적입니다.
  • 전역적: Catmull-Rom 스플라인 보간을 통해 현재 궤적(중심선 및 트랙 경계)을 따라 균등하게 샘플링된 60개의 3차원 코스 포인트. 이는 속도에 적응된 전방 주시(look-ahead) 기능을 제공합니다.
• 행동 공간 (Action Space): $[-1, 1]$ 범위의 두 가지 연속적 행동:
  1. 조향 (이는 바이크의 린 각도도 유도함).
  2. 결합된 스로틀/브레이크 신호 (상호 배타적).

2. 보상 설계

보상 함수는 밀집형(dense)이며 다중 구성 요소로 이루어져 있으며, 랩 타임을 최소화하는 동시에 불안정성을 억제하도록 설계되었습니다. 다음을 포함합니다:

• 진전도 (Progress): 궤적을 따른 변위. 바이크가 뒤로 이동하거나 경로를 벗어나면 음수 값이 적용됩니다.
• 패널티 (Penalties): 트랙 이탈 시간, 벽 접촉(운동 에너지 기반), 그리고 단계 간 조향, 기울기, 각속도의 급격한 변화에 대한 특정 안정성 패널티.
• 이력 패널티 (History Penalties): 조향 및 린의 진동 동작을 방지하기 위해 누적된 각도 변화량에 적용되는 시그모이드 기반 패널티.
• 실패 조건 (Failure Conditions): 바이크가 넘어지거나, 벽에 부딪히거나, 패널티 타이머를 초과하면 에피소드가 리셋됩니다.

3. 자기 주도형 커리큘럼 (SPDL)

수동적인 커리큘럼 설계 대신, 시스템은 에이전트의 성능에 따라 동적으로 과제를 생성하는 SPDL을 사용합니다. 난이도는 에이전트가 따라야 할 궤적에 의해 정의됩니다:

• 컨텍스트 변수 (Context Variables):
  • $c_1$: 중앙 궤적(median trajectory)으로부터의 거리.
  • $c_2$: 이상적인 레이싱 라인으로부터의 거리.
  • $c_3$: 최대 속도 제한.
• 메커니즘: 알고리즘은 컨텍스트 분포 $p(c|\nu)$를 유지하며, 보상 극대화와 목표 분포(전속력에서의 이상적인 라인)로의 수렴 사이의 트레이드오프를 최적화합니다. KL 발산(KL divergence) 제약 조건은 난이도가 급격하게 변하는 것을 방지합니다. 에이전트가 성능 임계값 $\delta$를 초 exceed하면, 커리큘럼은 쉬운 중앙 궤적에서 이상적인 레이싱 라인으로 자동으로 전환됩니다.

주요 기여

1. 두 바퀴 차량을 위한 RL 아키텍처: 린 각도 이력을 포함한 맞춤형 상태 공간과 모터사이클 특유의 불안정성(넘어짐, 진동)을 처리하기 위해 특별히 설계된 보상 신호.
2. 자동화된 커리큘럼 통합: 모터사이클 레이싱에 SPDL을 Unity ML-Agents와 결합한 최초의 사례로, 수동 개입 없이 동적이고 자동화된 과제 생성을 가능하게 함.
3. 베이스라인 구축: 자율 모터사이클 레이싱을 위한 첫 번째 RL 베이스라인을 확립하여, 표준 SAC와 비교했을 때 우수한 훈련 효율성과 안정성을 입증함.

실험 결과

실험은 Barcelona 서킷(주요)에서 수행되었으며, Cremona 및 Phillip Island로 일반화되었습니다. 사용된 모델은 Ducati Panigale V4 R 및 기타 4종의 바이크 모델입니다.

• 훈련 효율성: 1150회 반복(iteration) 시점에서 표준 SAC 에이전트는 제어력을 잃고 반복적으로 실패하여 단 한 바퀴도 완주하지 못했습니다. 반면 SPDL 에이전트는 낙차 없이 모든 랩을 완주했으며 평균 기록은 1:32.85였습니다. 1900회 반복 시점에서 SPDL은 랩 타임 1:30.75를 달려, 훈련된 SAC 베이스라인(1:31.32)보다 0.57초 빠른 성적을 거두었습니다.
• 안정성: SPDL 에이전트는 SAC에 비해 낙차 및 트랙 이탈 현상이 현저히 적었습니다.
• 트랙 일반화: SPDL로 훈련된 에이전트는 낙차와 충돌 없이 Cremona 및 Phillip Island 랩을 성공적으로 완주하여 다양한 트랙 기하학 구조에 대한 강건성을 입증했습니다.
• 바이크 일반화: Ducati Panigale V4 R로 훈련된 정책을 재학습 없이 다른 모델들(Kawasaki, Honda, Yamaha, BMW)에 전이했습니다.
  • Kawasaki Ninja ZX-10RR이 가장 좋은 전이 성능을 보였으며, Barcelona에서 Ducati보다 단 0.87초 늦었습니다.
  • Honda와 Yamaha 모델은 특정 코너에서의 핸들링 덕분에 Phillip Island에서 Ducati보다 더 나은 성적을 기록하기도 했습니다.
  • BMW M1000 RR은 Phillip Island에서 랩을 완주하지 못해, 공격적이고 다루기 어려운 바이크로의 전이 난이도를 보여주었습니다.

의의 및 한계

본 논문은 자율 모터사이클 레이싱을 위한 최초의 RL 베이스라인을 구축했다고 주장하며, SAC와 자기 주도형 커리큘럼 학습을 결합하는 것이 두 바퀴 차량의 독특한 역학을 관리하는 데 효과적임을 증명했습니다. 이 프레임워크는 여러 트랙과 바이크 모델에 걸쳐 성공적으로 일반화되었으며, 이는 학습된 정책이 단순히 바이크 특유의 역학이 아닌 일반화 가능한 제어 사전 지식(control priors)을 포착하고 있음을 시사합니다.

그러나 저자들은 다음과 같은 현재의 한계를 솔직하게 언급했습니다:

• 궤적 정밀도: 에이전트가 정밀도보다 속도를 우선시하는 경향이 있어, 때때로 코너를 오버슈트(overshoot)하는 모습이 나타납니다(질적 결과에서 확인됨).
• 단일 트랙 훈련: 현재는 트랙당 별도의 에이전트를 훈련시켜야 합니다. 향후 연구는 멀티 트랙 일반화를 목표로 합니다.
• 센싱: 현재는 벡터 기반 입력을 사용합니다. 향후 버전에서는 시각 기반 입력과 비대칭 액터-크리틱(asymmetric actor-critic) 구조를 도입하여 샘플 효율성과 현실성을 높일 수 있습니다.

이 연구는 경쟁적인 레이싱 환경(타임 트라이얼 모드 이상의 설정) 테스트를 향한 기초적인 단계로서, 경쟁적인 자율 슈퍼바이크 레이싱을 향한 중요한 발판이 됩니다.