Expert Knowledge-driven Reinforcement Learning for Autonomous Racing via Trajectory Guidance and Dynamics Constraints

이 논문은 자율 레이싱 환경에서 학습 불안정성과 안전성 문제를 해결하기 위해 전문가 주행 궤적과 제어 장벽 함수 기반의 동역학 제약을 결합한 'TraD-RL' 방법을 제안하며, 이를 통해 주행 속도와 안정성을 동시에 향상시키는 것을 입증했습니다.

핵심

이 논문은 자율주행 레이싱카가 어떻게 '안전하게' 그리고 '가장 빠르게' 달릴 수 있는지를 연구한 내용입니다.

기존의 인공지능 (AI) 은 레이싱처럼 빠르고 복잡한 상황에서는 "실수를 반복하며 배우는" 과정에서 너무 위험한 행동을 하거나, 반대로 너무 조심스러워 속도를 내지 못하는 문제가 있었습니다. 이 논문은 **"전문가의 비법서 (경험)"**와 **"물리 법칙이라는 안전장"**을 AI 에게 가르쳐서 이 문제를 해결했습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴겠습니다.

---

🏎️ 핵심 아이디어: "초보 드라이버를 위한 '명인'의 지도와 '안전벨트'"

이 연구에서 제안한 방법 (TraD-RL) 은 크게 세 가지 비유로 이해할 수 있습니다.

1. 명인의 레이스 라인 (Trajectory Guidance) = "지도 없는 산책 vs 명인의 가이드"

• 문제: 레이싱카 AI 가 처음부터 스스로 경기를 하면, "어디로 가야 가장 빠르지?"라고 헤매다가 길을 잃거나 벽에 부딪힙니다. 마치 지도 없이 복잡한 미로에 던져진 것과 같습니다.
• 해결: 연구진은 **경험 많은 레이싱 드라이버가 그리는 '최적의 주행 경로 (레이싱 라인)'**를 미리 계산해서 AI 에게 보여줍니다.
• 비유: 처음 운전하는 사람이 복잡한 도로를 달릴 때, 옆에 프로 레이서 조수가 "여기는 이렇게 돌아서, 저기는 이렇게 가속해"라고 실시간으로 알려주는 것과 같습니다. AI 는 이 '명인의 지도'를 따라가며 빠르게 배우고, 실수를 줄입니다.

2. 물리 법칙의 안전장 (Dynamics Constraints) = "안전벨트와 차체 한계"

• 문제: AI 가 너무 빨리 배우려고 하면, 차가 미끄러지거나 뒤집힐 정도로 위험한 행동을 할 수 있습니다. 단순히 "부딪히지 마"라고만 하면, AI 는 너무 느리게 달릴 수도 있습니다.
• 해결: AI 에게 **"차체가 견딜 수 있는 한계 (미끄러짐 각도, 회전 속도)"**를 수학적으로 정해두고, 그 선을 넘지 못하도록 강제로 막습니다.
• 비유: 이는 마치 안전벨트와 같습니다. 안전벨트가 없으면 사고가 나면 큰 부상을 입지만, 안전벨트가 있으면 과감하게 코너를 돌더라도 차가 뒤집히지 않고 안전하게 유지됩니다. AI 는 이 '안전벨트'가 있어도 과감하게 속도를 낼 수 있게 됩니다.

3. 단계별 훈련 (Curriculum Learning) = "유아용 자전거 → 일반 자전거 → 모터사이클"

• 문제: 처음부터 최고 속도로 달리게 하면 AI 는 당황해서 넘어집니다.
• 해결: 훈련을 두 단계로 나눕니다.
  1. 1 단계 (안정화): 명인의 지도를 따라 천천히, 하지만 정확하게 주행하는 법을 배웁니다. (유아용 자전거)
  2. 2 단계 (고도화): 이제 지도의 속도 제한을 없애고, 차체가 견딜 수 있는 한계까지 속도를 높여가며 스스로 탐험하게 합니다. (모터사이클)
• 효과: 이렇게 하면 AI 는 처음에는 실수 없이 배우다가, 나중에는 전문가도 따라하기 힘든 극한의 속도로 달릴 수 있게 됩니다.

---

📊 실험 결과: "더 빠르고, 더 안전하다"

이 방법을 실제 시뮬레이션 (베를린 템펠호프 공항 레이싱 트랙) 에서 테스트한 결과는 놀라웠습니다.

1. 더 빠릅니다: 기존 AI 들보다 랩 타임 (한 바퀴 시간) 이 훨씬 짧아졌습니다. 즉, 평균 속도가 빨라진 것입니다.
2. 더 안전합니다: 차가 미끄러지거나 회전할 때失控 (조종 불능) 상태가 되는 횟수가 크게 줄었습니다.
3. 균형 잡힌 주행: 다른 방법들은 "안전하느라 너무 느리거나", "빠르다 보니 자주 사고가 나거나" 하는 문제가 있었지만, 이 방법은 빠르면서도 안정적인 주행을 가능하게 했습니다.

💡 결론

이 논문은 **"인공지능이 레이싱을 잘하려면, 단순히 많이 연습하는 것만으로는 부족하다"**는 것을 보여줍니다. 대신 **전문가의 경험 (지도)**을 가르치고, **물리적 한계 (안전장)**를 지켜주며, 단계별로 훈련시켜야만 비로소 "인간을 능가하는" 최고의 드라이버가 될 수 있다는 것을 증명했습니다.

마치 유능한 코치가 안전 장비를 갖춘 선수를 단계별 훈련으로 키워내어, 세계 대회에서 금메달을 따게 만드는 것과 같은 원리입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자율 주행 레이싱은 높은 동역학, 강한 비선형성, 물리적 한계 근처에서의 운전 등 매우 까다로운 환경을 특징으로 합니다. 목표는 안전 규정과 동역학 제약을 준수하면서 랩 타임을 최소화하는 것입니다.
• 기존 방법의 한계:
  • 전통적 제어 (MPC 등): 정확한 모델링에 의존하며, 고동역학 환경에서 타이어 마찰 한계를 초과할 때 발생하는 강한 비선형성을 처리하기 어렵고, 과도하게 보수적인 주행 행동을 보일 수 있습니다.
  • 기존 강화 학습 (RL): 샘플 효율성이 낮고, 희소 보상 (sparse reward) 환경에서 탐색이 어렵습니다. 또한, 안전 제약 조건을 명시적으로 모델링하지 않아 훈련 중 위험한 행동이 발생할 수 있으며, 배포 시 예측 불가능한 위험을 초래할 수 있습니다.
• 핵심 문제: 자율 레이싱 환경에서 학습의 안정성, 안전한 행동 출력, 그리고 전문가 수준의 성능 달성을 동시에 만족시키는 방법론의 부재.

2. 제안 방법론: TraD-RL (Methodology)

저자들은 궤적 안내 (Trajectory Guidance) 와 동역학 제약 (Dynamics Constraints) 을 결합한 강화 학습 프레임워크인 TraD-RL을 제안합니다. 이 방법은 전문가의 사전 지식 (Expert Prior Knowledge) 을 학습 과정에 명시적으로 통합합니다.

가. 상태 표현 및 보상 설계 (Trajectory Prior Guidance)

• 최소 곡선 레이싱 라인 (MCRL) 활용: 트랙의 기하학적 특성을 기반으로 전역 최적 경로인 MCRL 을 사전에 계산합니다.
• 증강된 관측 공간 (Augmented State): 에이전트의 관측 공간에 MCRL 정보를 이진 오큐파시 그리드 (binary occupancy grid) 형태로 포함시켜, 에이전트가 최적 경로를 빠르게 인지하도록 돕습니다.
• 보상 함수 설계 (Reward Shaping): MCRL 기반의 궤적 추적 오차, 목표 속도, 헤딩 정렬 등을 고려한 밀도 보상 (dense reward) 을 설계하여, 에이전트의 탐색 범위를 최적 궤적 근처로 제한하고 학습 수렴 속도를 높입니다.

나. 동역학 기반 안전 제약 (Dynamics Constraints)

• 안전 운영 영역 (Safe Operating Envelope): 차량의 횡방향 미끄러짐 각 (sideslip angle, $\beta$) 과 요레이트 (yaw rate, $\omega$) 를 기반으로 물리적 안정성 영역을 정의합니다.
• 제어 장벽 함수 (Control Barrier Functions, CBF): 요레이트와 횡방향 미끄러짐 각에 대한 선형 제약 조건을 CBF 형태로 수식화하여, 에이전트가 물리적으로 불안정한 영역으로 진입하는 것을 방지합니다.
• 라그랑주 승수 최적화: 제약 조건 위반 비용을 라그랑주 승수를 통해 목적 함수에 통합하고, 적응형 라그랑주 승수를 사용하여 훈련 중 제약 준수 정도를 동적으로 조절합니다. 이는 '안전한 탐색'을 가능하게 합니다.

다. 2 단계 커리큘럼 학습 (Two-Stage Curriculum Learning)

학습 효율성과 성능 극대화를 위해 두 단계로 나뉩니다.

1. 궤적 안내 단계 (Trajectory Guidance Stage): MCRL 의 참조 속도를 기반으로 에이전트가 안정적으로 주행하며 기본 레이싱 기법 (코너 진입 전 브레이킹 등) 을 학습합니다.
2. 고속 탐색 단계 (High-Speed Exploration Stage): MCRL 의 속도 제한을 제거하고 차량의 물리적 한계까지 속도를 높이는 것을 목표로 하여, 전문가를 능가하는 성능을 탐색하도록 유도합니다.

3. 주요 기여점 (Key Contributions)

1. 전역 궤적 사전 지식을 활용한 상태 표현 및 보상 설계: MCRL 을 관측 공간에 통합하고 하이브리드 밀도 보상 함수를 설계하여, 고차원 연속 행동 공간에서의 희소 보상 문제를 해결하고 학습 안정성을 확보했습니다.
2. 명시적 동역학 제약 기반 정책 정규화: 요레이트와 횡방향 미끄러짐 각에 대한 CBF 기반의 안전 운영 영역을 정의하고, 라그랑주 완화 기법을 통해 훈련 중 물리 기반의 소프트 제약을 부과하여 불안정성을 억제했습니다.
3. 점진적 2 단계 커리큘럼 학습 전략: '쉬운 것에서 어려운 것 (easy-to-hard)'으로 전환되는 학습 스케줄을 통해, 안정적인 궤적 추종에서 차량의 동역학적 한계를 탐색하는 단계로 자연스럽게 전환되도록 하여 학습 효율과 레이싱 성능을 동시에 향상시켰습니다.

4. 실험 결과 (Results)

• 실험 환경: 베를린 템펠호프 공항 스트리트 서킷 (Tempelhof Airport Street Circuit) 을 모델링한 고정밀 시뮬레이션 환경.
• 비교 대상: PPO, DDPG, 기존 궤적 기반 학습 방법 (TAL).
• 성능 지표:
  • 랩 시간 및 평균 속도: 제안된 TraD-RL 은 다른 모든 방법론보다 랩 시간이 가장 짧고 (58.83 초), 평균 속도가 가장 높았습니다 (39.79 m/s). 특히 DDPG 대비 랩 타임 22.23% 단축, 평균 속도 30.50% 향상.
  • 안전성: 요레이트 및 횡방향 미끄러짐 각 위반 횟수가 TAL 과 DDPG 대비 현저히 감소했습니다. PPO 는 안전성은 높았으나 지나치게 보수적인 주행으로 인해 성능이 떨어졌습니다.
  • 랩 진행률 (Lap Progress): TraD-RL 은 훈련 초기 (약 15k 스텝) 에 100% 랩 완료율을 달성하여 높은 안정성을 입증했습니다.
• 애블레이션 연구 (Ablation Study):
  • 궤적 안내 모듈 제거 (w/o TG): 에이전트가 과도하게 보수적인 국소 최적에 갇혀 속도가 급격히 감소 (평균 속도 21.47 m/s).
  • 동역학 제약 모듈 제거 (w/o DC): 속도는 빠르지만 안전 위반이 급증하여 실제 적용 불가능.
  • 결론: 두 모듈 모두 성능과 안전성 최적화에 필수적입니다.

5. 의의 및 결론 (Significance)

이 논문은 자율 레이싱 분야에서 강화 학습의 샘플 효율성 문제와 안전성 보장 문제를 동시에 해결하는 새로운 패러다임을 제시합니다.

• 전문가 지식과 RL 의 융합: 단순히 데이터를 학습하는 것을 넘어, 물리 법칙과 전문가의 궤적 지식을 알고리즘에 내재화하여 학습의 방향성을 제시했습니다.
• 성능과 안전의 시너지: 기존에는 안전을 위해 성능을 희생하거나, 성능을 위해 안전을 위협하는 상충 관계가 존재했으나, TraD-RL 은 동역학 제약을 통해 물리적 한계 근처에서도 안정적인 주행을 가능하게 하여 성능과 안전의 시너지 최적화를 달성했습니다.
• 실용성: 고동역학 환경에서의 자율 주행 제어 기술 발전에 기여하며, 실제 자율 레이싱 대회 및 고난도 자율 주행 시스템 배포에 대한 검증 가능한 방법론을 제공합니다.