Dynamic Lookahead Distance via Reinforcement Learning-Based Pure Pursuit for Autonomous Racing

1. 연구 배경 및 문제 제기 (Problem)

• Pure Pursuit (PP) 의 한계: 자율 주행 차량에서 널리 사용되는 기하학적 경로 추적 알고리즘인 'Pure Pursuit'는 구현이 간단하고 실시간 성능이 뛰어나다는 장점이 있습니다. 그러나 이 알고리즘의 성능은 전방 시야 거리 (Lookahead Distance, $L_d$) 선택에 매우 민감합니다.
  • 짧은 $L_d$: 코너링 시 민첩성이 향상되지만, 직선 구간에서 조향 진동 (oscillation) 을 유발하여 불안정해질 수 있습니다.
  • 긴 $L_d$: 직선 구간에서 부드러운 주행이 가능하지만, 급격한 커브에서는 코너를 잘라 지나치거나 (cutting corners) 추종 오차가 커집니다.
• 기존 접근법의 부족: 고정된 $L_d$를 사용하거나, 속도나 곡률에 기반한 단순한 휴리스틱 규칙 (heuristic rules) 으로 $L_d$를 조절하는 방식은 특정 트랙이나 차량에 맞춰 수동으로 튜닝해야 하며, 새로운 환경으로의 일반화 (generalization) 능력이 떨어집니다.

2. 제안된 방법론 (Methodology)

저자들은 고전적인 Pure Pursuit 컨트롤러의 구조를 유지하면서, 강화학습 (Reinforcement Learning, RL) 을 통해 $L_d$를 실시간으로 동적으로 조절하는 하이브리드 제어 프레임워크를 제안합니다.

• 핵심 아키텍처:

  • 제어기: Pure Pursuit 알고리즘을 기반으로 하되, 목표 지점 (lookahead point) 을 결정하는 $L_d$ 값만 강화학습 에이전트가 결정합니다.
  • 학습 알고리즘: PPO (Proximal Policy Optimization) 를 사용하여 정책을 학습합니다. Stable-Baselines3 라이브러리를 활용했습니다.
  • 환경: F1TENTH Gym 시뮬레이터 (Roboracer) 에서 훈련되었으며, ROS2 환경에서 배포됩니다.

• 상태 공간 (Observation Space):

  • 에이전트는 차량의 현재 속도 ($v_t$) 와 다중 시간 구간 (multi-horizon) 의 곡률 정보 ($\kappa_0, \kappa_1, \kappa_2$) 를 관측합니다.
  • 이를 통해 차량이 직선인지, 급커브인지, 그리고 앞으로의 곡률 변화가 어떻게 될지를 파악합니다.

• 행동 공간 (Action Space):

  • Pure Pursuit 가 사용할 동적 전방 시야 거리 ($L_d$) 를 연속적인 값으로 출력합니다 (0.35m ~ 4.0m).
  • 출력된 값은 지수 이동 평균 필터를 통해 부드럽게 처리되어 조향 명령에 적용됩니다.

• 보상 함수 (Reward Function):

  • 속도 ($v_t$): 빠른 주행 유도.
  • 경로 진행도 ($\Delta p_t$): 목표 라인을 따라 얼마나 잘 진행되었는지.
  • 충돌 회피: LiDAR 를 통해 0.2m 이내 거리 감지 시 큰 패널티.
  • 부드러움: $L_d$의 급격한 변화 ($|L_t - L_{t-1}|$) 와 과도한 곡률 ($\kappa$) 에 대한 패널티.
  • 휴리스틱 보조: 학습 초기 안정화를 위해 속도/곡률 기반의 이상적인 $L_d$ ($L^*_t$) 와의 편차에 대한 패널티를 포함하되, 최종 제어는 학습된 정책에 의존합니다.

• 학습 안정화 기법:

  • KL 발산 (KL-divergence) 페널티와 학습률 (learning rate) 감쇠 (decay) 를 적용하여 수렴을 돕고 학습의 안정성을 확보했습니다.
  • Optuna 를 사용하여 하이퍼파라미터를 최적화했습니다.

3. 주요 기여 (Key Contributions)

1. RL 기반 동적 $L_d$ 조절: Pure Pursuit 의 단일 해석 가능한 파라미터 ($L_d$) 를 강화학습을 통해 온라인으로 적응적으로 조절하는 새로운 하이브리드 제어 프레임워크를 제안했습니다.
2. 해석 가능성과 강건성 유지: 전체 제어기를 끝에서 끝 (end-to-end) 으로 학습하는 것이 아니라, 기하학적 컨트롤러의 구조를 유지하면서 RL 로 보강하여 해석 가능성과 실시간성을 확보했습니다.
3. 제로샷 (Zero-shot) 일반화 검증: 학습된 트랙 (Austin) 에서 훈련된 정책을 학습하지 않은 트랙 (Montreal, Yas Marina) 에서 미세 조정 없이 직접 적용하여 우수한 성능을 입증했습니다.
4. 실차 (Sim-to-Real) 검증: 1:10 스케일의 실제 자율 레이싱 차량 (RoboRacer) 에서 시뮬레이션에서 학습된 정책을 성공적으로 이식하여 반복 주행에 성공했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 결과 ( unseen 트랙):

  • Montreal 트랙: 제안된 RL-Pure Pursuit 는 기존 고정 $L_d$ 방식보다 13% 더 공격적인 속도 프로파일에서 10 회 연속 주행을 성공하며 평균 랩타임 33.16 초를 기록했습니다. (기존 방식은 속도 10% 감소 시 41.36 초)
  • Yas Marina 트랙: 15% 더 공격적인 속도 프로파일에서 평균 랩타임 46.05 초를 기록했습니다. 고정 $L_d$ 방식은 가속된 속도 프로파일에서 반복 주행에 실패했습니다.
  • 휴리스틱 적응형 PP 대비: 단순 규칙 기반의 적응형 Pure Pursuit 보다 더 공격적인 속도를 허용하면서도 더 빠른 랩타임을 달성했습니다.

• 실차 실험 결과:

  • 실제 차량 (1:10 스케일) 에서 최대 5m/s 속도 제한 하에 10 회 연속 주행을 성공했습니다 (평균 11.13 초).
  • 동일한 조건에서 고정 $L_d$ Pure Pursuit 는 반복 주행에 실패 (DNF) 했습니다.

5. 의의 및 결론 (Significance)

이 연구는 강화학습의 적응성과 고전적 제어의 신뢰성/해석 가능성을 성공적으로 결합한 사례입니다.

• 트랙 변경에 대한 강건성: 새로운 트랙이나 차량 조건에서도 별도의 튜닝 없이 (Zero-shot) 고성능 주행이 가능함을 입증했습니다.
• 모듈러 아키텍처: ROS2 기반의 자율 주행 스택에 쉽게 통합될 수 있으며, 계산 비용이 낮고 제어 로직이 투명합니다.
• 실용성: 단순한 시뮬레이션 결과를 넘어 실제 하드웨어에서의 성공적인 이식 (Sim-to-Real) 을 통해 자율 레이싱 및 고난도 주행 환경에서의 실용성을 입증했습니다.

결론적으로, 이 논문은 자율 레이싱 분야에서 단일 파라미터의 지능적 적응을 통해 기존 컨트롤러의 성능 한계를 극복하고, 더 빠르고 안전한 주행을 가능하게 하는 효과적인 방법론을 제시합니다.