⚡ electrical engineering

Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO

이 논문은 F1TENTH 환경에서 PPO 기반 강화학습을 통해 순수 추적 (Pure Pursuit) 제어기의 전방 시야 거리와 조향 이득을 실시간으로 공동 최적화함으로써, 기존 고정 파라미터 방식 및 다른 적응형 제어기보다 더 뛰어난 주행 성능과 궤적 추종 정확도를 달성함을 보여줍니다.

원저자: Mohamed Elgouhary, Amr S. El-Wakeel

게시일 2026-02-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohamed Elgouhary, Amr S. El-Wakeel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏎️ 핵심 아이디어: "스마트한 조수"를 고용하라

이 연구의 주인공은 **'퓨어 퍼시트 (Pure Pursuit)'**라는 알고리즘입니다.
이걸 쉽게 비유하자면, **"앞에 있는 목표점을 향해 핸들을 돌리는 아주 단순한 운전법"**입니다.

기존의 문제점: 이 단순한 운전법은 두 가지 설정값을 잘 맞춰야 합니다.
1. 얼마나 멀리 볼 것인가? (Lookahead): 앞을 너무 멀리 보면 코너에서 차가 미끄러지고, 너무 가까이 보면 직선에서 차가 좌우로 흔들립니다.
2. 핸들을 얼마나 꺾을 것인가? (Steering Gain): 코너를 돌 때 핸들을 얼마나 강하게 꺾을지 결정하는 값입니다.

기존에는 이 두 값을 속도에 따라 미리 정해진 규칙 (예: "속도가 빠르면 멀리 보고, 느리면 가까이 봐") 으로 고정했습니다. 하지만 이 규칙은 새로운 트랙에 가면 통하지 않는 경우가 많았습니다. 마치 "비 오는 날에는 우산을 쓰고, 맑은 날에는 선글라스를 쓴다"는 규칙이 있는데, 갑자기 눈이 오거나 안개가 끼면 그 규칙이 무용지물이 되는 것과 비슷합니다.

🚀 이 논문이 제안한 해결책: "상황을 읽는 AI 조수"

저자들은 이 고정된 규칙을 버리고, **PPO(강화학습)**라는 AI 기술을 이용해 **"매 순간 상황에 맞춰 두 값을 스스로 조절하는 조수"**를 만들었습니다.

1. AI 조수의 역할

이 AI 조수는 레이싱카의 눈 (센서) 을 통해 다음 두 가지를 실시간으로 봅니다.

현재 속도: 지금 얼마나 빨리 달리고 있나?
앞길의 굽이 (곡률): 앞으로 다가오는 코너가 얼마나 급한가?

그리고 AI 는 그 정보를 바탕으로 순간순간 두 가지 명령을 내립니다.

"지금 코너가 급하니까 시야를 더 가까이 두자!" (Lookahead 조절)
"핸들을 조금 더 부드럽게 꺾자." (Steering Gain 조절)

2. 비유: 숙련된 레이서 vs 초보 운전대

기존 방식 (고정된 규칙): 초보 운전자가 "코너가 오면 무조건 핸들을 30 도 꺾고, 직선에서는 100km 로 가자"라고 기계적으로 따르는 것과 같습니다. 상황에 따라 차가 휘청거리거나 코너를 못 돌 수 있습니다.
이 연구의 방식 (AI 조수): 베테랑 레이서가 운전하는 것과 같습니다. "아, 저기 급커브가 오네? 속도를 줄이고 시야를 좁혀서 정확히 돌고, 직선에서는 시야를 넓혀서 빠르게 가자."라고 상황을 읽어서 즉흥적으로 대응합니다.

🧪 실험 결과: 실제로 효과가 있을까?

저자들은 이 방법을 시뮬레이션과 실제 1/10 스케일 레이싱카 (F1TENTH) 로 테스트했습니다.

새로운 트랙에서도 잘 돌아다녔다 (Zero-shot):
AI 는 훈련할 때 '호켄하임' 트랙만 배웠는데, 테스트 때는 '몬트리올'이나 '야스 마리나' 같은 아예没见过 (처음 보는) 트랙에서도 아주 잘 달렸습니다. 이는 AI 가 특정 트랙을 외운 게 아니라, '코너와 속도의 관계'라는 원리를 배웠기 때문입니다.
기존 방식보다 빠르고 안정적이다:
- 랩 시간: AI 가 조종한 차가 가장 빨리 완주했습니다.
- 안정성: 차가 좌우로 흔들리는 현상 (진동) 이 적었고, 코너를 더 정확하게 돌았습니다.
- MPC(기존 고성능 제어) 보다 빠르다: 보통 복잡한 수학을 쓰는 '모델 예측 제어 (MPC)'가 더 빠르다고 알려져 있는데, 이 간단한 방식이 오히려 더 빨랐습니다.
실제 차에서도 작동했다:
컴퓨터 시뮬레이션뿐만 아니라, 실제 작은 레이싱카에 탑재해서도 성공적으로 작동했습니다.

💡 왜 이 연구가 중요한가?

간단하지만 강력함: 복잡한 수학을 다 쓸 필요 없이, 기존에 있던 간단한 기술 (퓨어 퍼시트) 에 '스마트한 눈'만 더해도 성능이 비약적으로 좋아졌습니다.
유연함: 트랙이 바뀌어도 다시 설정을 다 할 필요가 없습니다. AI 가 스스로 적응합니다.
해석 가능성: AI 가 왜 그런 결정을 내렸는지 (시야를 좁혔다, 핸들 강도를 줄였다 등) 를 사람이 이해할 수 있습니다. (블랙박스 AI 와는 다릅니다.)

📝 한 줄 요약

"기존 레이싱카의 단순한 운전법 (퓨어 퍼시트) 에, 상황을 실시간으로 읽고 핸들과 시야를 스스로 조절하는 'AI 조수'를 붙여주니, 복잡한 수학적 계산 없이도 가장 빠르고 안정적인 주행이 가능해졌습니다."

이 연구는 "복잡한 것을 더 복잡하게 만드는 것"이 아니라, **"간단한 것에 지능을 더하는 것"**이 얼마나 강력한지 보여주는 좋은 사례입니다.

1. 연구 배경 및 문제 정의 (Problem)

자율 레이싱에서 순수 추적 (Pure Pursuit, PP) 알고리즘은 계산 효율성과 기하학적 명확성으로 인해 실시간 경로 추적을 위해 널리 사용됩니다. 그러나 PP 의 성능은 **전방 시점 거리 (Lookahead Distance, $L_d$ )**와 **조향 이득 (Steering Gain, $g$ )**이라는 두 가지 핵심 매개변수의 선택에 매우 민감합니다.

기존 방법의 한계:
- 고정 매개변수: $L_d$ 를 고정하면 직선 구간에서 진동 (Weaving) 이 발생하거나 코너링 시 과조향/과부하가 발생할 수 있습니다.
- 규칙 기반 적응 (Rule-based): 속도나 곡률에 따라 매개변수를 선형적으로 조정하는 방식은 특정 트랙이나 속도 프로파일에만 최적화되어, 다른 트랙이나 환경으로 전이 (Transfer) 될 때 성능이 급격히 떨어지는 문제가 있습니다.
- 모델 예측 제어 (MPC): 높은 성능을 내지만 모델링 비용이 높고 온라인 최적화가 필요하여 리소스 제한 플랫폼에서 적용이 어렵습니다.

이 논문은 PP 의 기하학적 제어 법칙을 유지하면서, 강화학습 (RL) 을 통해 $L_d$ 와 $g$ 를 **동시 (Jointly)**로 온라인 조정하여 적응성과 강인성을 높이는 것을 목표로 합니다.

2. 제안된 방법론 (Methodology)

A. 시스템 아키텍처

하이브리드 제어 구조: PP 의 기본 기하학적 조향 법칙 ( $\gamma = g \cdot 2y'/L_d^2$ ) 은 고정하고, PPO(Proximal Policy Optimization) 기반의 정책이 매 제어 단계에서 $L_d$ 와 $g$ 를 출력합니다.
관측 공간 (Observation): 차량의 현재 속도 ( $v_t$ ) 와 레이싱 라인 상의 근접/중간/원거리 지점에서의 곡률 ( $\kappa_0, \kappa_1, \kappa_2$ ) 및 곡률 변화량 ( $\Delta\kappa$ ) 을 포함하는 5 차원 벡터를 사용합니다.
행동 공간 (Action): 연속적인 2 차원 벡터 $(L_d, g)$ $(L_{d}, g)$ 를 출력합니다.
- $L_d$ : $[0.35, 4.0]$ m 범위
- $g$ : $[0.45, 1.15]$ 범위
- 출력된 값은 급격한 변화를 방지하기 위해 1 차 지수 평활 (First-order smoothing) 을 거친 후 PP 제어기에 전달됩니다.

B. 학습 알고리즘 (PPO)

알고리즘: Proximal Policy Optimization (PPO) 을 사용하여 학습합니다.
보상 함수 (Reward Design):
- 주행 속도 유지, 교차로/코너 통과 시의 안전성, 궤적 추종 오차 최소화, 매개변수 변화의 부드러움 (Smoothness) 등을 고려합니다.
- Teacher Signal: 학습 초기 안정성을 위해 선형 규칙 기반의 $L_d, g$ 값을 'Teacher'로 사용하여 보상 함수에 포함시켰으나, 학습이 진행됨에 따라 RL 정책이 이를 대체하도록 설계되었습니다.
- 충돌 감지 (LiDAR 거리 < 0.2m) 시 큰 페널티를 부과합니다.
학습 환경: F1TENTH Gym 시뮬레이터에서 훈련되었으며, 다양한 트랙 (Hockenheim, Montreal, Yas Marina) 과 속도 프로파일 (+30% 스케일링) 에 대해 제로샷 (Zero-shot) 일반화를 목표로 학습되었습니다.

C. 배포 및 안전 장치

ROS 2 스택: 학습된 정책은 ROS 2 토픽을 통해 PP 제어기와 연동됩니다.
안전 백업 (Safety Fallback): RL 명령어가 지연되거나 유효하지 않을 경우, 선형 규칙 기반의 'Teacher' 모드로 자동 전환되어 차량의 안전을 보장합니다.

3. 주요 기여 (Key Contributions)

동시 최적화 프레임워크: PP 의 해석 가능성과 실시간성을 유지하면서, $L_d$ 와 $g$ 를 강화학습을 통해 동시 (Jointly) 조정하는 새로운 프레임워크를 제안했습니다.
실용적인 학습 레시피: 곡률과 속도를 인지하는 정책 학습을 위한 보상 설계, 하이퍼파라미터 튜닝, 안정화 기법 (VecNormalize, KL 제약 등) 을 체계화했습니다.
시뮬레이션 및 실차 검증: F1TENTH 플랫폼을 사용하여 시뮬레이션 (미시행 트랙) 과 실제 차량 (Real-car) 모두에서 검증되었으며, 기존 PP 변형 및 MPC 와의 비교를 통해 우수성을 입증했습니다.
해석 가능성 분석: 학습된 정책이 트랙의 기하학적 구조 (곡률) 와 속도에 따라 $L_d$ 와 $g$ 를 어떻게 적응적으로 변화시키는지 시각화하여, 학습된 전략의 논리를 규명했습니다.

4. 실험 결과 (Results)

A. 시뮬레이션 결과 (Montreal, Yas Marina)

랩 타임 (Lap Time): 제안된 **RL-PP (Joint $L_d, g$ $L_{d}, g$ )**가 고정 $L_d$ $L_{d}$ PP, 속도 기반 적응 PP, $L_d$ $L_{d}$ 만 학습한 RL-PP, 그리고 Kinematic MPC 보다 가장 빠른 랩 타임을 기록했습니다.
- 예시 (Montreal): RL-PP (Joint) 는 평균 32.85 초, 고정 PP 는 41.35 초, MPC 는 48.06 초.
일반화 능력: 훈련된 Hockenheim 트랙에서 학습한 정책을 학습하지 않은 (Unseen) Montreal 및 Yas Marina 트랙에 적용했을 때, 추가 튜닝 없이도 우수한 성능을 발휘했습니다.
추적 정확도: 코너 진입, 중점, 탈출 구간에서 기준 라인을 가장 정밀하게 추종하며, 고정 PP 에서 발생하는 코너 컷팅 (Cutting) 이나 직선 구간 진동을 효과적으로 제거했습니다.

B. 실차 검증 (Real-car)

환경: F1TENTH 차량 (1:10 스케일) 을 사용하여 최대 6 m/s 속도로 제한된 트랙에서 테스트 수행.
성능: RL-PP (Joint) 가 평균 랩 타임 9.46 초로 가장 우수했으며, MPC 는 하드웨어 제약으로 인해 상대적으로 느린 15.42 초를 기록했습니다.
안정성: 모든 제어기 중 RL-PP 가 가장 부드러운 조향 동작과 작은 횡방향 오차를 보였습니다. Teacher 백업 시스템은 테스트 중 한 번도 발동되지 않아 RL 정책의 신뢰성을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 강화학습이 기하학적 제어 (Geometric Control) 를 대체하는 것이 아니라, 이를 보완하여 적응성과 강인성을 극대화할 수 있음을 입증했습니다.

해석 가능성 유지: 복잡한 블랙박스 엔드 - 투 - 엔드 (End-to-End) 학습 대신, PP 의 명확한 수학적 구조를 유지하면서 핵심 매개변수만 학습함으로써 제어 시스템의 신뢰성을 높였습니다.
실용성: 트랙 변경 시 매번 매개변수를 수동으로 튜닝할 필요를 줄이고, 시뮬레이션에서 실차로의 전이 (Sim-to-Real) 를 성공적으로 수행했습니다.
향후 방향: 극단적인 동역학 상황이나 불완전한 참조 경로에 대한 강인성을 높이는 방향으로의 추가 연구가 필요함을 시사합니다.

결론적으로, 이 연구는 자율 레이싱 및 주행 분야에서 경량 기하학적 제어기와 데이터 기반 강화학습의 효과적인 결합을 위한 새로운 표준을 제시합니다.