💻 computer science

Autonomous overtaking trajectory optimization using reinforcement learning and opponent pose estimation

이 논문은 라이다와 깊이 카메라 데이터를 UKF 로 융합하여 상대 차량의 자세를 추정하고, 이를 강화학습 에이전트에 입력하여 자율 주행 레이싱 환경에서 최적의 추월 궤적을 생성하는 시스템을 제안합니다.

원저자: Matej Rene Cihlar, Luka Šiktar, Branimir Ćaran, Marko Švaco

게시일 2026-03-31

📖 3 분 읽기☕ 가벼운 읽기

원저자: Matej Rene Cihlar, Luka Šiktar, Branimir Ćaran, Marko Švaco

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🏎️ 1. 문제 상황: "어떻게 앞차를 추월할까?"

자율주행차가 혼자 달리는 것은 쉽지만, 다른 차가 있는 상황에서 추월하는 것은 매우 어렵습니다. 앞차가 갑자기 꺾이거나 속도를 줄이면 부딪힐 수도 있고, 너무 늦게 추월하면 경기를 질 수 있기 때문입니다.

이 연구팀은 **"레이싱카가 스스로 상황을 판단하고, 가장 빠르고 안전한 추월 길을 찾아내는 방법"**을 개발했습니다.

👀 2. 눈과 귀: "두 가지 센서를 합친 '초인'의 시력"

레이싱카는 앞차를 정확히 파악하기 위해 두 가지 눈을 가지고 있습니다.

라이다 (LiDAR): 마치 **소나기 (Sonar)**처럼 레이저를 쏘아 주변 물체의 거리를 측정합니다. 하지만 이 눈만으로는 "저게 정확히 내 앞의 적인가, 아니면 옆길의 장애물인가?"를 구분하기가 조금 애매할 때가 있습니다.
깊이 카메라 (Depth Camera + YOLO): 이건 사람의 눈과 비슷합니다. 카메라로 앞차의 모양을 보고, AI(야로, YOLO) 가 "아, 저게 내 라이벌 차구나!"라고 인식합니다. 하지만 카메라는 멀리서 보면 흐릿해지거나 빛에 따라 거리를 재는 데 오차가 생길 수 있습니다.

✨ 해법: "두 눈의 장점을 합친 UKF (무향 칼만 필터)"
연구팀은 이 두 눈을 **한 명의 '초인'**처럼 합쳤습니다.

라이다가 "저기 5 미터 앞에 무언가 있어!"라고 말하면,
카메라가 "맞아, 저게 바로 내 라이벌 차야!"라고 확인합니다.
그리고 UKF라는 똑똑한 계산기가 이 두 정보를 섞어서 **"아, 저 차는 정확히 저 위치에 있고, 저 속도로 가고 있구나"**라고 가장 정확한 위치를 계산해냅니다.

비유: 마치 두 사람이 함께 지도를 보는데, 한 사람은 나침반 (라이다) 을 보고, 다른 사람은 눈으로 지형을 확인 (카메라) 합니다. 둘이 대화하며 (센서 퓨전) 서로의 실수를 보완하면 훨씬 정확한 위치를 찾을 수 있는 것과 같습니다.

🧠 3. 두뇌: "강화 학습 (RL) 을 통한 '경험'으로 배우기"

이 레이싱카는 미리 정해진 길만 따르는 로봇이 아닙니다. 게임 캐릭터처럼 스스로 배우는 AI입니다.

시뮬레이션 (가상 훈련): 컴퓨터 안에서 수천 번의 가상의 경주를 합니다.
- 잘 추월하면 **점수 (보상)**를 얻습니다.
- 벽에 부딪히거나 뒤처지면 감점을 당합니다.
- 이 과정을 반복하며 AI 는 "어떻게 하면 점수를 많이 받을 수 있을까?"를 스스로 터득합니다. (이걸 'PPO'라는 알고리즘이라고 합니다.)
실전 (실제 주행): 가상에서 배운 지식을 실제 F1TENTH 라는 작은 레이싱카에 적용합니다.

비유: 마치 프로게이머가 시뮬레이션 게임에서 수천 번을 연습해서 "이때는 오른쪽으로, 저때는 가속을 해야 이긴다"는 본능을 익힌 뒤, 실제 대회에 나가는 것과 같습니다.

🏁 4. 결과: "실제 경기장에서 성공한 추월"

연구팀은 이 기술을 실제 작은 레이싱카에 탑재해서 실험했습니다.

정확도: 앞차의 위치를 오차 8cm~5cm 이내로 매우 정확하게 파악했습니다. (사람 눈으로 보기엔 거의 완벽에 가깝습니다.)
성공: 실제 경기장에서 앞차를 추월하는 데 성공했습니다.
약간의 떨림: 실제 세상에서는 컴퓨터 안처럼 완벽하지 않아 차가 살짝 흔들리기도 했지만, 부딪히지 않고 안전하게 추월하는 데는 성공했습니다.

💡 요약

이 논문은 **"레이싱카가 라이다와 카메라라는 두 눈을 합쳐 앞차를 정확히 보고, 게임처럼 수천 번 연습한 AI 두뇌로 스스로 추월 길을 찾아내는 기술"**을 보여줍니다.

앞으로 이 기술이 발전하면, 우리 일상에서도 자율주행차가 복잡한 도로에서 다른 차를 자연스럽게 추월하며 더 안전하고 빠른 주행을 할 수 있게 될 것입니다.

논문 요약: 강화학습과 상대 차량 자세 추정을 활용한 자율 추월 궤적 최적화

1. 문제 제기 (Problem)

자율 주행 차량에게 추월 (Overtaking) 은 가장 복잡한 주행 기동 중 하나입니다. 특히 다중 에이전트 (Multi-agent) 레이싱 환경에서는 상대 차량의 동적인 움직임을 예측하고, 안전성을 유지하면서 최적의 추월 궤적을 계획하는 것이 핵심 과제입니다. 기존의 자율 레이싱 알고리즘들은 주로 단일 에이전트 환경에서의 최적 주행 라인 추종에 집중하거나, 상대 차량을 정적 장애물로 간주하여 충돌 회피만 수행하는 경향이 있었습니다. 이는 실제 레이싱 환경에서 발생하는 충돌 위험을 증가시키고 주행 효율성을 저하시킵니다. 따라서 상대 차량의 정확한 자세 (Pose) 를 추정하고, 이를 기반으로 강화학습 (RL) 을 통해 최적의 추월 기동을 학습하는 시스템의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

이 논문은 크게 **상대 차량 자세 추정 (Sensor Fusion)**과 추월 기동을 위한 강화학습 알고리즘 두 가지 핵심 구성 요소로 나뉩니다. 실험 플랫폼으로는 F1TENTH 기반의 축소형 레이싱 카를 사용했습니다.

가. 센서 퓨전을 통한 상대 차량 자세 추정 (Opponent Pose Estimation)

센서 구성: 2D LiDAR (Hokuyo) 와 깊이 카메라 (Intel RealSense D435) 를 활용합니다.
LiDAR 처리: 2D LiDAR 스캔 데이터에 클러스터링 및 직사각형 피팅 알고리즘을 적용하여 상대 차량의 2D 위치 (x, y) 를 추정합니다.
깊이 카메라 처리:
- 객체 탐지: YOLOv8 모델을 사용하여 상대 차량의 바운딩 박스 (Bounding Box) 를 RGB 이미지에서 탐지합니다.
- 거리 추정: 바운딩 박스의 높이를 기반으로 역함수 (Reciprocal function) 를 적용하여 거리를 계산합니다. (상대 차량이 측면에서 항상 관측되므로 높이는 거리에만 비례한다고 가정).
- 요 (Yaw) 각도: 상대 차량의 요 각도는 직접 추정하지 않고, 차량의 운동학 모델 (Ackermann 조향 모델) 을 통해 주행 방향과 일치한다고 간주하여 계산합니다.
센서 퓨전 (UKF): LiDAR 와 깊이 카메라의 서로 다른 형식과 주파수의 데이터를 **무향 칼만 필터 (Unscented Kalman Filter, UKF)**를 통해 융합합니다.
- 상태 벡터: $[x, y, v_x, v_y]$ (위치 및 속도).
- 목적: 개별 센서의 단점 (LiDAR 의 잘못된 객체 추적, 카메라의 거리 오차 등) 을 보완하여 더 강건하고 정확한 상대 차량의 궤적을 제공합니다.

나. 강화학습 기반 추월 알고리즘 (Reinforcement Learning)

알고리즘: **PPO (Proximal Policy Optimization)**를 사용하여 다중 에이전트 강화학습 (MARL) 을 수행합니다.
환경: F1TENTH Gym 시뮬레이션 환경 (자전거 모델, 2D occupancy grid 맵) 을 사용하며, 실제 차량과 동일한 LiDAR 데이터와 오도메트리 데이터를 입력받습니다.
관측 공간 (Observation Space):
- 에이전트와 상대 차량의 LiDAR 데이터 (108 개 포인트), 오도메트리 정보, 그리고 미래 10 개의 웨이포인트 (Waypoints).
- 웨이포인트는 최소 곡률 (Minimum Curvature) 방식으로 사전 계산된 레이싱 라인에서 추출됩니다.
행동 공간 (Action Space): 연속적인 조향 각도 ( $\pm 0.34$ rad) 와 선형 속도 ( $0 \sim 3$ m/s) 를 출력합니다.
보상 함수 (Reward Function): 7 가지 요소의 가중 합으로 구성됩니다.
- 속도 보상, 진행도 보상, 추월 보상 (상대 차량 앞/뒤에 따라 +1/-1), 레이싱 라인 편차 패널티, 충돌 패널티, 헤딩 (Heading) 오차 패널티, 조향 부드러움 패널티.

3. 주요 기여 (Key Contributions)

실제 환경 검증된 다중 에이전트 추월 시스템: 시뮬레이션뿐만 아니라 실제 F1TENTH 플랫폼에서 검증된 최초의 RL 기반 추월 알고리즘 중 하나입니다.
UKF 기반 센서 퓨전: LiDAR 와 YOLO 기반의 깊이 카메라 데이터를 융합하여 상대 차량의 자세를 정밀하게 추정하는 방법을 제안했습니다. 이는 상대 차량을 정적 장애물이 아닌 동적 객체로 인식하여 추월 전략을 수립하는 데 필수적입니다.
실제 적용 가능한 RL 정책: PPO 알고리즘을 통해 학습된 정책이 실제 하드웨어 (Jetson Xavier NX) 에서 실시간으로 추월 기동을 성공적으로 수행함을 입증했습니다.

4. 실험 결과 (Results)

자세 추정 정확도:
- UKF 를 적용한 결과, LiDAR 단독 또는 카메라 단독 사용보다 더 강건한 추적이 가능했습니다.
- RMSE (평균 제곱근 오차): $x$ 방향 $0.0816 $m,$ y $방향$ 0.0531$ m 로 측정되었습니다. (LiDAR 는 $x$ 방향에서 더 정확했으나, $y$ 방향에서는 UKF 가 더 우수했으며, 카메라는 거리 추정에 한계가 있었습니다.)
- 카메라는 LiDAR 클러스터가 상대 차량인지 식별하는 데 도움을 주어 잘못된 객체 추적을 방지했습니다.
추월 성능:
- 시뮬레이션과 실제 실험 모두에서 에이전트가 상대 차량을 성공적으로 추월하고 충돌 없이 주행했습니다.
- 실제 환경에서는 센서 노이즈와 지연으로 인해 시뮬레이션보다 궤적 진동 (Oscillation) 이 관찰되었으나, 추월 기동 자체는 성공적으로 수행되었습니다.
- 훈련 환경 (넓은 트랙) 과 테스트 환경 (좁은 복도) 이 달랐음에도 불구하고, 훈련 조건과 유사한 실제 환경에서는 성공적인 추월이 가능했습니다.

5. 의의 및 결론 (Significance)

이 연구는 자율 레이싱 분야에서 상대 차량의 동적 자세 추정과 강화학습 기반의 전략적 추월을 결합한 통합 솔루션을 제시했습니다. 기존의 단순한 장애물 회피를 넘어, 상대 차량의 움직임을 예측하고 이를 활용하여 최적의 주행 라인을 생성함으로써 충돌 위험을 줄이고 주행 효율성을 극대화할 수 있음을 입증했습니다. 특히 실제 하드웨어 환경에서의 성공적인 배포는 자율 주행 알고리즘의 실용화 가능성을 크게 높였으며, 향후 더 높은 주파수의 센서 업데이트와 궤적 평활화 (Smoothing) 기법을 통해 성능을 더욱 개선할 수 있는 방향을 제시했습니다.