UNet-Based Keypoint Regression for 3D Cone Localization in Autonomous Racing

이 논문은 자율 레이싱에서 환경 변화에 강인하고 실시간으로 실행 가능한 UNet 기반 신경망을 통해 3D 원뿔의 키포인트를 정밀하게 검출하고 위치를 추정하여 종단간 자율 주행 시스템의 성능을 크게 향상시키는 방법을 제시합니다.

핵심

이 논문은 자율주행 레이싱 카가 경주 트랙을 달릴 때, 길을 안내하는 '콘 (원뿔형 표지판)'을 눈으로 정확히 찾아내는 기술에 대한 이야기입니다.

기존의 방법들은 비가 오거나 콘이 더러워지면 길을 잃기 쉬웠는데, 이 연구팀은 **"AI 가 콘의 모양을 아주 정교하게 그려내듯 찾아내는 새로운 방법"**을 개발했다고 합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "어두운 밤, 더러운 콘을 찾아라" 🌧️🚗

자율주행 레이싱 카는 트랙 양쪽에 있는 **파란색 (왼쪽)**과 노란색 (오른쪽) 콘을 보고 길을 찾아야 합니다.
하지만 경주는 매우 빠르고, 콘은 작으며, 비나 진흙, 햇빛 반사 때문에 콘이 잘 보이지 않거나 찌그러져 있을 수도 있습니다.
기존의 컴퓨터 비전 기술은 이런 '변덕스러운' 환경에서 길을 잃기 일쑤였습니다. 마치 안개 낀 날에 흐릿한 표지판을 보고 운전하는 것과 비슷하죠.

2. 해결책: "콘의 뼈대를 그리는 AI (UNet)" 🎨🤖

연구팀은 UNet 이라는 인공지능 모델을 이용해 콘을 찾는 방법을 바꿨습니다.
기존에는 "저기 콘이 있구나"라고 대략적인 박스만 그렸다면, 이 새로운 AI 는 **콘의 6 개 핵심 지점 (Keypoints)**을 아주 정밀하게 찾아냅니다.

• 비유: 기존 방법은 콘을 "원뿔 모양의 덩어리"로만 보았다면, 이 AI 는 콘을 **"꼭대기, 중간 줄무늬, 바닥"**처럼 6 개의 중요한 뼈대 지점을 정확히 찍어서 그리는 정밀한 스케치를 합니다.
• 효과: 콘이 찌그러지거나 반만 보여도, 이 6 개의 지점을 통해 콘이 어디에 있고 어떤 색인지 추론할 수 있습니다.

3. 훈련 과정: "2 만 5 천 장의 사진으로 공부한 AI" 📚

이 AI 가 똑똑해지기 위해 연구팀은 Kaggle이라는 사이트에 2 만 5 천 장이나 되는 콘 사진을 직접 찍고, 하나하나 손으로 6 개의 지점을 표시해서 학습시켰습니다.
이는 지금까지 나온 데이터 중 가장 큰 규모라고 합니다. 마치 운전 면허 시험을 위해 수많은 도로 상황을 보고 연습한 것과 같습니다.

4. 3D 공간에서의 위치 파악: "양안 시차 (Stereo) 를 이용한 깊이 감지" 👁️👁️

AI 가 콘의 지점을 찾으면, 이제 **"그 콘이 내 차에서 얼마나 멀리 있는가?"**를 계산합니다.

• 비유: 우리가 두 눈으로 사물을 볼 때, 왼쪽 눈과 오른쪽 눈의 시차가 생기죠? 이 차이를 이용해 거리를 재는 원리입니다.
• 이 AI 는 두 개의 카메라 (스테레오 카메라) 로 찍은 콘의 지점 차이를 계산해, 콘이 정확히 3 차원 공간의 어디에 있는지를 수학적으로 계산해냅니다.

5. 성능과 결과: "빠르고 정확한 레이싱" 🏁

• 정확도: 기존 방법보다 콘의 위치를 훨씬 더 정확하게 찾아냈습니다. (오차 범위가 절반 이하로 줄어듦)
• 속도: 이 모든 복잡한 계산을 차에 탑재된 컴퓨터에서도 실시간으로 처리할 수 있습니다.
• 색상 인식: 콘의 지점을 정확히 찾으면, 콘의 줄무늬 색 (검정/흰색) 과 바닥 색을 통해 콘이 파란색인지 노란색인지도 자동으로 구분할 수 있게 됩니다.

6. 결론: "레이싱의 승패를 가르는 눈" 🏆

이 기술은 단순히 콘을 찾는 것을 넘어, 레이싱 카가 어떤 경로를 따라 달릴지 결정하는 핵심이 됩니다.
콘을 정확히 찾으면 차는 더 빠르고 안전하게 코너를 돌 수 있고, 실수가 줄어들어 전체 시스템이 더 똑똑해집니다. 마치 경주용 드라이버가 선명한 시야를 얻어 더 빠른 기록을 내는 것과 같습니다.

한 줄 요약:

"이 연구팀은 자율주행 레이싱 카가 비나 진흙 속에서도 길을 잃지 않도록, 콘의 6 개 핵심 지점을 정밀하게 찾아내는 AI를 개발하여, 차가 더 빠르고 안전하게 달릴 수 있게 만들었습니다."

기술 요약

1. 문제 정의 (Problem Definition)

자율 레이싱 (Formula Student 등) 에서 차량이 미지의 트랙을 안전하고 정확하게 주행하기 위해서는 **3 차원 공간 내의 원뿔 (Cone) 에 대한 정밀한 국소화 (Localization)**가 필수적입니다. 트랙의 경계는 왼쪽 파란색 원뿔과 오른쪽 노란색 원뿔로 정의되므로, 원뿔의 위치와 색상을 실시간으로 식별하는 것은 자율 주행 시스템의 핵심입니다.

기존의 접근 방식은 다음과 같은 한계를 가지고 있습니다:

• 전통적인 컴퓨터 비전 알고리즘: 환경 변화 (조명, 날씨, 먼지 등) 에 민감하여 신뢰성이 낮습니다.
• 기존 신경망 모델: 제한된 데이터로 훈련되었으며, 실시간 처리가 어렵거나 정밀도가 부족합니다.
• 환경적 난제: 원뿔은 크기가 작고 차량과의 거리가 다양하며, 충돌 손상, 오염, 날씨 노출 등으로 외형이 변할 수 있어 고난이도 탐지 과제입니다.

2. 방법론 (Methodology)

2.1. 데이터셋 구축 (Dataset Curation)

• 규모: Kaggle 에 공개된 25,000 개의 주석 (Annotation) 이 달린 원뿔 이미지로 구성된 가장 큰 커스텀 데이터셋을 구축했습니다.
• 주석 방식: 각 원뿔 이미지에 대해 **6 개의 키포인트 (Keypoints)**를 주석 처리했습니다. 이는 원뿔의 스트라이프 (검정/흰색) 와 베이스를 정의하는 점들입니다.
• 품질 관리: 잘못된 주석이 포함된 이미지를 필터링하여 최종적으로 20,000 개의 고품질 샘플을 확보했습니다.
• 데이터 증강: 회전 (0, 90, 180, 270 도) 및 무작위 경계 크롭을 적용하여 모델의 일반화 성능을 높이고 과적합을 방지했습니다.

2.2. 모델 아키텍처 (Model Architecture)

• UNet 기반 구조: 인코더 (Encoder), 디코더 (Decoder), 병목 (Bottleneck) 레이어로 구성된 UNet 아키텍처를 채택했습니다.
  • 인코더: 2D 컨볼루션 레이어, 배치 정규화, ReLU 활성화 함수를 사용하여 공간 차원을 축소합니다.
  • 디코더: 업샘플링을 통해 출력을 재구성하며, 인코더의 특징 맵과 결합 (Skip Connection) 합니다.
  • 출력: 6 개의 키포인트 좌표를 예측합니다.
• 학습 설정: AdamW 옵티마이저, 지수 학습률 스케줄러, L1 및 Smooth L1 손실 함수를 결합한 커스텀 로스 함수를 사용했습니다.

2.3. 3D 국소화 및 파이프라인 통합

• 입력: ZED2 스테레오 카메라를 통해 획득한 이미지에서 YOLOv8 로 원뿔의 초기 바운딩 박스를 탐지합니다.
• 키포인트 회귀: UNet 모델이 바운딩 박스 내의 6 개 키포인트 정밀 좌표를 예측합니다.
• 3D 깊이 추정:
  • 스테레오 비전 원리를 활용하여 좌우 이미지 간 키포인트의 **시차 (Disparity)**를 계산합니다.
  • 공식 $Z = fT / D$(초점 거리$f$, 베이스라인$T$, 시차$D$) 를 사용하여 원뿔의 깊이 ($Z$) 를 계산하고, 이를 통해 3D 좌표$(x', y', z')$를 도출합니다.
• 색상 추정: 6 개의 키포인트가 원뿔의 스트라이프와 베이스를 명확히 정의하므로, 이를 기반으로 원뿔의 색상 (파란색/노란색) 을 알고리즘적으로 추정할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 데이터셋 공개: 자율 레이싱 원뿔 탐지를 위한 가장 큰 공개 주석 데이터셋 (25k 이미지) 을 Kaggle 에 공개했습니다.
2. 새로운 KPR (Keypoint Point Regression) 방법론: 복잡한 장면에서 원뿔의 키포인트를 정밀하게 국소화하기 위해 UNet 기반의 새로운 아키텍처를 제안했습니다.
3. 자율 주행 파이프라인 통합 및 평가: 제안된 모델을 실제 자율 주행 차량의 인식 파이프라인에 통합하여 시뮬레이션 및 ROS2 데이터를 통해 엔드 - 투 - 엔드 성능을 평가했습니다.
4. 지리적 제약 활용: 3D 지면 주석이 없어도 스테레오 시차를 통해 3D 감시를 유도할 수 있어 확장성을 확보했습니다.

4. 실험 결과 (Results)

4.1. 정량적 평가 (Quantitative Metrics)

ResNet 기반 모델 (기존 방법) 과 제안된 UNet 모델을 비교한 결과, UNet 이 모든 지표에서 우수한 성능을 보였습니다.

모델	MSE (평균 제곱 오차)	Root MSE	Norm ME	Std Dev	mAP (평균 정밀도)
ResNet	6.3165	2.3458	0.0597	6.4299	0.42
UNet (제안)	3.4172	1.8486	0.0263	3.4550	0.83

• UNet 은 ResNet 대비 MSE 를 약 46% 감소시켰으며, mAP 는 0.42 에서 0.83 으로 대폭 향상되었습니다.

4.2. 정성적 평가 및 실시간성

• 실제 환경 테스트: ROS2 bag 파일을 이용한 실제 주행 데이터에서 키포인트 예측의 정확성을 검증했습니다.
• 예외 상황: 원뿔이 부분적으로 가려지거나 밀집된 경우 (약 3% 발생) 에는 성능이 저하되지만, 이는 전체 파이프라인에서 관리 가능한 수준입니다.
• 실시간 처리: 차량 내장 PC (12 코어 CPU, GTX 1060 GPU) 에서의 부하 테스트 결과, KPR 모델 추가 시 CPU 부하는 증가했으나 메모리 사용량은 7% 미만으로 미미하게 증가했습니다. 이는 자율 레이싱 시스템의 실시간 요구사항을 충족합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 정확도와 효율성의 균형: 기존 전통적 알고리즘 (SIFT 등) 이나 다른 딥러닝 모델 (ResNet 등) 에 비해 키포인트 탐지 정확도를 획기적으로 높였으면서도, 실시간 처리가 가능한 경량화된 솔루션을 제시했습니다.
• 시스템 성능 증폭: 정밀한 원뿔 국소화는 차량이 따라야 할 레이싱 라인 (Racing Line) 결정에 직접적인 영향을 미칩니다. 높은 정확도의 인식은 잘못된 경로 선택으로 인한 연쇄적 오류 (Snowball effect) 를 방지하고, 전체 자율 주행 시스템의 성능을 긍정적으로 증폭시킵니다.
• 확장성: 본 연구에서 제안된 프레임워크는 단순한 원뿔 탐지를 넘어, 깊이 인식 객체 맵이나 의미론적 볼륨 그리드 (Semantic Voxel Grids) 로 확장하여 완전한 3D 장면 이해를 달성할 수 있는 가능성을 보여줍니다.

결론적으로, 이 논문은 UNet 기반의 키포인트 회귀 기법을 통해 자율 레이싱 환경에서의 원뿔 탐지 문제를 해결하고, 이를 통해 안전하고 고성능의 자율 주행 시스템을 구축할 수 있음을 입증했습니다.