PRIX: Learning to Plan from Raw Pixels for End-to-End Autonomous Driving

이 논문은 LiDAR 나 BEV 표현 없이 카메라 이미지만으로 안전하고 효율적인 주행 경로를 계획하는 새로운 엔드투엔드 자율주행 아키텍처인 PRIX 를 제안하여, 대규모 다중 모달 모델과 유사한 성능을 유지하면서도 추론 속도와 모델 크기를 획기적으로 개선했습니다.

핵심

PRIX: 카메라 한 대만으로도 가능한 '스마트 운전'의 비밀

이 논문은 자율주행 자동차가 어떻게 더 저렴하고 빠르게, 그리고 똑똑하게 운전할 수 있게 되었는지 설명하는 연구입니다. 제목인 PRIX는 "Raw pIXels(생 이미지 픽셀) 로 계획을 세운다"는 뜻입니다.

이 내용을 일반인이 이해하기 쉽게 요리사와 지도에 비유해서 설명해 드릴게요.

---

1. 기존 방식의 문제점: "무거운 백팩을 멘 요리사"

지금까지의 최신 자율주행 기술들은 아주 똑똑했지만, 몇 가지 큰 단점이 있었습니다.

• 비싼 장비 (LiDAR): 마치 요리사가 요리를 할 때, 카메라뿐만 아니라 **레이저 거리 측정기 (LiDAR)**라는 고가의 장비를 어깨에 메고 다니는 것과 같습니다. 이 장비는 비싸고 무겁습니다.
• 무거운 계산 (BEV): 요리사가 요리를 하기 위해, 모든 재료를 **하늘에서 내려다보는 지도 (Bird's-Eye View, BEV)**로 먼저 그려야 했습니다. 이 지도를 그리는 과정이 너무 복잡하고 시간이 많이 걸려서, 요리사 (컴퓨터) 가 지쳐버립니다.
• 결과: 이 방식은 고급 스포츠카에는 좋지만, 일반 대중들이 타는 저렴한 차에는 너무 비싸고 무겁습니다.

2. PRIX 의 등장: "눈만 믿는 천재 요리사"

이 연구팀 (PRIX) 은 **"레이저나 복잡한 지도 없이, 카메라 눈만으로도 충분히 똑똑하게 운전할 수 있다"**고 주장하며 새로운 방식을 제시했습니다.

• 카메라만 사용: 레이저 장비 (LiDAR) 를 아예 없애고, 차에 달린 카메라 6~10 개만 사용합니다. 마치 요리사가 오직 **눈 (카메라)**만 믿고 재료를 보고 요리하는 것과 같습니다.
• 직관적인 계획: 복잡한 지도를 그리는 대신, 카메라가 본 **생생한 이미지 (Raw Pixels)**를 바로 보고 "앞으로 어떻게 갈지"를 결정합니다.

3. PRIX 의 핵심 기술: "상황을 파악하는 마법 거울 (CaRT)"

PRIX 가 왜 그렇게 똑똑할 수 있을까요? 그 비결은 CaRT라는 새로운 기술 때문입니다.

• 비유: 카메라가 찍은 화면을 볼 때, 우리는 멀리 있는 건물의 간판 (큰 의미) 과 가까이 있는 차선 (세부 정보) 을 동시에 봐야 합니다.
• CaRT 의 역할: 기존 기술은 이 두 가지를 따로 보다가 헷갈리곤 했습니다. 하지만 CaRT는 마치 마법 거울처럼 작동합니다.
  • 카메라가 본 모든 정보를 거울에 비추어, "저기 저 차는 위험해", "저기 저 길은 막혀있어"라고 **전체적인 상황 (맥락)**을 파악하게 해줍니다.
  • 이렇게 하면, 요리사 (플래너) 가 재료를 보고 "아, 이건 국을 끓여야겠다"라고 바로 직관적으로 판단할 수 있게 됩니다.

4. 성능과 효율: "작은 몸집, 큰 실력"

이 논문은 PRIX 가 얼마나 뛰어난지 여러 가지 데이터로 증명했습니다.

• 속도: 다른 유명한 모델들보다 훨씬 빠릅니다. (초당 57 프레임, 즉 1 초에 57 번이나 판단을 내립니다). 이는 마치 요리사가 다른 요리사보다 훨씬 빠르게 요리를 완성하는 것과 같습니다.
• 크기: 모델의 크기가 작습니다. (3700 만 개의 파라미터). 다른 모델들은 1 억 개가 넘는 거대한 두뇌를 가지고 있었지만, PRIX 는 작고 효율적인 두뇌로 같은, 혹은 그 이상의 성과를 냅니다.
• 결과: 비가 오거나 눈이 오는 나쁜 날씨에서도, 그리고 복잡한 도로 상황에서도 안전하게 운전하는 모습을 보여줍니다.

5. 요약: 왜 이것이 중요한가?

이 연구는 **"비싼 장비가 없어도, 카메라만으로도 충분히 안전하고 빠른 자율주행이 가능하다"**는 것을 증명했습니다.

• 기존: 무거운 백팩 (LiDAR) + 복잡한 지도 그리기 (BEV) = 비싸고 느림.
• PRIX: 날카로운 눈 (카메라) + 상황 파악 마법 (CaRT) = 싸고, 빠르고, 똑똑함.

이 기술이 상용화되면, 앞으로 우리가 타는 일반적인 자동차들도 레이저 장비 없이도 고급 자율주행 기능을 쉽게 갖게 될 것입니다. 마치 값비싼 스포츠카의 성능을 가진 저렴한 세단이 등장하는 것과 같은 혁신입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 현황: 최근 엔드 - 투 - 엔드 (End-to-End) 자율주행 모델은 센서 입력에서 직접 궤적을 출력하는 통합 학습 파이프라인으로 주목받고 있습니다.
• 한계점:
  • 고비용 및 확장성 문제: 현재 최첨단 (SOTA) 모델들은 주로 카메라와 LiDAR를 융합하며, LiDAR 는 고가이므로 대중 차량에 적용하기 어렵습니다.
  • 계산 비용: BEV(Bird's-Eye View, 상공 뷰) 특징 표현을 생성하는 과정이 계산적으로 매우 무겁습니다.
  • 모델 효율성: 기존 카메라 전용 모델들 (UniAD, VAD 등) 은 모델 크기가 1 억 개 이상의 파라미터를 가져 추론 속도가 느리고 학습 비용이 높습니다.
• 목표: LiDAR 나 명시적인 BEV 표현 없이, **카메라 원시 픽셀 (Raw Pixels)**만으로 안전하고 효율적인 자율주행 궤적을 계획할 수 있는 경량화 모델을 개발하는 것.

2. 제안 방법론 (Methodology)

저자들은 **PRIX(Plan from Raw pIXels)**라는 새로운 엔드 - 투 - 엔드 아키텍처를 제안합니다. 이 모델은 카메라 데이터만 사용하여 BEV 변환 없이 직접 궤적을 예측합니다.

A. 핵심 구성 요소

1. 시각 특징 추출기 (Visual Feature Extractor):

   • ResNet 백본을 사용하여 다중 스케일 (Multi-scale) 특징을 추출합니다.
   • CaRT (Context-aware Recalibration Transformer): 이 모델의 핵심 모듈입니다.
     • 초기 ResNet 특징 맵에 전역적 의미론적 컨텍스트 (Global Semantic Context) 를 주입하기 위해 자기 주의 (Self-Attention) 메커니즘을 적용합니다.
     • 다양한 특징 레벨 (Feature Levels) 에서 가중치를 공유 (Weight-sharing) 하여 파라미터 수를 줄이면서도 전역 컨텍스트를 기반으로 지역 특징을 재조정 (Recalibrate) 합니다.
     • 이를 통해 고수준 의미 이해와 저수준 공간 세부 정보를 모두 포착합니다.

2. 플래너 그리드 (Planner Grid) 및 BEV 부재:

   • 명시적인 BEV 변환을 수행하지 않습니다.
   • 추출된 글로벌 특징을 'Token Memory'로 변환하고, 이를 'Planner Grid'로 접어 (Fold) 로컬 특징과 결합합니다.
   • 카메라 기하학은 고정된 rig 와 네트워크 가중치에 흡수되며, 지시 (Supervision) 를 통해 에고 (Ego) 프레임에 정렬된 학습된 캔온 (Canonical) 그리드로 작동합니다.

3. 생성형 플래너 (Generative Planning Head):

   • 조건부 디노이징 확산 모델 (Conditional Denoising Diffusion): DiffusionDrive 에서 영감을 받았습니다.
   • 잡음이 섞인 궤적 제안 (Anchors) 을 입력받아 에고 상태와 시각 특징을 조건으로 하여 반복적으로 정제합니다.
   • Anchors 활용: K-Means 클러스터링으로 생성된 궤적 앵커를 사용하여 초기화를 돕고, 확산 단계를 2 단계로 줄여 추론 지연을 최소화합니다.

4. 학습 목표 (Training Objectives):

   • 주요 손실 (Planning Loss): 예측된 궤적과 정답 궤적 간의 L1 거리 최소화.
   • 보조 작업 (Auxiliary Tasks):
     • 객체 감지 (Object Detection): 차량 및 보행자 등 동적 에이전트 인식.
     • 의미론적 일관성 (Semantic Consistency): 주행 가능 영역 및 차선 경계 등 정적 환경 이해를 위한 픽셀 단위 분할 손실.
   • 이러한 다중 작업 학습 (Multi-task Learning) 은 특징 추출기가 자율주행에 적합한 풍부한 표현을 학습하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. PRIX 아키텍처 제안: LiDAR 없이 카메라만으로 작동하며, BEV 표현을 사용하지 않는 효율적인 엔드 - 투 - 엔드 플래너입니다.
2. CaRT 모듈 개발: 다중 레벨 시각 특징을 효과적으로 강화하여 강건한 계획을 가능하게 하는 새로운 모듈을 제안했습니다.
3. 성능과 효율성의 균형: 기존 카메라 전용 모델들보다 훨씬 작고 빠르면서도 SOTA 성능을 달성했습니다.
4. 광범위한 검증: NavSim-v1, NavSim-v2, nuScenes 데이터셋에서 다양한 멀티모달 및 카메라 전용 모델들과 비교 분석을 수행했습니다.

4. 실험 결과 (Results)

A. NavSim-v1 벤치마크

• 성능: PDMS(Performance and Safety Score) 에서 87.8점을 기록하여 카메라 전용 모델 중 1 위를 차지했습니다.
• 비교: LiDAR 를 사용하는 DiffusionDrive(88.1) 와 매우 근접한 성능을 내며, GoalFlow 등 다른 멀티모달 모델들을 능가하거나 견제했습니다.
• 효율성:
  • 추론 속도: 57 FPS로 매우 빠릅니다 (Transfuser 의 60 FPS 와 근접).
  • 모델 크기: 37M 파라미터로, UniAD(100M+) 나 VAD(100M+) 보다 훨씬 가볍습니다.
  • 입력: 1 프레임만 사용함에도 불구하고, 2~4 프레임을 사용하는 다른 모델들보다 우수한 안전성 (NC, DAC) 을 보입니다.

B. NavSim-v2 및 nuScenes

• NavSim-v2: EPDMS 기준 84.2점으로 카메라 전용 모델 중 최상위권을 기록했습니다.
• nuScenes: 궤적 예측 과제에서 평균 L2 오차 0.57m (기존 SOTA 인 DiffusionDrive 의 0.65m 보다 낮음) 와 **0.07%**의 충돌률을 기록하여 모든 카메라 기반 베이스라인을 능가했습니다. 추론 속도는 11.2 FPS로 가장 빠릅니다.

C. Ablation Study (분석 연구)

• CaRT 모듈: CaRT 를 제거하면 PDMS 가 87.8 에서 76.4 로 급격히 하락하여 모듈의 중요성을 입증했습니다.
• 공유 가중치: CaRT 내의 Self-Attention 가중치를 모든 스케일에서 공유하는 것이 별도의 가중치를 사용하는 것보다 파라미터 효율성과 성능 면에서 더 우수했습니다.
• 플래너: 확산 (Diffusion) 플래너가 가장 정확하지만, 간단한 MLP 헤드로 교체해도 성능 저하가 미미하여 시각 특징 추출기의 중요성을 다시 한번 강조했습니다.

5. 의의 및 결론 (Significance)

• 실용성: 고가의 LiDAR 센서 없이도 카메라만으로 상용 차량에 배포 가능한 수준의 고성능, 저비용 자율주행 솔루션을 제시했습니다.
• 패러다임 전환: BEV 변환과 같은 계산 집약적인 중간 표현 없이도, 원시 픽셀에서 직접 학습된 풍부한 시각 표현이 계획 (Planning) 에 효과적임을 증명했습니다.
• 미래 전망: PRIX 는 효율성과 성능을 동시에 잡은 새로운 벤치마크를 제시하며, 대규모 언어 모델이나 세계 모델 (World Models) 의 발전과 결합하여 더욱 강력한 자율주행 시스템으로 발전할 가능성을 보여줍니다.

요약하자면, PRIX는 LiDAR 의존도를 제거하고 BEV 변환의 계산 비용을 줄이면서도, CaRT 모듈과 다중 작업 학습을 통해 기존 SOTA 모델들을 능가하거나 견제하는 가장 효율적인 카메라 전용 엔드 - 투 - 엔드 자율주행 모델입니다.