기술 요약: Drive-JEPA

문제 정의

엔드 투 엔드(End-to-end) 자율주행은 통합된 신경망 모델을 사용하여 원시 센서 관측값으로부터 직접 주행 동작을 매핑하는 것을 목표로 합니다. 그러나 이 분야는 두 가지 주요 병목 현상에 직면해 있습니다:

1. 비디오 사전 학습의 제한된 효용성: 자기 지도 비디오 사전 학습(Self-supervised video pretraining)이 전이 가능한 표현을 학습하기 위해 점점 더 많이 사용되고 있지만, 기존 방식(예: 픽셀 수준의 생성 모델 또는 잠재 세계 모델)은 제한적인 개선만을 보여주었습니다. 픽셀 수준의 목적 함수는 계산 비용이 많이 들고 무관한 시각적 세부 사항에 집중할 수 있으며, 잠재(Latent) 방식은 표현 붕괴(Representation collapse)를 겪거나 스케일링을 통한 명확한 이점을 입증하는 데 어려움을 겪는 경우가 많습니다.
2. 다중 모드 모호성 및 감독 병목 현상: 주행 시나리오는 본질적으로 다중 모드(Multimodal)적이지만, 표준 데이터셋은 각 장면당 단 하나의 인간 궤적만을 제공합니다. 이러한 희소성은 다양한 행동을 학습하는 데 제약을 줍니다. 기존 솔루션은 고정된 이산 어휘(Fixed discrete vocabularies)에 의존하여 일반화 능력이 제한되거나(미등록 어휘 시나리오 발생), 단일 궤적 감독에 묶여 모드 붕괴(Mode collapse) 또는 다양성 제한을 겪는 확산 기반(Diffusion-based) 방식에 머물러 있습니다.

방법론: Drive-JEPA

저자들은 Drive-JEPA를 제안하며, 이는 **비디오 공동 임베딩 예측 아키텍처(V-JEPA)**와 **다중 모드 궤적 증류(Multimodal trajectory distillation)**를 결akan 결합하여 이러한 병목 현상을 해결합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 주행 비디오 사전 학습 (V-JEPA 적응)

계획에 정렬된 예측 표현을 학습하기 위해, 저자들은 V-JEPA를 주행 도메인에 맞게 적응시켰습니다.

• 아키텍처: Vision Transformer (ViT) 인코더를 대규모 주행 비디오 데이터셋(CoVLA, DrivingDojo, OpenScene에서 큐레이션됨)으로 사전 학습합니다.
• 목적 함수: 모델은 마스킹된 소스 뷰로부터 마스킹된 타겟 뷰의 잠재 표현을 예측하는 법을 배웁니다. 이 자기 지도 목적 함수는 표현 붕괴를 방지하기 위해 스톱 그래디언트(Stop-gradient) 연산자와 지수 이동 평균(EMA) 인코더를 포함합니다.
• 스케일링: 기존의 잠재 세계 모델과 달리, 이 접근 방식은 330시간의 비디오 데이터로 사전 학습을 성공적으로 확장하면서도 계산 비용을 낮추었으며, 궤적 계획에 본질적으로 정렬된 특징을 생성합니다.

2. 다중 모드 궤적 증류 (Multimodal Trajectory Distillation)

단일 궤적 감독의 병목 현상을 극복하기 위해, 프레임워크는 규칙 기반 시뮬레이터로부터 지식을 제안 중심 플래너(Proposal-centric planner)로 증류합니다.

• 제안 생성 (Proposal Generation): 고정된 어휘 대신, 모델은 웨이포인트(Waypoint) 기반 디포머블 어텐션(Deformable attention)을 사용하여 온라인 궤적 제안을 생성합니다. 이 제안들은 예측된 웨이포인트 주변의 BEV(Bird's-Eye-View) 특징을 집계함으로써 반복적으로 정교화됩니다.
• 의사 교사 증류 (Pseudo-Teacher Distillation): 역사적 데이터의 k-means 클러스터링을 통해 궤적 어휘를 구축합니다. 각 장면마다 규칙 기반 시뮬레이터(NAVSIM v2 프로토콜 기반)가 안전 및 편안함 제약 조건(EPDMS 점수)에 대해 이 어휘 내의 궤적들을 평가합니다. 높은 점수를 받은 다양하고 우수한 궤적들이 "의사 교사(Pseudo-teachers)"로 선택됩니다.
• 학습 손실 (Training Loss): 제안 생성기는 그라운드 트루스(Ground-truth) 인간 궤적과 다양하게 생성된 시뮬레이터 기반 의사 교사 궤적 집합 모두와의 거리를 최소화하도록 학습되어, 단일 인간 시연에 의존하지 않고도 다중 모드 출력을 장려합니다.

3. 모멘텀 인식 궤적 선택 (Momentum-Aware Trajectory Selection)

다양한 제안 집합으로부터 최종 궤적을 선택하기 위해, 신경 스코어러(Neural scorer)가 충돌 위험, 교통 법규 준수 및 편안함을 기준으로 후보를 평가합니다.

• 편안함 메커니즘: 다양한 제안으로 인해 발생할 수 있는 시간적 불일치(Jitter)를 완화하기 위해, 선택 모듈은 **모멘텀 인식 페널티(Momentum-aware penalty)**를 포함합니다. 이 모듈은 현재의 제안을 이전 프레임($t-1$)에서 선택된 궤적과 비교하여 큰 왜곡에 대해 페널티를 부여합니다.
• 최종 선택: 학습된 스코어러와 편안함 항(Term)을 결합하여 재보정된 점수가 가장 높은 궤적이 실행을 위해 선택됩니다.

주요 기여

1. 주행을 위한 V-JEPA 사전 학습: V-JEPA를 엔드 투 엔드 주행에 적용하여, 예측 목적 함수를 가진 대규모 비디오 사전 학습이 인지 기반 및 인지 불필요(Perception-free) 설정 모두에서 성능을 크게 향상시킨다는 것을 입증했습니다.
2. 다중 모드 궤적 증류: 시뮬레이터가 생성한 다양한 궤적을 제안 중심 프레임워크로 증류하는 새로운 감독 전략을 도입하여, 단일 인간 궤적 감독의 한계를 효과적으로 극복했습니다.
3. 모멘텀 인식 선택: 프레임 간 궤적 왜곡에 페널티를 부여함으로써 주행의 편안함과 시간적 안정성을 높이는 경량화된 선택 모듈을 제시했습니다.
4. 최첨단 성능 달성: 복잡한 인지 주석(Annotation) 없이도 주요 벤치마크에서 새로운 SOTA(State-of-the-art) 결과를 달-성했습니다.

실험 결과

프레임워크는 NAVSIM v1, NAVSIM v2, 그리고 Bench2Drive에서 평가되었습니다.

• NAVSIM v1 (Perception-Free): 전방 카메라와 V-JEPA로 사전 학습된 경량 트랜스포머 디코더만을 사용하여, 모델은 89.0 PDMS를 달성하여 기존의 인지 불필요 방식(예: Epona 86.1, LAW 83.8)을 상당한 차이로 앞질렀습니다.
• NAVSIM v1 (전체 프레임워크): 전체 Drive-JEPA 프레임워크(증류 및 선택 포함)를 사용하여, 모델은 93.7 PDMS(ViT/L 백본)를 달성하여 이전 최고 기록(DriveSuprim 93.5)을 경신했습니다.
• NAVSIM v2: 이 방식은 87.8 EPDMS를 달성하며 새로운 SOTA를 세웠습니다. 특히, 기존 방식들이 어려움을 겪었던 확장된 편안함(Extended Comfort, EC) 및 기타 규칙 준수 지표에서 우수한 성능을 보였습니다.
• Bench2Drive: 폐쇄 루프 CARLA 시뮬레이션에서 Drive-JEPA는 64.52의 Driving Score(DS)를 기록하여, 다른 제안 중심 방식인 iPad(60.52)보다 4점 앞서며 다중 모드 증류의 효과를 검증했습니다.

의의 및 주장

본 논문은 Drive-JEPA가 자기 지도 비디오 사전 학습과 다중 모드 궤적 생성을 성공적으로 통합하여 현재의 엔드 투 엔드 주행 시스템의 근본적인 한계를 해결했다고 주장합니다.

• 사전 학습의 효과성: 결과는 V-JEPA 사전 학습이 강력하고 전이 가능한 표현을 제공하여, 단순한 디코더만으로도 인지 불필요 설정에서 복잡한 인지 기반 파이프라인보다 뛰어난 성능을 낼 수 있음을 강조합니다.
• 다양성 vs 안정성: 본 연구는 모멘텀 인식 선택 메커니즘이 사용될 경우, 시뮬레이터 가이드 증류가 시간적 안정성을 희생하지 않으면서도 다양하고 안전한 궤적을 생성할 수 있음을 보여줍니다.
• 확장 가능성: 이 접근 방식은 효율적인 잠재 예측(V-JEPA)을 통해 비디오 사전 학습을 확장하는 것이 픽셀 수준 생성의 계산 비용을 피하면서도 나이브한 잠재 모델의 붕괴 문제를 피할 수 있는 유망한 경로임을 입증합니다.

저자들은 자신들의 방법이 특히 명시적인 인지 주석에 대한 의존도를 최소화하는 시나리오에서 엔드 투 엔드 주행의 새로운 기준을 세웠으며, 시뮬레이터 지식의 통합이 다중 모드 주행 행동을 학습하는 견고한 경로을 제공한다고 강조합니다.