OmniV2X: A Generative Foundation Planner for Efficient End-to-End Cooperative Driving

기술 요약: OmniV2X

문제 정의

엔드 투 엔드(E2E) 자율주행 시스템은 근본적으로 자기 중심적(ego-centric) 인지에 의해 제약을 받으며, 특히 물리적 폐쇄로 인해 가시성이 제한되는 복잡한 도시 환경에서 그러합니다. 차량-사물 간 통신(V2X) 협력 주행은 인프라 공유를 통해 인지 범위를 확장함으로써 해결책을 제시하지만, 기존의 E2E 협력 방식은 세 가지 체계적인 병목 현상에 직면해 있습니다:

1. 높은 통신 오버헤드: 조밀한 Bird's-Eye View(BEV) 특징이나 모델 특정적인 중간 표현을 전송하는 것은 상당한 대역폭을 요구하며, 서로 다른 커넥티드 및 자동화 차량(CAV) 간의 표준화를 저해합니다.
2. 데이터 부족: 인프라 동기화 비용이 높기 때문에 실제 협력 데이터셋은 제한적이며, 이로 인해 처음부터 강력한 멀티 에이전트 모델을 학습시키기가 어렵습니다.
3. 계산 및 정렬의 경직성: 현재의 방식은 엄격한 시공간 특징 융합에 의존하여, 철저한 3D 바운딩 박스 감독(supervision)과 정밀한 캘리브레이션을 요구합니다. 이는 에고(ego)와 인프라 파이프라인 간의 강한 결합을 초래하여 계산 비용을 높이고 확장성을 떨어뜨립니다.

방법론

OmniV2X는 경직된 공간 특징 융합에서 **조건부 생성 시퀀스 모델링(conditional generative sequence modeling)**으로의 패러다임 전환을 제안합니다. 이 프레임워크는 다중 에이전트의 특징을 공유 공간 그리드로 병합하는 대신, 이질적인 입력들을 생성형 플래너를 위한 독립적인 컨텍스트 시퀀스로 취급합니다.

아키텍처

시스템은 세 가지 주요 구성 요소로 이루어집니다:

1. 독립적 컨텍스트 토큰화:

   • 시각적 컨텍스트(Visual Context): 고정된 DINOv3-ViT 백본을 사용하여 전방 시야의 시각적 특징을 추출합니다. 이들은 명시적인 3D 투영(BEV) 없이 통합된 은닉 공간으로 투영되며, 2D 잠재 시퀀스를 운동학적 변위(kinematic displacements)로 직접 매핑하는 법을 학습합니다.
   • 내비게이션 컨텍스트(Navigation Context): 고수준 명령(예: "좌회전")을 학습된 임베딩을 통해 인코딩하며, 모델이 사소한 속도 외삽 정책을 학습하는 것을 방지하기 위해 에고 상태(속도/조향)는 제외합니다.
   • V2X 인프라 컨텍스트(V2X Infrastructure Context): SAE-J3224를 준수하는 센서 데이터 공유 메시지(SDSM)를 처리합니다. 탐지된 객체는 13차원 상태 벡터(위치, 크기, 방향, 속도, 클래스)로 표현되며 경량 트랜스포머를 통해 인코딩됩니다.
   • 시퀀스 구축: 모든 모달리티는 독립적으로 정규화되고 학습 가능한 세그먼트 임베딩과 함께 결합되어 통합 조건 시퀀스 $C$를 형성합니다.

2. 생성 기반 파운데이션 플래너(Generative Foundation Planner):

   • 핵심 엔진은 연속적인 변위 생성을 위해 최적화된 Rectified Flow Transformer입니다.
   • 목표: 모델은 가짜 공간 상관관계와 경로 암기를 피하기 위해 절대 좌표가 아닌 단계별 위치 변위를 예측합니다.
   • 조건화 메커니즘: 컨텍스트 길이($L$)가 궤적 호라이즌($H$)보다 훨씬 긴 계산 병목 현상을 해결하기 위해, OmniV2X는 **교차 주의 집중 주입(Cross-Attention Injection)**을 사용합니다. 생성된 웨이포인트는 셀프 어텐션($O(H^2)$)을 수행하는 동시에 컨텍스트 시퀀스에 대해 교차 주의 집중($O(LH)$)을 통해 쿼리를 수행합니다. 이를 통해 표준 프리픽스 조건화의 이차 복잡도$O(L^2)$를 제거하여 엣지 하드웨어에서 실시간 추론을 가능하게 합니다.

3. 2단계 학습 파이프라인:

   • 1단계 (사전 학습): 모델은 일반적인 주행 운동학 및 기초적인 주행 사전 지식(prior)을 학습하기 위해 대규모 단일 에이전트 데이터셋(nuPlan)에서 사전 학습됩니다.
   • 2단계 (적응): 모델은 협력 데이터셋(DAIR-V2X-Seq)에서 미세 조정됩니다. 입력이 통합된 시퀀스 형태이므로, V2X 토큰을 사전 학습된 컨텍스트에 단순히 추가하기만 하면 아키텍처 변경 없이 매우 효율적인 전이 학습이 가능합니다.

주요 기여

1. 확장 가능한 V2X 프레임워크: OmniV2X는 경직된 시공간 융합을 우회하여 이질적인 입력을 독립적인 컨텍스트 시퀀스로 취급합니다. 이 설계는 공유된 특징 공간을 요구하지 않고도 SAE 표준을 준수하는 V2X 메시지를 원활하게 통합할 수 있게 합니다.
2. 데이터 효율적인 지식 전이: 도메인 안정적인 특징 공간을 활용함으로써, 모델은 단일 에이전트 주행 지식을 협력 시나리오로 전이합니다. 이를 통해 타겟 V2X 데이터셋의 10% 미만을 사용하여 처음부터 학습했을 때보다 유의미한 성능 향상을 달나 성취합니다.
3. 추론 효율성: 값비싼 조밀한 BEV 특징 인코딩을 제거합니다. 이 모델은 표준 SDSM을 사용하여 1.4 kBPS 미만의 통신 대역폭을 소비하며, 추론 시 550 MB의 GPU 메모리만 필요로 하여 엣지 디바이스에서 최대 29 FPS를 달성합니다.
4. 포괄적인 평가: 본 논문은 DAIR-V2X-Seq 벤치마크에 대한 광범한 검증, 생성 모델 유형에 대한 절제 연구(ablation studies), 그리고 위치 노이즈 및 지연에 대한 강건성 테스트와 더불어 실제 필드 테스트 결과를 제공합니다.

실험 결과

DAIR-V2X-Seq 벤치마크에서 평가된 OmniV2X는 다음과 같은 최첨단(SOTA) 성능을 보여줍니다:

• 플래닝 정확도: 평균 L2 오차 0.86m를 달성하였으며(이전 최고 모델인 UniMM-V2X의 1.49m 대비), 평균 충돌률을 **0.06%**로 감소시켰습니다.
• 통신 효율성: 통신 대역폭 요구량을 1,408 BPS로 줄였으며, 이는 특징 기반 방식(약 8.09 × 10⁵ BPS 전송)에 비해 574배 이상 감소한 수치입니다.
• 자원 효율성: 추론에 550 MB의 GPU 메모리를 사용하며, 이는 UniMM-V2X(6,483 MB)가 요구하는 메모리의 8.5% 미만입니다.
• 데이터 효율성: V2X 데이터셋의 단 **1%**만으로 미세 조정을 수행했을 때, 사전 학습된 모델은 0.89m의 L2 오차를 기록하여 100%의 데이터로 처음부터 학습한 모델(1.56m)보다 우수한 성능을 보였습니다.
• 강건성: 시스템은 위치 노이즈(최대 1.0m/0.1rad) 및 V2X 지연(500ms) 하에서도 높은 강건성을 유지하며, 실제 필드 테스트에서 폐쇄(occlusion) 이벤트도 성공적으로 처리했습니다.

의의 및 주장

저자들은 OmniV2X가 경직된 공간 정렬으로부터 멀티 에이전트 인지를 분리함으로써 엔드 투 엔드 협력 주행의 새로운 패러다임을 구축한다고 주장합니다. 그 의의는 다음과 같습니다:

• 협력 주행의 "데이터 부족" 병목 현상을 풍부한 단일 에이전트 데이터를 효과적으로 활용함으로써 극복합니다.
• 통신 대역폭과 계산 메모리 풋프린트를 획기적으로 줄여 실용적이고 실시간적인 배포를 가능하게 합니다.
• SAE 통신 표준을 준-수하는 확장 가능하고 표준화된 프레임워크를 제공하여, 서로 다른 차량 및 인프라 모델 간의 상호 운용성을 촉진합니다.

본 논문은 현재의 성능이 모방 학습(imitation learning)의 병목 현상(인간 운전자 데이터에 의존)에 의해 제한적일 수 있으나, 제안된 생성 기반 파운데이션 플래너가 단일 에이전트와 협력 주행 사이의 간극을 성공적으로 메워 안전이 중요한 실시간 V2X 자율주행을 향한 실행 가능한 경로를 제시한다고 결론짓습니다.