기술 요약: OpenLongTail

문제 정의

강건한 자율주행 정책, 특히 시각-언어-행동(VLA) 모델의 확장성은 정제된 데이터셋 내의 롱테일 엣지 케이스(예: 도로 위의 동물, 작업 구역, 흔치 않은 차량 등)의 희소성에 의해 근본적으로 병목 현상을 겪고 있습니다. 현실 세계에서는 이러한 중요한 이벤트들이 지속적으로 포착되지만, 이들은 단안 블랙박스(dashcam) 영상이나 크라우드 소싱된 푸티지와 같은 이질적인 소스에 기록되어 있어 충분히 활용되지 못하고 있습니다. 이러한 "현장(in-the-wild)" 영상들은 최첨단 정책 모델 학습에 필요한 완전한 다중 뷰 커버리지와 교정된 카메라 포즈를 결-여하고 있습니다. 기존의 뷰 합성 방식은 이 맥락에서 한계가 있습니다. 즉, 교차 뷰 일관성이 부족하거나, 3D 바운딩 박스 또는 LiDAR와 같이 가용하지 않은 조건에 의존하거나, 혹은 협소한 단안 커버리지 및 동적 객체 하에서 실패하는 뉴럴 렌더링 기술(예: 3D Gaussian Splatting)에 의존합니다. 결과적으로, 이러한 "모달리티 격차(modality gap)"는 도처에 존재하는 실제 롱테일 관측치를 확장 가능한 동기화된 다중 뷰 학습 자산으로 변환하는 것을 방해합니다.

방법론

OpenLongTail은 이질적이고 포즈 정보가 없는 롱테일 주행 영상을 포즈가 부여된 동기화된 다중 뷰 자산으로 변환하도록 설계된 오픈 소스 생성 데이터 엔진으로 소개됩니다. 파이프라인은 네 가지 주요 단계로 작동합니다:

1. 미터법 스케일 에고-트래젝토리 복구 (Metric-Scale Ego-Trajectory Recovery):
   시스템은 먼저 MapAnything을 사용하여 입력된 단안 영상으로부터 미터법 스케일의 카메라 궤적을 복구합니다. 뷰 합성을 위한 안정성을 보장하기 위해, 원시 포즈는 순방향 칼만 필터(forward Kalman filter)와 역방향 RTS 스무더(backward Rauch-Tung-Striebel smoother)를 포함하는 모션 일관성 안정화 단계를 통해 정제됩니다. 이를 통해 생성 프로세스의 공간적 앵커 역할을 하는 매끄러운 미터법 스케일의 에고-트래젝토리($\tilde{T}_{1:T}$)를 산출합니다.

2. 포즈 정보 기반 외삽 합성 (Pose-Informed Extrapolative Synthesis):
   핵심 생성 엔진은 고정된 Wan 2.1-VACE 백본(DiT 기반 비디오 생성 모델)을 기반으로 구축됩니다. 이 엔진은 전방 뷰의 잠재 표현(latent), 텍스트 프롬프트, 그리고 복구된 에고-트래젝토리를 조건으로 하여 다섯 가지 비-전방 뷰(크로스-레프트, 크로스-라이트, 리어-레프트, 리어-라이트, 리어-텔레)를 합성합니다. 물리적 일관성을 보장하고 타겟 리그의 "관측 불가능한" 영역을 처리하기 위해 세 가지 특정 컨디셔닝 모듈이 통합됩니다:

   • 기하학 인코더 (Plücker Rays): 이 모듈은 퍼-토큰(per-token) 카메라 레이 기하학을 주입합니다. 모든 시공간 토큰에 대해, 에고-앵커 프레임 내에서 플뤼커 레이($r = (d, \mu)$)가 계산되어 단위 레이 방향과 그 모멘트를 인코딩합니다. 이를 통해 모든 네트워크 브랜치가 일관된 3D 레이 프레임 내에서 작동하도록 보장합니다.
   • 시계열 깊이 워핑 (Temporal Depth Warp): 타겟 뷰에 정렬된 픽셀 단위 RGB 사전 정보를 제공하기 위해 시스템은 기하학적 재투영을 수행합니다. 시야가 겹치는 측면 카메라의 경우 동일 프레임 내에서 공간적 워핑을 적용합니다. 직접적인 중첩이 없는 후방 카메라의 경우, 전방 차량 운동을 활용하여 과거의 전방 프레임으로부터 현재의 타겟 뷰를 공간적으로 커버하는 시계열 오프셋 워핑을 적용합니다.
   • 교차 뷰 메모리 뱅크 (Cross-View Memory Bank): 인접한 카메라 간의 심(seam) 레벨 일관성을 유지하기 위해 시스템은 유향 자기회귀 의존 그래프(directed autoregressive dependency graph)를 채택합니다. 타겟 뷰는 이전에 생성된 공간적 이웃들에 의해 조건화됩니다. 밀집된 메모리 경로는 픽셀 수준의 대응 관계를 고정하며, 시맨틱 메모리 경로는 공간적 불일치에 강건한 콘텐츠 수준의 요약을 제공합니다.

3. 학습 목적 함수 (Training Objective):
   모델은 플로우 매칭(flow-matching) 목적 함수를 사용하여 최적화됩니다. 학습 손실은 예측 속도와 타겟 속도 사이의 평균 제곱 오차를 최소화하며, 난이도가 높은 리어-텔레 뷰에 대해서는 특정 가중치를 적용합니다.

4. 다운스트림 정책 통합 (Downstream Policy Integration):
   합성된 다중 뷰 자산은 지도 학습 기반 미세 조정(SFT)을 통해 VLA 정책(특히 Alpamayo-R1)을 미세 조정하는 데 사용됩니다. 평가는 AlpaSim을 사용하는 폐쇄 루프(closed-loop) 환경에서 수행되며, 여기서 정책의 행동은 시뮬레이터 상태를 업데이트하고, 시뮬레이터는 새로운 에고 상태를 기반으로 다중 카메라 관측치를 다시 렌더링합니다.

주요 기여

1. OpenLongTail 프레임워크: 이질적인 롱테일 주행 영상을 포즈가 부여된 다중 뷰 데이터로 변환하여, 다양한 비정형 소스로부터 확장 가능한 VLA 정책 학습을 가능하게 하는 오픈 스케일링 생성 데이터 엔진입니다.
2. 새로운 컨디셔닝 메커니즘: 생성 과정에 플뤼커 레이(Plücker-ray) 카메라 기하학과 교차 뷰 메모리 뱅크를 통합했습니다. 이를 통해 합성된 타겟 뷰가 공간적으로 접지된 잠재 컨텍스트를 공유할 수 있게 하여, 직접적인 중첩이 최소한인 타겟 카메라 리그에서도 강력한 교차 뷰 일관성을 달성합니다.
3. 생성적 스케일링의 검증: 다운스트림 폐쇄 루프 VLA 평가(AlpaSim), 뷰 합성 지표, 에고-트래젝토리 복구 벤치마크를 통한 종합적인 검증을 수행했습니다. 결과는 생성된 자산이 롱테일 주행 정책의 강건성을 유의미하게 향상시켜, 편재하는 단안 롱테일 영상을 확장 가능한 학습 소스로 효과적으로 개방함을 보여줍니다.

결과

• 폐쇄 루프 주행 성능: 네 가지 대표적인 롱테일 카테고리(복잡한 교차로, 사이클리스트, 흔치 않은 차량, 작업 구역)에 대한 AlpaSim 평가에서, OpenLongTail-합성 데이터(NV Syn)로 미세 조정한 결과 평균 AlpaSim 점수(AS)가 0.534(베이스 모델)에서 0.748로 상승했으며, 충돌률(CR)은 0.0%를 기록했습니다. 이는 실제 멀티 뷰 데이터로 학습했을 때의 성능(AS 0.764, CR 0.0%)과 대등한 수준입니다.
• 외삽 뷰 합성 (Extrapolative View Synthesis): 미학습 시나리오 분할(unseen-scenario splits)에서 OpenLongTail은 시각적 충실도(PSNR, LPIPS)뿐만 아니라, 결정적으로 교차 뷰 기하학적 일관성(GeoKPM $\mu$) 측면에서 베이스라인(예: TrajectoryCrafter, Gen3C, Vista4D)을 능가하여 82.41의 점수를 획득했습니다(차순위 모델은 18.86). 이는 본 모델이 단순히 뷰별 시각적 품질을 높이는 것을 넘어 공유된 3D 장면 구조를 보존함을 나타냅 equilibrium.
• 에고-트래젝토리 복구: 파이프라인은 최고 성능의 베이스라인(MapAnything)과 일치하는 미터법 스케일 정확도로 궤적을 복구하는 동시에, 시간적 지터(Jerk를 4737.4에서 283.9로 감소)와 가속도 분산을 크게 줄였습니다.
• 외부 소스로의 일반화: 시스템은 외부 크라우드 소싱 블랙박스 데이터(Nexar) 및 Waymo E2E 전방 뷰 영상에 성공적으로 일반화되었으며, 교정되지 않은 입력에도 불구하고 장면 레이아웃과 주행 컨텍스트를 보존하는 동기화된 서라운드 뷰 자산을 합성했습니다.

의의 및 주장

본 논문은 OpenLongTail이 자율주행의 핵심적인 데이터 변환 병목 현상을 해결한다고 주장합니다. 구조화되지 않은 단안 관측치를 동기화된 서라운드 뷰 자산으로 변환함으로써, 롱테일 일반화를 향한 주행 정책의 지속적인 스케일링을 가능하게 합니다.

저자들은 효과적인 생성적 스케일링이 단순히 데이터의 양이 아니라 **데이터 분포의 정렬(data distribution alignment)**에 의해 결정된다는 점을 강조합니다. 외부 소스(예: Waymo E2E)를 추가하는 것이 훈련 풀을 확장하기는 하지만, 다운스트림의 이점은 "정렬 조건부(alignment-conditioned)"입니다. 예를 들어, 외부 데이터는 흔치 않은 차량 및 사이클리스트에 대해서는 성능을 개선했지만, 타겟 평가 세트에 존재하는 특정 하위 분포(예: 인간이 유도하는 교통 제어)가 부족한 복잡한 교차로에 대해서는 제한적인 이득만을 제공했습니다. 따라서 본 논문은 샘플 효율적인 스케일링을 위해서는 단순히 훈련 풀을 키우는 것이 아니라, 소스 분포를 타겟 롱테일 슬라이스에 맞추는 정렬이 필요하다고 주장합니다.

궁극적으로 OpenLong-Tail은 편재하는 단안 영상을 실질적이고 확장 가능한 훈련 소스로 구축함으로써, 실제 롱테일 이벤트의 풍부함과 안전한 자율주행에 필요한 구조화된 다중 뷰 데이터 사이의 간극을 메웁니다.