기술 요약: Adaptive-WAM

문제 정의

대규모 비디오 확산 모델(Video Diffusion Models)은 자율주행 계획을 위한 풍부한 시공간적 사전 지식(spatiotemporal priors)을 제공하지만, 기존의 월드-액션 모델(World-Action Models, WAMs)은 디플로이먼트 시 저차원의 에고 궤적(ego trajectory)만을 필요로 하는 경우에도 반복적인 미래 비디오 생성 및 VAE 디코딩에 따른 전체 계산 비용을 발생시키는 경우가 많습니다. 현재의 접근 방식들은 일반적으로 결정된 백본 경로 또는 반복적인 디노이징 루프를 통해 예측과 행동을 결합하며, 이는 불필요한 경직성을 초래합니다. 핵심 질문은 다음과 같습니다: 신뢰할 수 있는 주행 결정을 내리기 위해 비디오 확산 모델을 얼마나 실행해야 하는가?

저자들은 흔히 혼동되는 두 가지 축을 식별했습니다:

1. 비디오 확산 타임스텝(Video Diffusion Timestep): 잠재 노이즈 수준을 제어합니다.
2. DiT 깊이(DiT Depth): 평가할 트랜스포머 블록의 수를 제어합니다.

NAVSIM에 대한 예비 분석 결과, 계획 성능은 비디오 노이즈 수준(타임스텝)에는 크게 영향을 받지 않지만, 깊이에 따라 상당한 변동을 보였습니다. 또한, 중간 레이어로부터 강력한 궤적을 디코딩할 수 있으며, 서로 다른 깊이가 부분적으로 중첩되는 장면 집합을 해결한다는 점은 고정된 깊이의 실행이 최적이 아님을 시사합니다.

방법론: Adaptive-WAM

본 논문은 Wan2.2-TI2V-5B 백본을 기반으로 구축된 품질 인식형 다중 출구 플래너(quality-aware, multi-exit planner)인 Adaptive-WAM을 제안합니다. 이 아키텍처는 추론 과정에서 비디오 생성 프로세스를 계획 결정 프로세스로부터 분리합니다.

아키텍처 및 추론 흐름

1. 백본(Backbone): 모델은 Wan2.2 비디오 DiT를 활용합니다. 추론 시, 현재 전방 카메라 이미지와 텍스트 설명(맵 메타데이터, 에고 속도, 기동 이력에서 유도됨)을 고정된 비디오 노이즈 인덱스($s^* = 17$)로 처리합니다. 디플로이먼트 중에 미래의 그라운드 트루스 비디오를 소비하거나 전체 반복 디노이징 루프를 수행하지 않습니다.
2. 다중 출구 궤적 헤드(Multi-Exit Trajectory Heads): 6개의 중간 DiT 블록(레이어 5, 9, 15, 18, 22, 30)이 출구 지점 역할을 합니다. 각 출구 $\ell$에서, 프로젝션 레이어는 은닉 표현 $h_\ell$을 궤적 조건화 토큰으로 변환하며, 이는 독립적인 ReCogDrive 스타일의 5단계 궤적 확산 헤드로 입력됩니다. 각 헤드는 단일 후보 궤적을 생성합니다.
3. 품질 가이드 적응형 라우팅(Quality-Guided Adaptive Routing):
   • 경량화된 궤적 품질 스코어러(fine-tuned DINOv2-Small 인코더 및 MLP 기반)가 디코딩된 각 궤적을 평가합니다.
   • 스코어러는 계획 지표(NC, DAC, DDC, TTC, EP, Comfort)의 구성 요소들을 예측하며, 이는 계획 보상이 종종 포화되거나 동등한 값을 가짐을 고려하여 엄격한 전체 순위를 매기지 않습니다.
   • 의사결정 로직: 시스템은 디코딩된 궤적 풀을 유지합니다. 시도된 출구들 중 가장 높은 예측 품질 점수($\hat{q}$)가 임계값 $\eta$를 초과하면, 추론을 종료하고 축적된 최적의 궤적을 반환합니다. 그렇지 않으면 시스템은 캐시된 은닉 상태로부터 다음 단계의 더 깊은 출구로 실행을 계속합니다.
   • 어떤 출구도 임계값을 충족하지 못하는 경우, 시스템은 최종 출구(레이어 30)에서 가장 높은 점수를 받은 궤적을 기본값으로 반환합니다.

학습 전략

• 비디오 도메인 적응: Wan 백본은 LoRA(Low-Rank Adaptation)를 사용하여 적응시키며, 궤적 프로젝션 및 헤드는 전체 최적화됩니다. 목적 함수는 네이티브 비디오 확산 손실과 모든 출구에 대한 궤적 확산 손실을 결합합니다.
• 스코어러 학습: 스코어러는 평가자가 제공한 구성 요소 타겟에 대해 소프트 라벨 바이너리 크로스 엔트로피를 사용하여 생성된 궤적에 대해 파인튜닝됩니다. 이는 액터(actor)로부터 그래디언트를 격리하여 궤적 분포가 변경되는 것을 방지합니다.
• 플래너 전용 RL: 모방 학습 후, 백본과 스코어러는 동결됩니다. 궤적 헤드는 전체 5단계 디노이징 체인을 단일 액션으로 취급하는 DiffGRPO(플래너 전용 강화 학습 방법)를 사용하여 정교화됩니다.

주요 기여

1. 체계적 진단: 본 논문은 주행 계획 성능이 비디오 노이즈 수준에는 견고하지만, DiT 깊이에는 매우 민감하다는 것을 입증합니다. 이는 중간 특징들이 강력한 계획 기질(planning substrate)을 제공하며, 서로 다른 깊이가 독특하고 중복되지 않는 장면 세트를 해결함을 보여줍니다.
2. 품질 인식 다중 출구 아키텍처: Adaptive-WAM은 현재 디코딩된 계획의 품질에 따라 백본 깊이를 동적으로 할당하는 메커니즘을 도입하여, 전체 비디오 생성이나 고정된 깊이 실행의 필요성을 피합니다.
3. 효율성-성능 트레이드오프: 이 방법은 비교된 월드 모델 플래너들 중 최첨단(SOTA) 계획 성능을 달면서도, "쉬운" 장면에 대해 불필요한 계산을 건너뜀으로써 추론 레이턴시를 크게 줄입니다.

실험 결과

NAVSIM v1 및 v2

• NAVSIM v1: 적응형 단일 궤적 플래너는 90.8 PDMS를 달성했습니다. 64개의 프로포절을 사용하는 고정 출구 변형(블록 22 사용)은 92.6 PDMS에 도달하여 DriveVA 베이스라인을 능가했습니다.
• NAVSIM v2: Adaptive-WAM은 89.9 EPDMS를 달성하여, 비교된 전방 뷰 비디오 월드 모델 플래너 중 가장 높은 성능을 기록했습니다.
• 레이턴시: A100 GPU에서 적응형 플래너는 엔드 투 엔드 레이턴시 평균 170 ms를 기록했습니다. 이는 고정 블록-15 플래너(190 ms)보다 약 10% 빠르며, 고정 전체 깊이 플래너(320 ms)보다는 47% 빠릅니다.

제로샷 전이(Zero-Shot Transfer)

대상 도메인 파인튜닝 없이 nuScenes로 전이했을 때, 평균 L2 오차 0.88 m 및 **충돌률 0.08%**를 달축했습니다. 이 성능은 DriveVA(0.84 m, 0.06%)와 경쟁할 만한 수준이지만, Adaptive-WAM은 전체 비디오 생성을 피함으로써 실질적으로 훨씬 낮은 추론 비용을 가집니다.

어블레이션 연구(Ablation Studies)

• 백본: Wan 백본의 공동 LoRA 학습이 매우 중요합니다. 백본을 동결하거나 별도로 캐싱하는 것은 성능의 극히 일부만을 회복합니다.
• 스코어러: DINOv2-Small이 품질 스코어러로서 충분합니다. Wan 백본의 특징을 스코어링에 사용하는 것은 훨씬 높은 계산 비용을 치르면서도 이득이 미미했습니다(0.03 포인트).
• 깊이: 블록 15가 일반적으로 가장 강력한 고정 출구이지만, 적응형 정책은 어려운 장면에 대해 더 깊은 레이어를 동적으로 선택함으로써 이를 능가합니다.

의의 및 주장

본 논문은 중간 비디오-DiT 특징이 강력한 계획 표현(planning representation)이며, 효과적이기 위해 전체 이미지 합성이 반드시 필요하지 않음을 주장합니다. 다중 깊이 궤적 헤드를 타이 인식 품질 컨트롤러와 결합함으로써, Adaptive-WAM은 대규모 생성형 월드 모델에서 효율적인 실시간 주행 정책으로 나아가는 실질적인 경로를 제시합니다.

저자들은 다음과 같은 점을 강조합니다:

• 미래 비디오 합성에 필요한 반복적인 분류기 없는 디노이징 루프와 VAE 디코딩을 피합니다.
• 단일 리드아웃 깊이에 얽매이지 않고 궤적 품질에 따라 계산량을 동적으로 할당합니다.
• 가장 강력한 고정 깊이 베이스라인보다 낮은 평균 레이턴시를 유지하면서 NAVSIM에서 최첨단 결과를 달성합니다.

이 연구는 자율주행 계획을 위해 "월드 모델"이 미래를 완전히 렌더링할 필요는 없으며, 신뢰할 수 있는 궤적을 디코딩할 수 있을 만큼의 잠재 특징을 계산하는 것만으로도 충분하다는 점을 시사합니다.