DriveStack-VLA: Render-Teacher Alignment for BEV-Based DeepStack Vision-Language-Action Model

제공된 논문을 바탕으로 작성한 DriveStack-VLA에 대한 상세 기술 요약입니다.

문제 정의

기존의 시각-언어-행동(Vision-Language-Action, VLA) 주행 모델들은 대규모 사전 학습된 시각-언어 모델(VLM)의 세계 지식과 추론 능력을 활용하여 다중 뷰 이미지와 언어 명령으로부터 주행 궤적을 예측합니다. 그러나 이러한 모델들은 **주행 중심의 공간 지능(driving-oriented spatial intelligence)**이 부족하다는 문제를 겪고 있습니다. 현재의 접근 방식은 주로 관점 의존적인 투영 이미지 토큰과 언어적 사전 지식에 정책을 근거하고 있으며, 정밀한 모션 플래닝에 필요한 메트릭 기하 구조(metric geometry)와 탑다운(top-down) 장면 구조를 명시적으로 인코딩하지 못합니다.

이러한 한계는 다음 두 가지 핵심 영역에서 나타납니다:

1. 취약한 시각적 기하 구조: 정책이 강건한 기하학적 표현 대신 2D 외형 단서에 의존함에 따라, 전문가 시연 데이터의 지각적 커버리지 격차(perceptual coverage gaps)에 취약해집니다.
2. 지각적 불일치(Perceptual Misalignment): 합성 또는 래스터화된 이미지는 더 깨끗한 기하 구조와 다양한 카운터팩추얼(counterfactual) 데이터를 제공할 수 있지만, 이를 실제 이미지와 직접 혼합하면 도메인 차이가 발생합니다. 기존 방법들은 실제 도메인과 합성 도메인 모두에서 액션 디코더가 동일한 계획 관련 단서(예: 차선, 에이전트)에 주목하도록 보장하는 데 실패하는 경우가 많습니다.

방법론: DriveStack-VLA

저자들은 대규모 VLM 백본(구체적으로 Qwen3-VL-4B)을 기반으로 구축된 통합 3단계 학습 프레임워크인 DriveStack-VLA를 제안합니다. 이 프레임워크는 기하학적, 데이터셋, 궤적 샘플링 병목 현상을 해결하기 위해 멀티모달 LLM 플래너와 강화된 비주얼 스택을 결합합니다.

1. 이중 시각 모델링 구성 요소 (Dual Visual Modeling Components)
공간적 접지(spatial grounding)를 강화하기 위해 모델은 두 가지 특정 메커니즘을 사용합니다:

• BEV DeepStack Injection: 저자들은 "DeepStack 스타일"의 연결을 사용하여 BEV 표현을 LLM 디코더에 직접 주입합니다. BEV 인코더(BEVFormer 기반)가 탑다운 특징 맵을 추출하면, 이를 토큰으로 투영하여 특정 디코더 레이어에서 투영 카메라 토큰과 결합합니다. 이는 LLM에 장거리 컨텍스트를 위한 안정적인 메트릭 기하학적 사전 지식을 제공합니다.
• Render-Teacher Alignment: 래스터화된 이미지가 도입하는 도메인 변화 없이 그 이점을 활용하기 위해, 저자들은 래스터화된 이미지를 "교사(teacher)" 모달리티로 취급합니다. 이들은 두 가지 손실 함수를 통해 실제 이미지의 지각적 초점을 래스터화된 이미지와 정렬합니다:
  • Masked Camera-Token Alignment: 렌더링 가이드 소프트 마스크를 통해 특징 정렬 과정에서 배경 토큰(래스터화된 이미지에서 흔히 검은색으로 나타남)의 가중치를 낮춤으로써, 모델이 전경의 에이전트와 차선에 집중하도록 보장합니다.
  • Action-to-Vision Attention Distillation: 실제 이미지 패스에서의 액션 토큰에서 시각 토큰으로의 어텐션 분포를 래스터화된 이미지 패스로부터 증류(distill)하여, 모델이 깨끗한 합성 데이터에서와 마찬가지로 실제 이미지에서도 안전에 중요한 단서에 주목하도록 강제합니다.

2. 3단계 학습 파이프라인

• 1단계: 지도 미세 조정 (Supervised Fine-Tuning, SFT): 위에서 설명한 이중 시각 모델링 구성 요소를 사용하여 액터를 학습시킵니다. 모델은 다중 뷰 이미지, 명령, 그리고 에고 상태(ego states)로부터 액션 토큰을 생성하는 법을 배웁니다.
• 2단계: 강화 미세 조정 (Reinforcement Fine-Tuning, RFT): 샘플링된 궤적의 품질을 개선하기 위해 저자들은 GRPO(Group Relative Policy Optimization)를 적용합니다. 정책은 주행 보상(충돌 회피, 안전 마진, 주행 가능 영역 준수 평가)과 포맷 보상(액션 토큰의 엄격한 디코더 가능성 보장)으로 구성된 결합 보상을 기반으로 업데이트됩니다.
• 3단계: 스코어링 및 정교화 (Scoring and Refinement, Self-Critic): 후보 궤적의 순위를 매기고 최적의 궤적을 조건부로 정교화하기 위한 경량 크리틱(critic) 모듈을 학습시킵니다.
  • Scoring Head: LLM의 마지막 레이어 은닉 상태를 재사용하여 후보 궤적에 대한 품질 점수를 출력합니다.
  • Refinement Head: 최적의 후보 점수가 임계값 미만인 경우, 이 헤드는 궤적을 정교화하기 위한 유계된 잔차(bounded residual)를 예측합니다. 이는 추론 시 느린 반복적 '생성-비판-재작성' 루프를 피할 수 있게 합니다.

주요 기여

1. DriveStack-VLA 프레임워크: 기하학적 접지, 데이터셋 커버리지, 궤적 샘플링을 동시에 해결하는 통합 VLA 주행 프레임워크입니다.
2. BEV DeepStack Injection: 탑다운 기하학적 사전 지식을 LLM 디코더에 직접 임베딩하여 장거리 계획의 안정성을 향상시키는 새로운 방법입니다.
3. Render-Teacher Alignment: 실제 이미지와 래스터화된 이미지 간의 시각-액션 어텐션을 정렬하여, 모델이 도메인 불일치 문제 없이 합성 기하학적 증강의 이점을 얻을 수 있게 하는 기술입니다.
4. 경량 Self-Critic: 중복된 텍스트 생성이나 복잡한 추론 루프 없이도 궤적 순위 지정 및 조건부 정교화를 가능하게 하는 모듈입니다.

실험 결과

저자들은 실제 로그 기반 및 시뮬레이션 폐쇄 루프 벤치마크 모두에서 DriveStack-VLA를 평가했습니다:

• NAVSIMv1: RFT를 적용하여 91.6 PDMS(Predictive Driver Model Score)를 달성하였으며, 이는 기존의 모든 VLM 기반 방법들을 능가하며 새로운 SOTA(State-of-the-Art)를 기록했습니다.
• NAVISMv2: 휴먼 페널티 필터가 활성화된 상태에서 91.0 EPDMS(Extended Predictive Driver Model Score)를 달성하여, 두 가지 평가 설정 모두에서 새로운 SOTA를 구축했습니다.
• Bench2Drive (Closed-Loop): 79.49의 주행 점수와 **56.36%**의 성공률을 달성하여, RFT 없이도 복잡한 도시 시뮬레이션에 대한 강력한 전이성을 입증했습니다.
• Navhard: OOD(Out-of-Distribution) 시나리오가 포함된 까다로운 벤치마크에서도 견고한 성능(34.9 EPDMS)을 유지했습니다.

의의 및 주장

본 논문은 DriveStack-VLA가 대규모 언어 모델의 추론 능력과 자율 주행의 엄격한 공간적 요구 사항 사이의 간극을 성공적으로 메웠다고 주장합니다. BEV 특징을 주입하고 실제 데이터와 합성 데이터 간의 지각적 초점을 정렬함으로써, 모델은 기존 VLA 접근 방식의 "취약한 시각적 기하 구조" 한계를 극려합니다. 저자들은 적절한 기하학적 접지와 정렬 전략이 갖춰졌을 때 통합 VLA 아키텍처가 안전이 중요한 계획 작업을 효과적으로 처리할 수 있음을 입증하며, 오픈 루프(NAVSIM) 및 폐쇄 루프(Bench2Drive) 벤치마크 모두에서 정량적인 최첨단 성과를 달성했음을 강조합니다.