HiST-VLA: A Hierarchical Spatio-Temporal Vision-Language-Action Model for End-to-End Autonomous Driving

1. 문제 정의 (Problem Definition)

기존의 자율주행 시스템은 주로 지각 (Perception), 예측 (Prediction), 계획 (Planning), 제어 (Control) 로 이어지는 캐스케이드 파이프라인을 사용하지만, 모듈 간 경계에서의 오류와 복잡한 사회적 상호작용에서의 한계를 보입니다. 최근 Vision-Language Models (VLM) 을 도입하여 의미론적 이해와 일반화 능력을 향상시키려는 시도가 있었으나, 다음과 같은 근본적인 한계가 존재합니다.

• 정밀한 수치 추론 및 3D 공간 인식 부족: VLM 기반 모델은 정밀한 수치 계산이나 3D 기하학적 공간 인식이 약해, 실제 주행 궤적 생성에 필요한 정밀도가 부족합니다.
• 약한 시간적 일관성 (Temporal Coherence): 맥락에 민감하고 과거 상태에 대한 이해가 부족하여 급격한 명령 변경이나 불연속적인 궤적을 생성할 수 있습니다.
• 높은 계산 비용: 모든 토큰을 처리하는 방식은 실시간 자율주행에 필요한 지연 시간 (Latency) 을 증가시킵니다.
• 이중 시스템의 비효율성: 고수준 언어 출력과 저수준 차량 제어 간의 느슨한 결합 (Loose coupling) 은 자연어 명령에 대한 신뢰할 수 없는 반응을 초래합니다.

2. 제안 방법론 (Methodology: HiST-VLA)

저자들은 이러한 문제를 해결하기 위해 HiST-VLA(Hierarchical Spatio-Temporal Vision-Language-Action) 모델을 제안했습니다. 이는 지각, 의미 추론, 궤적 계획을 통합된 단일 아키텍처에서 수행하는 End-to-End (E2E) 프레임워크입니다.

A. 핵심 아키텍처 구성 요소

1. 시공간 VLA 백본 (Spatio-Temporal VLA Backbone):

   • 3D 공간 인식 강화: 다중 뷰 카메라 입력을 ViT(Vision Transformer) 로 인코딩한 후, 단안 깊이 추정 (Monocular Depth Estimation) 을 통해 3D 깊이 정보를 추가하고, 이를 3D 좌표계로 역투영 (Back-projection) 하여 공간적 토큰을 생성합니다.
   • 동적 토큰 희소화 (Dynamic Token Sparsification): 모든 이미지 토큰을 처리하는 대신, 자기 주의 (Self-attention) 점수를 기반으로 중요한 토큰만 유지하고 중복된 토큰을 융합 (Fusion) 하는 방식을 도입하여 계산 효율성을 극대화합니다.
   • 시간적 상태 모델링: 현재 프레임뿐만 아니라 과거 $k$ 프레임의 내비게이션 정보 (이동 방향) 와 자차량 상태 (속도, 가속도) 를 프롬프트에 포함시켜 시간적 일관성을 확보합니다.
   • 세분화된 메타 액션 및 CoT 추론: 단순한 방향 (좌/우/직진) 이 아닌, 곡률과 횡방향 변위를 고려한 세분화된 메타 액션 (예: "약간 좌회전", "급제동" 등) 을 생성합니다. 또한, Chain-of-Thought (CoT) 추론을 통해 의도 해석, 명령 생성, 궤적 생성, 신뢰도 점수 추론 단계를 거칩니다.

2. 계층적 계획기 (Hierarchical Planner):

   • VLA 가 생성한 거친 (Coarse) 궤적 $\tau_0$를 기반으로 2 단계 정제 과정을 수행합니다.
   • 1 단계 (VAE 기반 정제): 궤적의 신뢰도 점수 (Confidence Score) 를 기반으로 잠재 공간 (Latent Space) 에서 적응형 노이즈를 주입하여 불확실성이 높은 영역을 집중적으로 정제합니다.
   • 2 단계 (스코어 기반 최적화): 생성된 여러 후보 궤적에 대해 안전성, 효율성, 편안함을 평가하는 'Scorer' 모듈을 통해 최적의 궤적 $\tau^*$를 선택하고, 기하학적 제약 조건을 만족하도록 미세 조정합니다.

B. 학습 전략

• 3 단계 학습: (1) 동적 토큰 스패서 (Sparser) 프리트레이닝, (2) LLM 및 텍스트 인코더와 결합하여 세분화된 명령과 거친 궤적 생성 학습, (3) 계층적 계획기 (Command Encoder 및 Transformer Head) 학습을 통해 최종 궤적 정밀도를 높입니다.

3. 주요 기여 (Key Contributions)

1. HiST-VLA 아키텍처: 3D 기하학적 추론과 시간적 일관성을 통합하고, 다단계 궤적 정제를 통해 외부 E2E 모듈 없이도 신뢰할 수 있는 주행 궤적을 생성하는 새로운 프레임워크를 제안했습니다.
2. 효율적인 시공간 표현: 3D 인코딩과 시간적 상태 프롬프팅에 동적 토큰 희소화를 적용하여, 의미적으로 중요한 특징은 유지하면서 계산 중복성을 제거하고 효율성을 높였습니다.
3. 의미 정렬 계층적 계획: 자연어 명령을 미세한 운동 제어와 정렬시키는 다단계 파이프라인을 통해, 신뢰도 인식 정규화 (Confidence-aware regularization) 와 다기준 스코어링을 통해 안전하고 편안한 궤적을 생성합니다.

4. 실험 결과 (Results)

NAVSIM v2 벤치마크에서 기존 최첨단 (SOTA) 방법론들과 비교 평가되었습니다.

• Navtest (오픈 루프) 벤치마크:
  • HiST-VLA 는 EPDMS 88.6점을 기록하여 기존 SOTA (DriveSuprim 87.1, ZTRS 86.2 등) 를 능가했습니다.
  • 이는 인간 전문가의 성능 (90.3) 에 근접하는 수치로, 안전성 (No At-Fault Collision 99.6%), 주행 구역 준수 (99.1%) 등 핵심 지표에서 탁월한 성능을 보였습니다.
• Navhard (의사 폐루프) 벤치마크:
  • 외부 교란이 있는 복잡한 환경에서도 EPDMS 50.9점을 기록하여 DiffusionDrive (26.0) 나 Transfuser (23.1) 보다 월등히 높은 견고성 (Robustness) 을 입증했습니다.
• 효율성 분석:
  • 동적 토큰 스패서를 적용한 결과, 계산 부하 (GFLOPs) 가 23.7% 감소 (9,105 → 7,630) 함과 동시에 성능 (EPDMS) 이 87.9 에서 88.6 으로 향상되었습니다.
• Ablation Study:
  • 공간 인코딩, 시간적 프롬프팅, 세분화된 메타 액션, 계층적 계획기 등 모든 구성 요소가 성능 향상에 시너지 효과를 발휘함을 확인했습니다.

5. 의의 및 결론 (Significance)

HiST-VLA 는 자율주행 분야에서 언어 기반 모델의 한계를 극복하고, 신뢰할 수 있는 End-to-End 주행 시스템을 구축하는 중요한 진전을 보여줍니다.

• 안전성과 해석 가능성의 균형: 단순한 블랙박스 추론을 넘어, CoT 추론과 신뢰도 점수를 통해 의사결정 과정을 해석 가능하게 만들었습니다.
• 실용성: 외부의 복잡한 E2E 모듈이나 고비용의 추가 주석 데이터 없이도, 통합된 아키텍처만으로 인간 수준의 주행 성능을 달성했습니다.
• 미래 방향: 이 연구는 VLA 모델이 복잡한 3D 환경에서 정밀한 기하학적 제어와 시간적 일관성을 동시에 만족시킬 수 있음을 증명하여, 향후 자율주행 시스템의 표준 아키텍처로 자리 잡을 가능성을 제시합니다.