EvoDriveVLA: Evolving Autonomous Driving Vision-Language-Action Model via Collaborative Perception-Planning Distillation

이 논문은 자율주행 비전 - 언어 - 행동 모델의 지각 저하 및 장기 계획 불안정성 문제를 해결하기 위해, 자기 앵커 기반의 시각적 증류와 오라클 가이드 궤적 최적화를 결합한 협업 증류 프레임워크인 EvoDriveVLA 를 제안하여 오픈루프 및 클로즈드루프 평가에서 최첨단 성능을 달성함을 보여줍니다.

핵심

🚗 문제점: 왜 기존 자율주행차는 실수를 할까?

기존의 자율주행 AI 모델 (VLA) 은 마치 유명한 요리사에게 갑자기 새로운 요리를 가르치려 할 때와 같은 문제를 겪습니다.

1. 눈이 흐려짐 (시각 인식 저하): 요리사 (AI) 가 새로운 레시피 (자율주행 데이터) 를 배우기 위해 기존에 익힌 기본 기술 (이미지 인식 능력) 을 버리고 다시 시작하면, 오히려 기본적인 채소 손질이나 불 조절 같은 기본기가 망가져 버립니다.
2. 미래를 못 봄 (계획의 불안정성): 요리사가 "다음에 어떤 재료를 넣을지"를 예측할 때, 지금 손에 있는 재료만 보고 추측하다 보니, 10 분 뒤의 상황을 잘못 예측해서 요리가 망가집니다.

💡 해결책: EvoDriveVLA 의 두 가지 마법

이 연구팀은 이 문제를 해결하기 위해 **'스스로를 닮은 선생님 (Self-Anchored)'**과 '미래를 보는 신비한 선생님 (Oracle-Guided)' 두 명의 가상의 선생님을 만들어 학생 (자율주행 AI) 을 가르치는 방식을 고안했습니다.

1. "스스로를 닮은 선생님" (Self-Anchored Visual Distillation)

• 비유: 유명한 요리사가 '레시피 노트'를 지키며 새로운 요리를 배우는 상황
• 설명: 학생 AI 가 새로운 자율주행 기술을 배우기 위해 눈을 뜨게 (학습을 시작하게) 할 때, 실력이 떨어지지 않도록 **학습 전의 똑똑한 상태 (Pre-trained 모델)**를 '스스로의 선생님'으로 복사해 둡니다.
• 어떻게 작동하나요? 학생이 새로운 도로 상황을 볼 때, 이 '선생님'이 "이건 차야, 저건 보행자야"라고 미리 알려줍니다. 특히 **중요한 부분 (차선, 신호등 등)**에 집중해서 가르쳐 주므로, 학생은 새로운 것을 배우면서도 기본적인 눈 (시각 인식) 을 잃지 않습니다.

2. "미래를 보는 신비한 선생님" (Oracle-Guided Trajectory Distillation)

• 비유: 미리 끝난 요리의 '완성된 결과물'을 보고 배우는 상황
• 설명: 보통 학생은 '지금' 상황만 보고 미래를 예측합니다. 하지만 이 '신비한 선생님'은 미래의 사진과 상황까지 미리 알고 있습니다. 마치 요리를 다 한 뒤, "어? 이걸 이렇게 넣었으면 더 맛있었을 텐데"라고 되돌아보며 가르치는 것과 같습니다.
• 어떻게 작동하나요?
  1. 대략적인 계획 (Coarse): 선생님이 먼저 "이렇게 가자"라고 대략적인 길을 그립니다.
  2. 정교한 수정 (Fine): 그 길을 다시 보고 "아, 여기는 너무 급하게 돌아서 위험하네, 조금만 부드럽게 돌자"라고 다듬습니다.
  3. 다양한 시뮬레이션 (MC-Dropout): 같은 상황이라도 "혹시 비가 오면?", "차량이 갑자기 튀어 나오면?" 등 다양한 상황을 상상하며 여러 가지 길을 만들어냅니다.
  4. 최고의 길 선택: 이 중에서 가장 안전하고 완벽한 길을 골라 학생에게 "이렇게 해!"라고 가르쳐 줍니다.

🏆 결과: 왜 이 방법이 더 좋은가요?

이 두 가지 방법을 합친 EvoDriveVLA는 기존 방법들보다 훨씬 뛰어난 성과를 보였습니다.

• 오픈 루프 (Open-loop) 테스트: 시뮬레이션상에서 차가 얼마나 정확한 길을 가는지를 측정했을 때, 가장 낮은 오차율을 기록했습니다. (기존 최고 성능보다 20~40% 이상 개선)
• 클로즈드 루프 (Closed-loop) 테스트: 실제 도로처럼 차가 스스로 운전하며 상황을 대처하는 테스트에서도 가장 높은 점수를 받았습니다. 특히, 더 큰 모델 (8B) 보다 작은 모델 (3B) 로도 더 좋은 성적을 냈습니다.

🌟 한 줄 요약

"자율주행차가 새로운 기술을 배우면서도 기본기를 잃지 않게 하고, 미래의 상황을 미리 보고 완벽한 운전 경로를 가르쳐 주는 '최고의 스승' 시스템을 개발했습니다."

이 기술은 자율주행차가 더 안전하고, 더 똑똑하게, 그리고 더 인간처럼 운전할 수 있는 길을 열어주었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델은 자율 주행 분야에서 큰 잠재력을 보이고 있으나, 실제 훈련 과정에서 두 가지 주요 한계에 직면해 있습니다.

1. 시각 인퍼런스 (Perception) 능력의 저하: VLA 모델을 자율 주행에 적용할 때, 사전 학습된 비전 인코더 (Visual Encoder) 를 풀 (unfreeze) 하여 미세 조정 (fine-tuning) 하면, 모델이 특정 도메인에 과적합되거나 일반적인 시각 표현 능력을 잃게 되어 인퍼런스 성능이 저하되는 문제가 발생합니다.
2. 장기 계획 (Long-term Planning) 의 불안정성: 기존 지식 증류 (Knowledge Distillation) 방법들은 단일 궤적 (Single-trajectory) 에 의존하거나, 미리 정의된 계획 어휘 (Planning Vocabulary) 에 제한된 다중 궤적을 생성합니다. 이는 실제 도로 환경의 역동성과 맥락 의존성을 충분히 반영하지 못해 장기적인 궤적 예측에서 불안정성을 초래합니다.

기존 증류 방법들은 시각 인코더의 보존과 계획 능력의 향상 사이의 균형을 효과적으로 맞추지 못했으며, 교사 (Teacher) 모델이 학생 (Student) 모델보다 계획 능력에서 뚜렷한 우위를 점하지 못해 증류의 효과를 제한했습니다.

2. 제안 방법론: EvoDriveVLA (Methodology)

저자들은 EvoDriveVLA를 제안하며, 이는 자율 주행용 협업적 인퍼런스 - 계획 증류 (Collaborative Perception-Planning Distillation) 프레임워크입니다. 이 프레임워크는 두 가지 핵심 구성 요소를 통해 시각 표현과 궤적 예측을 동시에 향상시킵니다.

가. 자기 고정 시각 증류 (Self-Anchored Visual Distillation)

• 목적: 미세 조정 과정에서 비전 인코더의 원래 표현 능력을 보존하면서 자율 주행에 필요한 작업 관련 인퍼런스 능력을 강화합니다.
• 메커니즘:
  • 자기 고정 교사 (Self-Anchor Teacher): 미세 조정 전의 학생 모델 비전 인코더를 복사하여 '자기 고정 교사'로 만듭니다. 이 교사는 안정적인 시각 표현을 제공하여 학생 모델이 훈련 중에도 원래의 일반적 시각 능력을 잃지 않도록 '앵커 (Anchor)' 역할을 합니다.
  • 궤적 유도 토큰 레벨 앵커링 (Trajectory-Guided Token-level Anchoring): AnchorFormer 아키텍처를 도입하여, 명령어, 차량 상태, 미래 궤적 정보를 기반으로 시각 토큰에 적응적인 가중치 (Anchor Weights) 를 부여합니다. 이를 통해 중요한 시각 영역 (Key Regions) 에 더 강력한 제약 (Constraints) 을 가하여 인퍼런스 능력을 정교화합니다.

나. 오라클 유도 궤적 증류 (Oracle-Guided Trajectory Distillation)

• 목적: 학생 모델보다 우수한 계획 능력을 가진 교사 모델을 구축하여 고품질의 궤적 지식을 전달합니다.
• 메커니즘:
  • 미래 인식 오라클 교사 (Future-Aware Oracle Teacher): 기존 교사 모델과 달리, 현재 관측치뿐만 아니라 **미래의 장면 이미지와 차량 상태 (Privileged Information)**를 입력으로 받아 훈련합니다. 이를 통해 교사 모델은 학생 모델이 접근할 수 없는 미래 정보를 바탕으로 훨씬 정확한 궤적을 예측할 수 있습니다.
  • ** coarse-to-fine (거칠기에서 정밀함으로) 궤적 정제:** 오라클 교사가 예측한 초기 (Coarse) 궤적을 다시 입력으로 사용하여, 시공간적 일관성을 고려해 궤적을 점진적으로 정제 (Refine) 합니다.
  • MC-Dropout 샘플링: 정제된 궤적에 몬테카를로 드롭아웃 (Monte Carlo Dropout) 을 적용하여 다양한 확률적 변형을 생성합니다. 이는 단일 정답이 아닌 다양하고 신뢰할 수 있는 궤적 후보군을 생성하여 학생 모델에게 더 풍부한 분포를 학습시킵니다.
  • 최적 궤적 선택: 생성된 후보 궤적 중 지상 진실 (Ground Truth) 과의 오차가 가장 작은 최적 궤적을 선택하여 학생 모델의 소프트 타겟 (Soft Target) 으로 사용합니다.

3. 주요 기여 (Key Contributions)

1. EvoDriveVLA 프레임워크 제안: 자율 주행 VLA 모델을 위한 새로운 협업적 인퍼런스 - 계획 증류 프레임워크를 최초로 제안했습니다.
2. 자기 고정 시각 증류: 궤적 유도 토큰 레벨 앵커링을 통해 시각 인코더의 원천 능력을 보존하면서도 작업 특화 인퍼런스를 강화하는 방법을 고안했습니다.
3. 오라클 유도 궤적 증류: 미래 정보를 활용한 오라클 교사, coarse-to-fine 정제 전략, MC-Dropout 샘플링을 결합하여 고품질의 다양성 있는 궤적 후보를 생성하고 증류하는 방식을 제시했습니다.
4. 성능 입증: 오픈 루프 (Open-loop) 및 클로즈드 루프 (Closed-loop) 평가 모두에서 기존 최첨단 (SOTA) 방법들을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• 오픈 루프 평가 (nuScenes 벤치마크):
  • 전통적 방법, LLM 기반 방법, 기존 증류 기반 방법 등 다양한 베이스라인과 비교하여 모든 지표에서 SOTA 성능을 기록했습니다.
  • 기존 최강 모델인 OpenDriveVLA 대비 L2 오차는 21%, 충돌률은 40% 개선되었습니다 (ST-P3 설정 기준). UniAD 프로토콜에서는 L2 오차가 22%, 충돌률이 60% 개선되었습니다.
• 클로즈드 루프 평가 (NAVSIM 벤치마크):
  • 카메라 기반 방법들 중 가장 높은 PDMS (PDM-Score) 점수를 기록했습니다.
  • 특히, 3B 파라미터 규모의 모델이 증류 과정을 거쳐 8B 규모의 대형 모델 (Qwen2.5-VL 8B, InternVL3-8B) 보다 더 높은 주행 성능을 보이는 결과를 입증했습니다.
• 애블레이션 연구 (Ablation Study):
  • 오라클 교사, coarse-to-fine 정제, MC-Dropout, 시각 증류 등 모든 구성 요소가 성능 향상에 기여함을 확인했습니다.
  • 특히 MC-Dropout 샘플링을 통해 교사 모델의 예측 오차가 크게 감소하고, 궤적의 다양성과 정확도가 동시에 향상됨을 시각적으로 입증했습니다.

5. 의의 및 결론 (Significance)

EvoDriveVLA는 자율 주행 VLA 모델의 핵심 과제인 **'시각 표현의 저하'**와 **'장기 계획의 불안정성'**을 해결하기 위한 새로운 패러다임을 제시합니다.

• 기술적 의의: 단순히 더 큰 모델을 사용하는 것이 아니라, 지식 증류 기법을 정교하게 설계하여 (자기 고정 및 오라클 유도) 소규모 모델로도 대형 모델 이상의 성능을 끌어낼 수 있음을 보여줍니다.
• 실용적 의의: 오픈 루프뿐만 아니라 실제 주행 환경과 유사한 클로즈드 루프 평가에서도 우수한 성능을 발휘하여, 실제 자율 주행 시스템에 적용 가능한 강력한 기반 기술을 제공합니다.
• 미래 전망: 이 연구는 VLA 모델의 효율적인 증류와 자율 주행 시스템의 고도화를 위한 새로운 방향성을 제시하며, 향후 더 안전하고 지능적인 자율 주행 기술 발전에 기여할 것으로 기대됩니다.