VERDI: VLM-Embedded Reasoning for Autonomous Driving
이 논문은 거대한 비전 - 언어 모델 (VLM) 의 추론 능력을 실시간 추론 비용 없이 자율주행 시스템에 내재화하기 위해, VLM 의 텍스트 기반 추론 특징과 자율주행 모듈의 중간 출력을 정렬하는 'VERDI'라는 훈련 프레임워크를 제안하고, 이를 통해 기존 방법보다 우수한 주행 성능과 빠른 추론 속도를 달성했음을 보여줍니다.
원저자:Bowen Feng, Zhiting Mei, Julian Ost, Filippo Ghilotti, Baiang Li, Roger Girgis, Anirudha Majumdar, Felix Heide
이 논문은 VERDI라는 새로운 기술을 소개합니다. VERDI는 자율주행차가 단순히 길을 따라가는 '로봇'이 아니라, 인간처럼 **상황을 이해하고 논리적으로 판단하는 '운전자'**가 되도록 돕는 방법입니다.
이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.
1. 문제: 왜 지금의 자율주행차는 '머리'가 없을까?
지금까지의 자율주행 기술은 **'경험 많은 운전사'**를 모방하는 방식이었습니다.
비유: 마치 무작정 따라 하는 학생과 같습니다. 선생님이 (데이터) "이렇게 핸들을 돌려"라고 하면 그대로 따라 합니다.
한계: 하지만 예상치 못한 상황 (예: 갑자기 튀어나온 개, 비정상적으로 운전하는 차) 이 생기면, "왜?"라는 질문을 할 수 없어 당황하거나 사고를 냅니다.
기존의 시도 (VLM): 최근에는 거대한 인공지능 (VLM) 을 차에 직접 태워 "이건 뭐야? 어떻게 해야 해?"라고 물어보게 했습니다. 하지만 이 거대 AI 는 머리가 너무 커서 (메모리 160GB 이상 필요) 차에 실을 수 없고, 생각하는 속도가 너무 느려 (초당 8 단어) 실제 도로에서는 위험합니다.
2. 해결책: VERDI의 '지식 전수' 방식
저자들은 **"거대한 AI 를 차에 싣지 말고, 그 AI 가 가진 '생각하는 법'만 차에 심자"**라고 제안합니다. 이를 VERDI라고 부릅니다.
핵심 비유: '명문대 교수 (거대 AI)'와 '신입 사원 (자율주행차)'
교수 (거대 AI): 차를 직접 운전하지는 않지만, 수만 번의 시뮬레이션을 통해 "왜 이 차가 멈추는지", "왜 저기서 우회전해야 하는지"에 대한 완벽한 논리와 상식을 가지고 있습니다.
신입 사원 (자율주행차): 실제 운전을 담당하지만, 아직 경험이 부족합니다.
VERDI의 역할: 교수는 직접 운전대에 앉지 않습니다. 대신 훈련 시간에 신입 사원에게 "이런 상황에서는 이렇게 생각해야 해"라고 **논리 과정 (Reasoning)**을 가르칩니다.
결과: 훈련이 끝나면 교수는 사라지고, 신입 사원만 남습니다. 하지만 신입 사원은 이제 교수의 '생각하는 법'을 완전히 체득했기 때문에, 교수 없이도 인간처럼 똑똑하게 운전할 수 있습니다.
3. VERDI가 어떻게 작동하나요? (3 단계 학습)
VERDI는 운전의 3 가지 핵심 단계를 거대 AI 와 연결하여 학습시킵니다.
지각 (Perception) - "눈으로 보는 것"
상황: 차 앞의 카메라로 주변을 봅니다.
교수의 조언: "저기 흰색 트럭이 있고, 왼쪽에 파란색 차단기가 있어. 그리고 사람이 건너가고 있구나."
학습: 자율주행차가 이 설명을 들으며, 단순히 '물체'를 감지하는 것을 넘어 **'상황의 의미'**를 이해하도록 훈련합니다.
예측 (Prediction) - "앞으로 일어날 일"
상황: 다른 차들이 어떻게 움직일지 예측합니다.
교수의 조언: "흰색 트럭은 앞으로 갈 거야. 하지만 그 옆의 오픈 트럭은 멈춰 있을 거야. 사람이 길을 건너고 있으니 조심해야 해."
학습: 자율주행차가 "아, 저 차는 멈추겠구나"라고 논리적으로 추론하는 능력을 배웁니다.
계획 (Planning) - "내가 할 일"
상황: 최종적으로 핸들을 어떻게 돌릴지 결정합니다.
교수의 조언: "사람이 건너가니까 천천히 가다가, 왼쪽으로 살짝 꺾어서 지나가자."
학습: 자율주행차가 단순히 경로만 그리는 게 아니라, 왜 그렇게 움직여야 하는지 이유를 내포한 상태로 경로를 계획합니다.
4. 왜 이것이 중요한가요? (장점)
⚡ 빠른 속도: 거대한 AI 를 실시간으로 실행할 필요가 없습니다. 훈련된 '신입 사원'만 운전하므로 매우 빠릅니다. (기존 방법보다 10 배 이상 빠름)
🛡️ 안전성: 단순히 데이터를 외운 것이 아니라 **상식 (Common Sense)**을 배웠기 때문에, 훈련 데이터에 없던 낯선 상황 (예: 갑자기 튀어나온 동물, 비정상적인 운전) 에서도 사고를 피할 확률이 10% 이상 높아집니다.
🧠 해석 가능성: "왜 멈췄어?"라고 물으면, "사람이 길을 건널 것 같아서"라고 이유를 설명할 수 있습니다. (기존 모델은 이유를 모르고 멈췄음)
5. 결론: VERDI의 미래
이 논문은 **"거창한 AI 를 차에 싣는 것"**이 아니라, **"AI 의 지혜를 차의 뇌에 주입하는 것"**이 자율주행의 핵심이라고 말합니다.
마치 명문대 교수에게 1 년간 사사 (멘토링) 를 받은 후, 교수 없이도 독립적으로 명석한 판단을 내리는 젊은 변호사가 된 것과 같습니다. VERDI는 자율주행차가 이제부터 단순한 기계가 아니라, **상황을 이해하고 논리적으로 운전하는 진정한 '운전자'**가 될 수 있음을 증명했습니다.
1. 연구 배경 및 문제 정의 (Problem)
자율 주행 (AD) 시스템은 실제 환경의 복잡성과 부분적 관측 가능성 (partial observability) 하에서 의사결정을 내리는 데 어려움을 겪습니다. 반면, 인간 운전자는 제한된 정보만으로도 상식적 추론 (commonsense reasoning) 을 통해 최적의 결정을 내립니다.
기존의 연구들은 Vision-Language Models(VLM) 을 추론 (inference) 시점에 사용하여 인간과 유사한 행동을 모방하려 시도했습니다. 그러나 이러한 접근 방식에는 다음과 같은 치명적인 한계가 존재합니다:
실시간성 부재: 대규모 VLM(예: 70B 파라미터) 을 추론 시점에 실행하면 메모리 사용량이 160GB 를 초과하고, 처리 속도가 매우 느려 (초당 8 토큰 미만) 안전이 중요한 자율 주행 환경에 배포하기 어렵습니다.
안전 분해의 어려움: VLM 이 직접 행동을 출력하는 모놀리식 (monolithic) 구조는 시스템의 안전성을 분해하여 검증하기 어렵고, VLM 의 환각 (hallucination) 현상이 추론 시 발생할 위험이 큽니다.
추론 과정의 부재: 기존 End-to-End(E2E) 모델은 인간 운전자의 데이터만 학습하여 상식적 추론 능력을 갖추지 못해, 훈련 데이터에 없는 새로운 시나리오에서 성능이 저하됩니다.
2. 제안 방법론: VERDI (Methodology)
저자들은 VERDI(VLM-Embedded Reasoning for autonomous DrIving) 를 제안합니다. 이는 추론 시에 VLM 을 실행하는 대신, 학습 시점에 VLM 의 추론 과정과 상식적 지식을 경량화된 E2E 자율 주행 스택에 증류 (distill) 하는 프레임워크입니다.
핵심 아키텍처 및 과정:
이중 파이프라인 구조 (학습 시):
E2E 주행 모델: 기존 모듈형 차분 가능 (differentiable) E2E 모델 (VAD 기반) 을 사용하여 지각 (Perception), 예측 (Prediction), 계획 (Planning) 단계를 수행합니다.
잠재 추론 파이프라인: 주어진 궤적과 센서 데이터를 VLM 에 입력하여, Chain-of-Thought(CoT) 프롬프트를 통해 지각, 예측, 계획에 대한 텍스트 설명을 생성합니다.
잠재 공간 정렬 (Latent Space Alignment):
VLM 이 생성한 텍스트 설명을 텍스트 인코더를 통해 임베딩 벡터 (fM) 로 변환합니다.
E2E 모델의 각 하위 모듈 (지각, 예측, 계획) 의 중간 출력 특징 (Fi) 을 Progressive Feature Projector (PFP) 를 통해 학습 가능한 잠재 공간으로 투영하여 E2E 특징 벡터 (fP) 를 생성합니다.
정렬 손실 (Alignment Loss): VLM 의 텍스트 특징 (fM) 과 E2E 모델의 특징 (fP) 간의 코사인 유사도를 최대화하도록 학습합니다. 이를 통해 E2E 모델이 VLM 의 추론 논리를 내부적으로 학습하게 됩니다.
추론 시 (Inference):
학습이 완료된 후, VLM 은 더 이상 필요하지 않습니다. E2E 모델만으로도 VLM 의 추론 능력을 내재화한 상태로 실시간으로 고속 추론이 가능합니다.
3. 주요 기여 (Key Contributions)
잠재 계획 (Latent Planning) 을 갖춘 모듈형 차분 가능 E2E 모델 개발: 기존 E2E 모델에 상식적 추론 능력을 통합한 새로운 아키텍처를 제시했습니다.
잠재 공간에서의 태스크 - 언어 정렬 방법론: 주행 하위 태스크 (지각, 예측, 계획) 와 자연어 설명을 잠재 공간에서 정렬하여 VLM 의 추론 과정을 E2E 서브모듈에 효과적으로 증류하는 방법을 제안했습니다.
광범위한 평가 및 검증: 오픈루프 (nuScenes) 와 클로즈드루프 (HugSim 시뮬레이터) 환경에서 기존 방법론 대비 뛰어난 성능을 입증했습니다.
4. 실험 결과 (Results)
A. 오픈루프 평가 (nuScenes 데이터셋):
궤적 정확도: 기존 E2E 방법론 (VAD-Base) 대비 ℓ2 거리에서 최대 11% 개선 (평균 0.65 vs 0.72) 을 기록했습니다.
추론 속도: VLM 을 추론 시에 사용하는 방법들 (DriveVLM, OmniDrive 등) 은 0.4~2.4 FPS 의 느린 속도를 보인 반면, VERDI 는 4.5 FPS로 실시간성을 유지하며 가장 빠른 속도와 높은 정확도의 균형을 이루었습니다.
B. 클로즈드루프 평가 (HugSim 시뮬레이터):
전체 주행 점수 (HDScore): 모든 베이스라인 방법 중 최고의 점수를 기록했습니다.
안전성: 직접적인 베이스라인 (VAD-Base) 대비 비충돌률 (Non-Collision Rate) 이 10% 향상되었습니다.
대규모 모델 비교: Alpamayo(약 200 배 큰 모델, 10 배 느린 속도) 와 비교했을 때, VERDI 는 약 80% 높은 전체 주행 성능을 보이면서 훨씬 효율적인 연산을 수행했습니다.
C. 정성적 분석 및 애블레이션:
지각 및 예측 향상: VERDI 는 보행자나 차량을 놓치는 오류를 줄이고, 다른 차량의 미래 궤적을 더 정확하게 예측하여 충돌을 방지했습니다.
모듈별 정렬의 중요성: 지각, 예측, 계획 모듈 모두를 VLM 과 정렬했을 때 가장 좋은 성능을 보였으며, 특히 계획 (Planning) 모듈 정렬이 안전성 향상에 큰 기여를 했습니다.
VLM 품질 영향: 더 큰 VLM(Qwen-72B) 을 사용하여 추론을 생성할수록 증류된 모델의 성능이 향상됨을 확인했습니다.
5. 의의 및 결론 (Significance)
VERDI 는 대규모 VLM 의 강력한 추론 능력을 실시간 자율 주행 시스템에 통합하는 새로운 패러다임을 제시합니다.
실용성: 추론 시 VLM 을 실행하지 않아 하드웨어 제약 없이 실시간 배포가 가능합니다.
안전성: VLM 의 환각 문제를 학습 시에만 제한하고, E2E 모델이 안전 분해 가능한 모듈 구조를 유지하도록 하여 안전성을 보장합니다.
일반화: 훈련 데이터에 없는 엣지 케이스 (edge cases) 에서도 VLM 의 상식적 추론을 기반으로 한 더 안전하고 인간적인 주행 행동을 보입니다.
결론적으로, VERDI 는 "학습 시에는 VLM 의 지혜를 배우고, 추론 시에는 경량화된 모델로 빠르게 실행한다"는 접근을 통해 자율 주행의 안전성과 효율성 문제를 동시에 해결하는 획기적인 방법론입니다.