Less is More: Lean yet Powerful Vision-Language Model for Autonomous Driving

이 논문은 자율주행을 일반화된 언어 문제로 재해석하여 프론트뷰 카메라 입력으로부터 직접 궤적을 생성하는 단일 단계 엔드투엔드 프레임워크인 Max-V1 을 제안하며, nuScenes 데이터셋에서 기존 방법 대비 30% 이상 성능을 향상시키고 뛰어난 도메인 간 일반화 능력을 입증했습니다.

핵심

이 논문은 **'Max-V1'**이라는 새로운 자율주행 기술을 소개합니다. 복잡한 기술 용어 대신, 일상적인 비유를 들어 쉽게 설명해 드리겠습니다.

🚗 핵심 아이디어: "운전은 말하기와 같다"

기존의 자율주행 기술들은 대부분 레고 블록을 조립하듯 여러 단계를 거쳤습니다.

1. 카메라로 주변을 보고 (시각)
2. 3D 지도를 그리는 것 (BEV)
3. 그 지도를 보고 길을 찾아 (계획)
4. 마지막으로 핸들을 돌리는 것 (제어)

이 과정은 각 단계마다 오차가 쌓여, 마지막에 큰 실수가 날 수 있는 구조였습니다. 마치 번역기를 여러 대 거치면서 원문의 뉘앙스가 점점 사라지는 것과 비슷합니다.

하지만 이 논문은 **"운전은 사실 '말하기'와 똑같다"**는 새로운 관점을 제시합니다.

• 우리가 말을 할 때, 문장을 한 글자씩 이어가듯 ( autoregressive) 다음 단어를 예측하죠.
• 운전도 마찬가지입니다. "지금 앞차가 멈췄으니, 다음 0.5 초 뒤에는 차를 1 미터 뒤로 밀어야겠다"라고 연속적인 행동을 이어가는 것입니다.

저자들은 이 아이디어를 바탕으로 **VLM(시각 - 언어 모델)**을 활용했습니다. VLM 은 원래 사람처럼 그림을 보고 글을 쓰는 AI 입니다. 이 AI 에게 "운전"을 가르치기 위해, 운전 경로를 '문장'처럼 만들어서 AI 가 다음 '단어(다음 위치)'를 예측하도록 훈련시킨 것입니다.

🎨 Max-V1 의 특징: "간단할수록 강력하다"

이 모델의 가장 큰 특징은 불필요한 장비를 치우고, 인간의 눈처럼 직접 보는 것에 집중했다는 점입니다.

1. 거울을 없앴다 (BEV 제거):
   기존 기술들은 카메라 영상을 3D 지도 (BEV) 로 변환하는 거울을 사용했습니다. 하지만 이 거울은 빛을 왜곡하고 정보를 잃게 만들죠. Max-V1 은 이 거울을 부수고, **운전자가 보는 그대로 (전방 카메라 화면)**를 AI 에게 보여줍니다. 마치 운전자가 직접 창문을 통해 밖을 보며 운전하는 것과 같습니다.

2. 문장 대신 좌표 (Next Waypoint Prediction):
   AI 가 "앞으로 가라"라고 말로 대답하는 게 아니라, **"다음 0.5 초 뒤의 위치는 (x, y) 좌표입니다"**라고 숫자로 이어지는 문장을 완성합니다.

   • 기존 방식: "좌표는 10.5, 20.3 입니다"라고 글자로 쓰면 AI 가 숫자를 잘못 읽거나 문법 오류를 낼 수 있습니다.
   • Max-V1 방식: AI 가 숫자 그 자체를 직관적으로 이해하도록 훈련시켜, 수학적 오차 없이 정확한 길을 그립니다.

3. 한 번에 끝내기 (Single-Pass):
   다른 AI 들은 "생각해 보고, 다시 생각해 보고, 수정해 보고"라는 복잡한 과정을 거칩니다. 하지만 Max-V1 은 한 번에 모든 경로를 그려냅니다. 마치 유창한 운전자가 복잡한 교차로를 보자마자 자연스럽게 핸들을 꺾는 것처럼, 순간적이고 자연스러운 반응을 보여줍니다.

🌍 실력: "어디서나 잘 달린다"

이 모델은 nuScenes(미국/싱가포르 데이터)로 훈련했지만, 훈련하지 않은 **네덜란드(델프트)**나 영국(옥스퍼드) 같은 완전히 다른 환경에서도 놀라운 실력을 발휘했습니다.

• 비유: 이 모델은 특정 도로의 '암기'를 한 것이 아니라, 운전이라는 '원리'를 깨우친 것입니다.
• 그래서 네덜란드의 좁은 골목이나 영국의 우측 통행 환경에서도, 훈련 데이터와 전혀 다른 차량을 타고 있어도 안전하고 자연스럽게 운전할 수 있었습니다. 이는 마치 어떤 차를 타도 운전 실력이 뛰어난 프로 드라이버와 같습니다.

💡 결론: "Less is More (적은 것이 더 많다)"

이 논문의 제목처럼, 복잡한 장비를 추가하는 것보다 모델이 가진 '지능'을 올바르게 활용하는 것이 더 강력하다는 것을 증명했습니다.

• 기존: 레고 조립 + 거울 + 여러 단계의 수정 = 무겁고 느림.
• Max-V1: 운전자의 눈 + AI 의 직관 = 가볍고 빠르고 똑똑함.

이 기술은 자율주행이 단순히 '코드를 실행하는 기계'를 넘어, 인간처럼 상황을 이해하고 유연하게 대처하는 진정한 지능형 에이전트로 발전할 수 있는 중요한 발걸음이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

자율 주행은 주변 환경을 실시간으로 이해하고 연속적인 의사결정을 내리는 순차적 과정입니다. 기존의 엔드 - 투 - 엔드 (End-to-End) 자율 주행 접근법은 크게 두 가지 흐름으로 나뉘어 왔으나, 각각 한계를 가지고 있습니다.

• 전용 아키텍처 기반 (Specialized Models): UniAD 와 같은 기존 방법론은 BEV(Bird's-Eye View) 표현을 중시하며 대량의 주행 데이터로 학습됩니다. 그러나 BEV 생성은 카메라 이미지로부터의 역문제 (ill-posed problem) 로 정보 손실이 발생하기 쉽고, 고품질 BEV 데이터의 부족과 장미꼬리 (long-tail) 시나리오에서의 일반화 능력 부족이라는 이중적인 도전에 직면해 있습니다.
• 대규모 VLM 기반 (VLM-based Models): 기존 VLM(시각 - 언어 모델) 을 활용하는 방법들은 풍부한 세계 지식과 추론 능력을 제공하지만, 이산적인 텍스트 처리에 최적화되어 있어 연속적인 궤적 제어 (continuous control) 문제에는 적합하지 않습니다. 또한, BEV 나 복잡한 다중 단계 파이프라인을 거치며 계산 비효율성과 오차 누적 문제가 발생합니다.

이러한 배경에서, BEV 나 추가적인 센서 정보 없이 단일 카메라 입력만으로 효율적이고 강력한 엔드 - 투 - 엔드 주행 정책을 학습할 수 있는 새로운 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 자율 주행을 자연어 생성과 유사한 순차적 의사결정 과정으로 재개념화하고, 이를 Max-V1이라는 새로운 프레임워크로 구현했습니다.

핵심 아이디어: 다음 웨이포인트 예측 (Next Waypoint Prediction)

• 순차적 생성 패러다임: 주행 궤적을 자연어의 '다음 단어 예측'이 아닌 '다음 웨이포인트 예측' 문제로 정의합니다. 이는 VLM 의 생성 능력을 주행 정책 네트워크로 직접 활용하는 것을 의미합니다.
• 입력: 전방 카메라의 단일 프레임 (Ego-centric view) 만을 입력으로 사용하며, 차량 상태 (Ego-state) 나 BEV 특징 맵과 같은 추가 정보는 배제합니다.
• 출력 표현 및 손실 함수 (Loss Function) 의 혁신:
  • 기존 VLM 은 이산적인 토큰 (문자열) 로 좌표를 표현하여 교차 엔트로피 (Cross-Entropy) 손실을 사용했으나, 이는 연속적인 공간 데이터에는 부적합하여 오차 누적과 구조적 오류 (Hallucination) 를 유발합니다.
  • Max-V1 의 접근: 웨이포인트를 이산 토큰이 아닌 연속 공간의 가우시안 분포로 모델링합니다. 이를 통해 교차 엔트로피 손실 대신 **물리적 거리 기반의 $\ell_2$ 손실 (L2-loss)**을 적용합니다.
  • 수식적 근거: 예측된 웨이포인트와 실제 궤적 간의 기하학적 거리를 최소화하는 방식으로 학습함으로써, 주행의 연속성과 물리적 제약을 자연스럽게 반영합니다. 이는 텍스트 토큰화 방식보다 훨씬 정밀하고 안정적인 궤적 생성을 가능하게 합니다.

학습 전략

• 단일 통과 (Single-Pass Generation): 체인 - 오브 - 씽킹 (CoT) 이나 다중 턴 대화와 같은 복잡한 추론 과정을 거치지 않고, 한 번의 통과로 전체 궤적을 생성합니다.
• 시드링 샘플링 (Scheduled Sampling): 추론 시 발생할 수 있는 오차 누적을 방지하기 위해, 학습 과정에서 정답 (Ground Truth) 과 모델의 예측을 점진적으로 섞어주는 시드링 샘플링 기법을 적용하여 모델의 자기 회복 능력을 강화합니다.

3. 주요 기여 (Key Contributions)

1. 통계적 모델링 기반의 새로운 손실 함수: 주행 행동을 순차적 의사결정 과정으로 통계적으로 모델링하고, 이를 위해 VLM 기반 주행 연구에서 최초로 이론적으로 정립된 $\ell_2$ 손실 함수를 도입했습니다. 이는 이산적 토큰과 연속적 공간 데이터 간의 불일치를 해결합니다.
2. 간결하고 강력한 단일 VLM 아키텍처: BEV 변환이나 복잡한 모듈 없이, 전방 카메라 입력만으로 직접 주행 궤적을 예측하는 순수 VLM 기반 엔드 - 투 - 엔드 프레임워크를 제안했습니다.
3. SOTA 성능 및 뛰어난 일반화: nuScenes 데이터셋에서 기존 최첨단 (SOTA) 모델 대비 30% 이상의 성능 향상을 기록했으며, 학습 데이터와 완전히 다른 차량 및 지역 (영국, 네덜란드 등) 에서 제로샷 (Zero-shot) 테스트를 통해 뛰어난 교차 영역 및 교차 차량 적응 능력을 입증했습니다.

4. 실험 결과 (Results)

• nuScenes 성능:
  • MiMo-VL-7B-RL 변형 모델을 사용하여 평균 L2 오차 (1~3 초) 에서 0.21m를 기록하며, 기존 UniAD, VAD, Senna 등 모든 베이스라인을 압도했습니다.
  • 특히 L2max(최대 오차) 지표에서도 최상위 성능을 보였습니다.
• 제로샷 일반화 (Zero-shot Generalization):
  • View-of-Delft (네덜란드) 및 Oxford RobotCar (영국) 데이터셋에서 학습 데이터와 다른 차량, 도로 환경, 교통 규칙 하에서도 안정적인 주행 궤적을 생성했습니다.
  • 특히 Qwen2.5-VL-3B 모델은 속도 스케일링 인자 ($\lambda^*$) 가 1.0 에 가까워, 새로운 환경에서도 경로뿐만 아니라 적절한 속도 조절까지 수행함을 보였습니다.
• 다중 센서 퓨전 탐구: LiDAR 를 이미지 평면에 투영하여 융합하는 실험을 수행했으나, 단거리 정밀도는 향상되었으나 장거리 안정성은 저하되는 트레이드오프를 확인했습니다. 이는 순수 비전 기반 접근법의 효율성을 시사합니다.

5. 의의 및 결론 (Significance)

이 논문은 **"Less is More"**라는 철학을 통해, 복잡한 모듈과 추가 센서 없이도 간결한 VLM 아키텍처가 자율 주행의 핵심 과제인 궤적 계획에서 최상위 성능을 달성할 수 있음을 증명했습니다.

• 이론적 통찰: 텍스트 생성과 주행 계획 간의 유사성을 통계적으로 정립하고, 이를 위한 전용 손실 함수를 설계함으로써 VLM 을 자율 주행에 효과적으로 적용하는 새로운 길을 열었습니다.
• 실용성: BEV 생성의 불확실성과 데이터 의존성을 줄이고, 다양한 차량 플랫폼과 환경에 적용 가능한 강건한 (Robust) 자율 주행 에이전트 개발의 토대를 마련했습니다.
• 미래 전망: 현재는 모방 학습 (Imitation Learning) 에 기반하고 있으나, 이 프레임워크는 강화 학습 (Reinforcement Learning) 을 통한 더 지능적인 주행 정책 학습으로 확장 가능한 기반을 제공합니다.

결론적으로 Max-V1 은 대규모 사전 학습 지식을 활용하면서도 구조적으로 단순하고 효율적인 엔드 - 투 - 엔드 자율 주행 솔루션의 가능성을 제시하는 중요한 연구입니다.