Devil is in Narrow Policy: Unleashing Exploration in Driving VLA Models

이 논문은 자율주행 VLA 모델의 탐색 능력 저하를 해결하기 위해 실행 가능한 궤적 확장 (FTE) 전략과 적응형 다양성 인식 샘플링 (ADAS) 등을 포함한 'Curious-VLA' 프레임워크를 제안하여 Navsim 벤치마크에서 최첨단 성능을 달성했다고 요약할 수 있습니다.

핵심

🍳 1. 문제: "요리사"가 너무 똑똑해서 망친 경우

지금까지 자율주행 AI(특히 VLA, 즉 Vision-Language-Action 모델) 는 **'모방 학습 (Imitation Learning)'**이라는 과정을 거칩니다.

• 상황: AI 는 인간 운전자의 기록 (정답) 을 보고 "저 사람이 어떻게 운전했지? 나도 똑같이 따라 해야지"라고 배웁니다.
• 문제점 (Narrow Policy): AI 는 정답을 너무 완벽하게 따라 하려고 하다 보니, "정답 하나만 외우는" 상태가 됩니다.
  • 마치 요리 학교에서 학생이 "선생님이 만든 스테이크 한 가지 맛만 완벽하게 따라 하는 것"입니다.
  • 만약 갑자기 고기가 없거나, 불이 약해지거나, 손님이 "매운 걸로 바꿔줘"라고 하면, 이 학생은 당황해서 아무것도 못 합니다.
  • AI 도 마찬가지입니다. 예상치 못한 상황 (예: 갑자기 튀어나온 개, 비가 쏟아짐) 이 생기면, 배운 '정답'이 없으니 혼란에 빠져서 위험한 행동을 하거나 멈춰버립니다.

이 논문은 **"AI 가 다양한 상황을 스스로 상상하고 시도해볼 수 있게 (탐험) 해야 한다"**고 말합니다.

---

🚀 2. 해결책: "Curious-VLA(호기심 많은 AI)"

연구팀은 AI 가 단순히 따라 하는 것을 넘어, 스스로 호기심을 가지고 다양한 시도를 하도록 훈련시키는 새로운 방법인 **'Curious-VLA'**를 개발했습니다. 이 과정은 크게 두 단계로 나뉩니다.

1 단계: "다양한 레시피" 만들기 (모방 학습 단계)

기존에는 인간이 운전한 '정답' 하나만 가르쳤다면, Curious-VLA 는 안전한 '대안' 레시피 여러 가지를 만들어서 가르칩니다.

• 비유: 요리 학교에서 "스테이크를 굽는 방법"을 가르칠 때, "불이 약할 때는 어떻게 할까?", "고기가 두꺼우면 어떻게 할까?" 같은 다양한 상황별 대안 레시피를 100 가지나 만들어서 학생에게 보여줍니다.
• 기술적 이름: FTE(실현 가능한 궤적 확장). AI 가 물리적으로 안전한 여러 가지 운전 경로를 스스로 만들어내게 합니다.
• 효과: AI 는 "정답은 하나뿐이 아니야. 상황에 따라 이렇게도, 저렇게도 운전할 수 있구나!"라고 깨닫게 됩니다.

2 단계: "다양한 시도를 칭찬하는" 보상 시스템 (강화 학습 단계)

AI 가 배운 내용을 실제로 적용할 때, 단순히 정답을 맞춘다고 점수를 주는 게 아니라, '다양하게 시도한 것'을 더 높게 평가합니다.

• 비유: 요리 대회에서 심사위원이 "너는 항상 똑같은 스테이크만 만들지. 오늘따라 특이하게 허브를 넣은 스테이크를 만들어보았네? 이거 더 점수 높게 줄게!"라고 말합니다.
• 기술적 이름:
  • ADAS(적응형 다양성 인식 샘플링): AI 가 매번 똑같은 결과만 내는 상황은 훈련에서 제외하고, 결과가 다양하게 나오는 상황만 골라서 집중 훈련시킵니다.
  • SDR(스팬닝 드라이빙 보상): 아주 작은 차이 (예: 차선 유지가 0.1m 더 정확함) 도 AI 가 민감하게 느끼도록 보상 점수 체계를 조정합니다.

---

🏆 3. 결과: 왜 이것이 대단한가?

이 방법을 적용한 Curious-VLA는 기존 AI 들보다 훨씬 뛰어난 성능을 보여줍니다.

• 기존 AI: "정답"을 너무 잘 외워서, 정답이 없는 상황에서는 공황 상태가 됨. (탐험 능력 0)
• Curious-VLA: 다양한 상황을 미리 경험해봤기 때문에, 예상치 못한 상황에서도 유연하게 대처함.
  • 성적: 자율주행 평가 기준 (Navsim) 에서 **최고 기록 (SoTA)**을 세웠습니다.
  • Best-of-N (최고의 선택): AI 가 여러 번 시도를 해서 그중 가장 좋은 것을 고르면, 인간 운전자의 실력과 거의 비슷하거나 더 좋은 수준에 도달했습니다.

---

💡 요약: 한 줄로 정리하면?

"자율주행 AI 에게 '정답 하나'만 외우게 하면 사고가 나지만, '안전한 다양한 방법'을 스스로 탐험하게 하면 인간보다 더 똑똑하고 안전한 운전자가 된다!"

이 연구는 AI 가 단순히 데이터를 복사하는 것을 넘어, 호기심과 창의성을 가지고 스스로 학습하도록 만든 획기적인 시도입니다. 마치 아이가 "왜?"라고 묻고 직접 실험하며 성장하는 것처럼요.

기술 요약

1. 문제 정의: Narrow Policy (좁은 정책) 의 한계

본 논문은 자율주행용 비전 - 언어 - 행동 (VLA) 모델의 성능을 저해하는 근본적인 문제인 'Narrow Policy(좁은 정책)' 를 규명했습니다.

• 배경: 현재 대부분의 자율주행 VLA 모델은 시뮬레이션 학습 (Imitation Learning, IL) 을 통해 기본 능력을 습득한 후, 강화학습 (Reinforcement Learning, RL) 을 통해 추론 능력을 고도화하는 2 단계 파이프라인을 따릅니다.
• 핵심 문제: IL 단계에서 모델이 정답 (Ground Truth) 궤적에 과도하게 의존 (Exploit) 하게 되어, 탐색 (Explore) 능력이 붕괴됩니다. 이로 인해 RL 단계로 진입할 때 정책의 엔트로피가 매우 낮아지고, 다양한 시나리오에 대한 피드백 다양성이 부족해집니다.
• 결과: RL 알고리즘 (예: GRPO) 이 다양한 샘플을 기반으로 정책 기울기를 추정해야 하는데, 초기 정책이 너무 좁아져서 보상이 모두 비슷해지고 (Advantage Collapse), 학습이 조기에 수렴하거나 성능이 저하되는 현상이 발생합니다.
• 증거: 기존 모델 (Qwen2.5-VL, ReCogDrive 등) 은 여러 번 추론을 수행해도 거의 동일한 궤적 (단일 모드) 만 생성하거나, 안전하지 않은 행동을 보이며, 궤적의 다양성과 품질이 모두 낮음을 실험적으로 확인했습니다.

2. 제안 방법: Curious-VLA

저자들은 "Narrow Policy" 문제를 해결하기 위해 Curious-VLA라는 새로운 학습 프레임워크를 제안했습니다. 이는 추가 모듈 없이 VLM 자체의 탐색 능력을 체계적으로 해방시키는 2 단계 설계 (IL 단계와 RL 단계) 를 포함합니다.

가. 모방 학습 (IL) 단계: Feasible Trajectory Expansion (FTE)

정답 궤적 하나만 학습하는 것이 아니라, 물리적으로 유효한 다양한 궤적을 학습하여 정책의 다양성을 확보합니다.

1. 탐색적 데이터 확장 (Exploratory Data Expansion):
   • 기존 데이터셋에서 복잡한 상황 (다차선, 교차로, 가려짐 등) 을 필터링하여 12k 개의 난이도 높은 구간을 선정합니다.
   • 확산 모델 (Diffusion model) 기반의 ReCogDrive 를 활용하여 동일한 의도 내 (intra-intent) 또는 다른 의도 (inter-intent) 로 다양한 물리적으로 유효한 궤적을 생성합니다.
   • 생성된 142k 개의 안전하고 다양한 샘플을 확보합니다.
2. Chain-of-Thought (CoT) 데이터 합성:
   • 자율주행 추론 과정을 4 단계 (중요 객체 인식, 주행 설명, 메타 행동 기술, 궤적 예측) 로 구조화하여 CoT 데이터를 자동 생성합니다.
3. 단계별 정규화 (Step-wise Normalization, SN):
   • 시간 축 (Horizon) 에 따른 물리적 스케일 불일치 문제 (먼 거리의 오차가 근거리 오차보다 훨씬 큼) 를 해결합니다.
   • 각 시간 단계별 궤적 데이터를 독립적으로 정규화하여 다양한 주행 행동의 분리도를 높이고, 균일한 학습 기반을 제공합니다.

나. 강화학습 (RL) 단계: Diversity-Aware Reinforcement Learning

RL 단계에서도 탐색을 유지하고 효율적인 학습을 유도하기 위해 두 가지 메커니즘을 도입합니다.

1. 적응형 다양성 인식 샘플링 (Adaptive Diversity-Aware Sampling, ADAS):
   • 확률적 정책 하에서 다양한 롤아웃 (rollout) 을 생성하는 시나리오만 선택하여 학습에 사용합니다.
   • Bernoulli 과정을 모델링하여, 모든 샘플이 동일한 결과 (성공 또는 실패) 로만 귀결되는 '단일 모드' 시나리오를 필터링합니다.
   • 이를 통해 GRPO 알고리즘이 의미 있는 이득 (Advantage) 과 기울기를 유지하도록 보장합니다.
2. 전개형 주행 보상 (Spanning Driving Reward, SDR):
   • 기존 주행 보상 (PDMS, EPDMS) 을 Focal Loss 스타일의 함수로 재설계합니다.
   • 최적 행동과 비최적 행동 간의 보상 차이를 증폭시켜, 주행 품질에 대한 민감도를 높이고 효과적인 탐색을 장려합니다.

3. 주요 기여 (Contributions)

1. Narrow Policy 문제 규명: 자율주행 VLA 의 IL-RL 파이프라인에서 발생하는 근본적인 병목 현상인 'Narrow Policy'를 처음 체계적으로 분석하고, 이를 정량화하기 위한 행동 진단 지표 (Behavioral Diagnostics: 다양성, 품질, 성능) 를 제안했습니다.
2. Curious-VLA 프레임워크 제안: 데이터 생성 (FTE), 샘플링 (ADAS), 보상 설계 (SDR) 를 통합하여 VLA 모델의 탐색 잠재력을 극대화하는 새로운 아키텍처를 제시했습니다.
3. SOTA 성능 달성: Navsim 벤치마크에서 기존 최상위 모델들을 능가하는 성능을 기록하며, Best-of-N 샘플링 시 인간 수준의 성능을 달성했습니다.

4. 실험 결과

• Navsim v1 벤치마크:
  • 단일 전방 카메라 입력 기준 PDMS 90.3을 기록하여 새로운 SOTA 를 달성했습니다.
  • 기존 VLA-Planner 방식 (DriveVLA-W0) 과 VLA-Token 방식 (AdaThinkDrive) 과 동급 이상의 성능을 보였으며, 동일한 베이스 모델 (Qwen2.5-VL-3B) 을 사용한 AutoVLA 보다 1.2 포인트 높은 성능을 기록했습니다.
  • Best-of-N (N=6) 설정에서 PDMS 94.8을 달성하여 인간 정답 (Human GT) 수준에 근접했습니다.
• Navsim v2 벤치마크:
  • 확장된 지표 (EPDMS) 에서 85.3점을 기록하여 기존 DiffusionDrive (84.5) 를 능가하는 SOTA 성능을 입증했습니다.
• nuScenes 벤치마크:
  • 실제 세계 일반화 능력을 검증하기 위해 nuScenes 에서 L2 거리 오차와 충돌률을 측정, 기존 E2E 모델 및 VLA 모델들보다 우수한 성능을 보였습니다.
• 분석 실험:
  • 행동 진단 지표를 통해 Curious-VLA 가 기존 모델들 (Qwen2.5-VL, ReCogDrive) 에 비해 궤적 다양성 (Diversity) 과 최적 궤적 품질 (Quality) 을 동시에 크게 향상시켰음을 확인했습니다.
  • FTE 와 SN, ADAS, SDR 의 각 구성 요소가 성능 향상에 필수적임을 애블레이션 (Ablation) 연구를 통해 입증했습니다.

5. 의의 및 결론

본 논문은 자율주행 분야에서 탐색 (Exploration) 과 활용 (Exploitation) 의 균형이 얼마나 중요한지를 강조합니다. 기존의 IL-RL 파이프라인이 가진 'Narrow Policy'라는 숨겨진 결함을 해결함으로써, VLA 모델이 복잡한 오픈 월드 환경에서도 안전하고 다양하며 고수준의 추론 능력을 갖춘 주행 결정을 내릴 수 있음을 증명했습니다.

Curious-VLA 는 추가적인 계획 모듈 없이 순수 VLM 기반으로도 최상급의 자율주행 성능을 달성할 수 있음을 보여주어, 향후 데이터 효율적이고 확장 가능한 자율주행 시스템 개발에 중요한 방향성을 제시합니다.