NoRD: A Data-Efficient Vision-Language-Action Model that Drives without Reasoning

이 논문은 대규모 데이터와 추론 주석이 없어도 경쟁력 있는 자율 주행 성능을 달성하기 위해 GRPO 의 난이도 편향을 해결하는 Dr. GRPO 알고리즘을 적용한 데이터 효율적인 비전 - 언어 - 행동 모델 NoRD 를 제안합니다.

핵심

🚗 NORD: "생각 없이" 운전하는 똑똑한 AI (간단한 설명)

이 논문은 자율주행차를 위한 새로운 AI 모델인 NORD를 소개합니다. 기존의 방식은 마치 "운전할 때 매번 복잡한 사고 과정을 글로 적어보며 운전하는" 것과 같았지만, NORD는 "직관적으로, 생각 없이도" 운전할 수 있게 해줍니다.

핵심 내용을 요리조리 비유를 섞어 설명해 드릴게요.

---

1. 기존 방식의 문제점: "과도한 생각"과 "엄청난 비용"

지금까지의 최신 자율주행 AI 들은 VLA(시각 - 언어 - 행동) 모델을 사용했습니다.

• 비유: 이 모델들은 운전대를 잡기 전에, **"왜 이렇게 운전해야 할까?"**에 대해 긴 설명을 글로 써내려가며 (Chain-of-Thought, 사고 과정) 답을 찾았습니다.
• 문제점:
  1. 데이터가 너무 많아야 함: 이 '사고 과정'을 가르치려면 수백만 개의 운전 데이터를 수집하고, 전문가들이 하나하나 "왜 이렇게 했는지" 설명을 달아줘야 합니다. (엄청난 돈과 시간)
  2. 느린 반응: 매번 사고 과정을 글로 적는 시간이 걸리니, 실제 운전할 때 반응이 느려집니다. (차량에 탑승하면 지루하고 위험할 수 있음)

2. NORD 의 혁신: "생각 없이" 운전하기

NORD 는 이 문제를 해결하기 위해 두 가지 대담한 선택을 했습니다.

1. 데이터 60% 이상 줄이기: 기존 모델보다 훨씬 적은 데이터로 훈련합니다.
2. 사고 과정 (Reasoning) 제거: "왜?"라는 질문을 하지 않고, **"무엇을 할까?"**라는 행동만 직접 예측합니다.

🌟 비유:
기존 모델은 숙련된 요리사가 레시피를 하나하나 설명하며 요리를 하는 방식이라면,
NORD 는 요리 천재가 레시피 설명 없이도 손맛으로 바로 요리를 해내는 방식입니다.
"왜 소금을 넣었지?"라고 설명할 필요 없이, "맛있으니까 넣었지!"가 정답인 셈이죠.

3. 왜 처음엔 실패했을까? (GRPO 의 함정)

저자들은 처음에 "데이터를 줄이고 생각도 빼면 어떨까?"라고 시도했습니다. 하지만 결과는 참담했습니다. 성능이 거의 오르지 않았습니다.

• 원인: 기존에 쓰던 학습 방법 (GRPO 라는 알고리즘) 이 **"어려운 상황"**을 제대로 가르치지 못했기 때문입니다.
• 비유:
  • 쉬운 상황 (직진): AI 가 잘합니다. 학습 방법도 잘 작동합니다.
  • 어려운 상황 (급커브, 비): AI 가 헷갈려서 실수합니다. 이때 기존 학습 방법은 "너는 이미 실수했으니, 이 데이터는 무시해. 너무 어렵잖아"라고 실수를 벌하기만 하고 가르치지 않았습니다.
  • 결과: AI 는 쉬운 것만 배우고, 어려운 상황에서는 여전히 무능해졌습니다.

4. 해결책: "Dr. GRPO" (AI 의 새로운 선생님)

저자들은 이 문제를 해결하기 위해 Dr. GRPO라는 새로운 학습 방법을 도입했습니다.

• Dr. GRPO 의 역할: 이 방법은 "어려운 상황"일수록 더 열심히 가르쳐주는 선생님입니다.
• 핵심: AI 가 헷갈려서 실수하는 복잡한 상황에서도, 그 실수를 무시하지 않고 **"이게 왜 틀렸는지, 어떻게 고쳐야 하는지"**를 집중적으로 학습시킵니다.
• 결과: 적은 데이터로도, 생각 없이도 AI 가 복잡한 도로 상황 (급커브, 차선 변경 등) 을 잘 처리하게 되었습니다.

5. 실제 성과: "적은 비용, 높은 성능"

• NAVSIM(운전 시뮬레이션) 과 WaymoE2E(실제 도로 데이터) 테스트에서 NORD 는 기존 최고 성능 모델들과 비슷하거나 더 좋은 점수를 받았습니다.
• 효율성:
  • 데이터: 기존 모델의 60% 미만만 사용.
  • 속도: 사고 과정을 생략해서 반응 속도가 훨씬 빠름.
  • 비용: 학습과 실행에 필요한 컴퓨터 자원 (토큰) 이 훨씬 적게 듦.

---

📝 한 줄 요약

"NORD 는 복잡한 사고 과정을 생략하고, 적은 데이터로도 어려운 운전 상황을 잘 처리할 수 있도록 새로운 학습 방법 (Dr. GRPO) 을 도입한, 효율적이고 빠른 자율주행 AI 입니다."

이 연구는 앞으로 자율주행차가 더 저렴하고, 빠르고, 쉽게 개발될 수 있음을 보여줍니다. 마치 "레시피 설명 없이도 맛있는 요리를 해내는 요리사"처럼 말이죠! 🍳🚗

기술 요약

1. 문제 정의 (Problem)

자율주행 분야에서 Vision-Language-Action (VLA) 모델은 모듈형 파이프라인을 대체하는 엔드 - 투 - 엔드 아키텍처로 부상하고 있습니다. 그러나 기존 SOTA(State-of-the-Art) VLA 모델들은 두 가지 비효율적이고 비용이 많이 드는 요구사항에 의존하고 있습니다.

1. 대규모 데이터 수집: 수백만 개의 특수한 주행 시나리오 데이터가 필요합니다.
2. 밀집된 추론 (Reasoning) 주석: Chain-of-Thought (CoT) 와 같은 상세한 자연어 추론 데이터가 필요합니다.

이러한 접근 방식은 데이터 수집 비용, 주석 생성 비용, 그리고 추론 토큰으로 인한 훈련 시간 증가 및 추론 지연 (Latency) 을 초래하여 실제 배포에 비효율적입니다. 또한, 기존 연구들은 추론 데이터 없이 작은 데이터셋으로 훈련된 약한 SFT(Supervised Fine-Tuning) 모델을 강화학습 (RL) 으로 최적화하려 할 때 실패하는 경향이 있었습니다.

핵심 질문: "추론 데이터 없이도 데이터 효율성을 유지하면서 경쟁력 있는 주행 성능을 달성할 수 있는가?"

2. 방법론 (Methodology)

저자들은 NORD (No Reasoning for Driving) 라는 새로운 VLA 모델을 제안하며, 기존 방식의 실패 원인을 분석하고 해결책을 제시합니다.

A. 기존 방식의 실패 원인 분석: Difficulty Bias

• 현상: 작은 데이터셋으로 훈련된 약한 SFT 모델 (NORD-BASE) 에 표준 GRPO (Group Relative Policy Optimization) 를 적용하면 성능 향상이 미미했습니다.
• 원인: 주행 벤치마크 (PDM 점수 등) 의 희소하고 복잡한 보상 신호는 그룹 내 보상 분포를 양극화시킵니다.
  • 저변동성 (Low-variance): 매우 쉽거나 매우 어려운 시나리오에서는 보상이 극단적 (0 또는 1 에 가까움) 이며 변동성이 낮습니다.
  • 고변동성 (High-variance): 중간 난이도의 복잡한 시나리오 (예: 급커브, 차선 변경) 는 보상 평균이 중간 정도지만 그룹 내 변동성이 매우 큽니다.
• 문제점: 표준 GRPO 는 그룹 내 표준편차로 보상을 정규화하는 방식 때문에, 고변동성 시나리오의 보상 신호를 과도하게 억제 (Penalize) 합니다. 이로 인해 약한 정책이 복잡한 상황을 학습하지 못하고 최적화가 실패합니다. 이를 'Difficulty Bias' 라고 명명했습니다.

B. NORD 의 아키텍처 및 훈련 파이프라인

1. 데이터 효율적 SFT:
   • 모델: Qwen-2.5VL-3B-Instruct 기반.
   • 데이터: 추론 주석 없이, NAVSIM 훈련 데이터 80,000 개 (기존 SOTA 대비 60% 이상 감소) 만 사용.
   • 입력: 전방/좌우 카메라 이미지, 과거 궤적, 속도, 가속도.
   • 출력: 추론 토큰 없이 직접 궤적 토큰 (Trajectory Tokens) 을 예측. (k-disc 토크나이저 사용, 어휘 크기 2048).
2. RL Post-Training (Dr. GRPO 적용):
   • 약한 SFT 정책의 학습 신호 손실을 해결하기 위해 Dr. GRPO 알고리즘을 도입했습니다.
   • Dr. GRPO 의 핵심: 그룹 상대적 이득 (Group Relative Advantage) 계산 시 표준편차 (Standard Deviation) 항을 제거합니다. 이를 통해 고변동성 (어려운) 시나리오에서도 충분한 그라디언트 신호가 흐르도록 하여 Difficulty Bias 를 완화합니다.
   • 보상 함수: PDM 점수 (NAVSIM), RFS 점수 (WaymoE2E), 궤적 길이 및 형식 보상을 조합하여 [0, 1] 로 정규화.

3. 주요 기여 (Key Contributions)

1. 새로운 통찰: 자율주행 VLA 의 데이터 효율적 훈련 실패가 '추론 데이터의 부재' 때문이 아니라, 약한 SFT 정책과 복잡한 주행 지표가 결합된 Difficulty Bias 때문임을 최초로 규명했습니다.
2. 경험적 분석: 데이터 효율적 SFT 정책이 그룹 내 보상 분포를 양극화시켜 GRPO 가 학습 신호를 잃게 만든다는 것을 시각화하고 분석했습니다.
3. Dr. GRPO 의 적용: 추론 없이 훈련된 VLA 를 성공적으로 최적화하기 위해 Dr. GRPO 를 도입하고, 자율주행 도메인에서 이를 유효하게 검증했습니다.
4. 성능 증명: 추론 주석 없이, 기존 모델 대비 60% 이상 적은 데이터로 NAVSIM 과 WaymoE2E 벤치마크에서 SOTA 와 경쟁 가능한 성능을 달성함과 동시에 추론 시간을 획기적으로 단축했습니다.

4. 실험 결과 (Results)

NAVSIM 벤치마크

• 성능: NORD 는 추론 데이터 없이 80,000 개의 샘플로 PDM 점수 85.62를 기록했습니다.
  • 기존 SOTA 모델 (AutoVLA 등) 은 212,000 개 이상의 데이터와 추론 주석이 필요했습니다.
  • NORD-BASE + GRPO 는 77.18 점 (0.67% 향상) 에 그쳤으나, NORD + Dr. GRPO 는 11.68% 향상을 보였습니다.
• Best-of-N: 6 번의 예측 중 가장 좋은 것을 선택하는 방식 (BoN) 에서 92.4 점을 기록하여, 추론 기반 AutoVLA-BoN (92.1 점) 을 능가했습니다.
• 특징: LiDAR 나 HD 맵 없이 3 개의 RGB 카메라 프레임만으로 작동하며, 효율성 프론티어 (Efficiency Frontier) 상에서 최고의 성능 - 효율 균형을 보여줍니다.

WaymoE2E 벤치마크

• 성능: RFS (Rated Feedback Score) 7.709를 기록하여 3 위를 차지했습니다.
  • 추론 데이터나 앙상블 (Ensemble) 을 사용하지 않은 유일한 최상위 모델입니다.
  • Poutine(17 배 더 많은 데이터) 및 HMVLM(12 배 더 많은 데이터) 과 유사하거나 더 나은 성능을 내며, ADE(Average Displacement Error) 지표에서는 모든 경쟁 모델을 압도했습니다.
• 효율성: 훈련 데이터가 6 배 이상 적음에도 불구하고 강력한 일반화 능력을 입증했습니다.

효율성 비교

• 토큰 및 추론 시간: 추론 토큰을 생성하지 않으므로 추론 지연이 현저히 낮고, 토큰 사용량이 적어 실시간 배포에 유리합니다.

5. 의의 및 결론 (Significance)

이 논문은 자율주행 VLA 모델의 발전 방향에 중요한 시사점을 제공합니다.

• 추론의 불필요성 증명: 복잡한 주행 태스크에서도 명시적인 언어적 추론 (Reasoning) 이 필수적이지 않으며, 데이터 효율적인 접근으로도 고성능이 가능함을 입증했습니다.
• 최적화 알고리즘의 중요성: 약한 정책 (Weak Policy) 을 최적화할 때, 기존 RL 알고리즘 (GRPO) 의 한계 (Difficulty Bias) 를 인식하고 이를 수정하는 알고리즘 (Dr. GRPO) 의 적용이 핵심임을 보여주었습니다.
• 실용성: 대규모 데이터 수집과 고비용 주석 작업 없이도, 적은 데이터와 빠른 추론 속도로 실용적인 자율주행 시스템을 구축할 수 있는 길을 열었습니다.

결론적으로 NORD 는 "추론 없이, 적은 데이터로, 더 빠르게" 주행하는 효율적인 VLA 모델의 가능성을 제시하며, 자율주행 AI 의 확장성과 접근성을 높이는 중요한 이정표가 됩니다.