DAP: A Discrete-token Autoregressive Planner for Autonomous Driving

이 논문은 BEV 시맨틱과 자차 궤적을 동시에 예측하는 이산 토큰 자기회귀 방식과 강화학습 기반 미세 조정을 통해, 160M 파라미터의 경량 모델로도 자율주행 계획 분야에서 최첨단 성능을 달성한 DAP 를 제안합니다.

핵심

🚗 DAP: 자율주행차를 위한 '미래를 읽는 예지몽'

이 논문은 자율주행차가 길을 어떻게 더 똑똑하고 안전하게 달릴 수 있을지 고민한 연구입니다. 연구팀이 제안한 새로운 방법의 이름은 DAP입니다.

기존의 자율주행 기술이 "지금 보이는 것을 보고 앞으로 5 초를 예측한다"는 방식이었다면, DAP 는 **"미래의 풍경을 상상하면서 동시에 차가 어떻게 움직일지 결정한다"**는 새로운 접근법을 취합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 방식 vs DAP 방식: "지도 보는 사람"과 "미래를 보는 점술사"

• 기존 방식 (비자율적 모델):
  마치 정해진 길만 따라가는 택시 기사와 같습니다. "앞에 차가 있으니 멈춰라", "좌회전 신호가 있으니 돌아라"라고 명령을 받으면 즉시 반응합니다. 하지만 "왜?"라는 깊은 생각이나 "앞으로 3 초 뒤에 저 차가 어떻게 변할까?"라는 시나리오를 미리 그려보지 않습니다. 그래서 갑작스러운 상황에는 당황하기 쉽습니다.

• DAP 방식 (자율적 모델):
  DAP 는 미래를 미리 보는 점술사이자 유능한 운전 기사가 합쳐진 존재입니다.

  1. 미래의 풍경을 상상합니다: "지금 이대로 가면 3 초 뒤에 저기 차가 멈출 거야, 그리고 보행자가 길을 건널 거야"라고 **미래의 도로 풍경 (BEV)**을 먼저 그립니다.
  2. 그림에 맞춰 움직입니다: "아, 저렇게 될 거라면 내가 지금 살짝 우회전해서 피하는 게 좋겠네"라고 **자신의 움직임 (궤적)**을 결정합니다.

이처럼 미래의 장면을 먼저 상상하고, 그 장면에 맞춰 움직임을 결정하기 때문에 훨씬 더 안전하고 자연스러운 주행을 할 수 있습니다.

2. 핵심 기술: "조각난 퍼즐"로 미래를 예측하다

DAP 는 복잡한 영상을 그대로 분석하는 대신, 정보를 **작은 조각 (토큰)**으로 잘게 나누어 처리합니다.

• 비유: 마치 거대한 퍼즐을 맞추는 것과 같습니다.
  • 기존 방식은 퍼즐 전체를 한 번에 보려고 하다가 헷갈리기도 합니다.
  • DAP 는 퍼즐 조각 하나하나를 **숫자나 기호 (이산 토큰)**로 변환합니다. "여기는 차가 있다 (조각 A)", "저기는 보행자가 있다 (조각 B)"처럼 말이죠.
  • 그리고 이 조각들을 한 줄로 나열해서, "앞에 조각 A 가 오면 다음에 조각 B 가 올 확률이 높다"는 식으로 문장처럼 미래를 예측합니다.
  • 이 덕분에 컴퓨터가 훨씬 빠르게, 그리고 효율적으로 미래를 계산할 수 있습니다.

3. 두 단계 학습: "모방"에서 "스스로 배우기"로

DAP 는 두 가지 단계를 거쳐서 성장합니다.

1. 1 단계: 모방 학습 (BC)

   • 비유: 유능한 운전 강사의 운전 영상을 보고 그대로 따라 하는 단계입니다.
   • 강사가 어떻게 핸들을 돌리고 브레이크를 밟는지, 어떻게 차선을 지키는지 완벽하게 흉내 냅니다. 이때부터 DAP 는 기본적인 운전 실력을 갖춥니다.

2. 2 단계: 강화 학습 (SAC-BC)

   • 비유: 운전 면허 시험을 치르거나 경험을 통해 배우는 단계입니다.
   • 단순히 따라 하는 것만으로는 위험한 상황을 피하기 어렵습니다. 예를 들어, "강사가 왼쪽으로 살짝 비켜서 지나갔지만, 사실은 오른쪽으로 피하는 게 더 안전했다"는 상황을 학습해야 합니다.
   • DAP 는 **"안전 점수 (보상)"**를 받습니다. "사고 없이 지나가면 점수 UP!", "불필요하게 급정거하면 점수 DOWN!"처럼요.
   • 이렇게 점수를 받으며 스스로 더 안전한 선택을 하도록 훈련받습니다. 그래서 강사의 실수를 그대로 따라 하지 않고, 상황에 맞춰 더 똑똑하게 대처할 수 있게 됩니다.

4. 왜 DAP 가 특별한가요?

• 작지만 강력합니다: 다른 최신 모델들은 거대한 뇌 (수십 억 개의 파라미터) 를 필요로 하지만, DAP 는 **상대적으로 작은 뇌 (1 억 2 천만 개)**로도 최고의 성능을 냅니다. 마치 작지만 영리한 고양이가 거대한 곰보다 민첩한 것과 같습니다.
• 안전하고 편안합니다: 단순히 목적지만 가는 게 아니라, 승객이 느끼는 **불쾌감 (흔들림)**을 줄이고 **안전 규칙 (신호, 차선)**을 철저히 지키도록 훈련되었습니다.
• 실제 도로에서도 잘합니다: 컴퓨터 시뮬레이션뿐만 아니라, 실제 도로 상황을 가정한 테스트에서도 최상위권의 성적을 거두었습니다.

요약

DAP는 자율주행차에게 **"미래의 풍경을 먼저 상상해보고, 그 그림에 맞춰 스스로 판단하여 운전하라"**는 새로운 철학을 심어준 기술입니다.

기존의 "보고 반응하기"를 넘어, **"상상하고 결정하기"**로 발전시킨 이 기술은 앞으로 우리가 더 안전하고 편안하게 자율주행차를 탈 수 있는 열쇠가 될 것입니다. 마치 운전대 뒤에 앉은 미래를 읽는 영리한 조수가 함께 달리는 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

자율주행 분야에서 데이터와 모델 규모를 확장 (Scaling) 하여 지속적인 성능 향상을 이루는 것은 핵심적이지만 해결되지 않은 과제입니다. 기존의 계획 (Planning) 모델들은 주로 두 가지 접근 방식을 취해 왔습니다.

• 비자기회귀 (Non-AR) 방식: 한 번의 순전파 (Forward pass) 로 전체 미래 궤적을 생성하는 방식 (예: Diffusion, End-to-end 매핑).
• 자기회귀 (AR) 방식: 한 번에 한 단계씩 ego(주행 차량) 의 행동을 예측하는 방식.

최근 연구들은 AR 방식이 데이터와 모델 크기 확장 측면에서 더 유리한 '스케일링 법칙 (Scaling Law)'을 보인다고 주장합니다. 그러나 기존 AR 기반 계획 모델들은 자신의 궤적 (Ego trajectory) 만을 예측하는 데 집중하여 다음과 같은 한계가 있었습니다.

1. 희소한 감독 (Sparse Supervision): 궤적 라벨만으로는 환경의 변화가 주행 행동에 어떻게 영향을 미쳐야 하는지에 대한 제약이 약합니다.
2. 세계 모델링 부재: 환경의 진화 (Scene evolution) 와 차량의 운동을 명시적으로 연결하지 못해, 복잡한 상황에서의 견고성 (Robustness) 이 떨어집니다.

2. 제안 방법론 (Methodology)

저자들은 **DAP (Discrete-token Autoregressive Planner)**를 제안합니다. 이는 디코더 전용 (Decoder-only) 트랜스포머 아키텍처를 기반으로 하며, **이산 토큰 (Discrete tokens)**을 사용하여 환경과 차량 운동을 동시에 예측합니다.

핵심 구성 요소

1. 이산 토큰화 및 아키텍처:

   • 입력 토큰화:
     • BEV (Bird's Eye View) 토큰: VQ-VAE 를 사용하여 다중 뷰 카메라 입력을 이산적인 의미론적 BEV 토큰으로 변환합니다.
     • 행동 토큰: 차량의 궤적 (Curvature, Acceleration) 을 이산적인 $\kappa-a$ 토큰으로 변환합니다.
     • 명령 토큰: 경로 지시 명령을 카테고리 토큰으로 변환합니다.
   • 디코더 전용 트랜스포머: Sparse MoE (Mixture of Experts) 레이어를 포함한 디코더 전용 트랜스포머를 사용하여, 과거의 토큰 시퀀스를 기반으로 미래의 BEV 토큰과 행동 토큰을 자기회귀적으로 생성합니다.
   • 병렬 생성 메커니즘: 시간 단계 (Timestep) 내에서는 BEV 토큰들이 양방향 어텐션 (Bidirectional attention) 을 통해 병렬로 생성되지만, 시간 단계 간에는 인과적 (Causal) 인 어텐션을 유지하여 효율성을 높입니다.

2. 공동 예측 (Joint Environment-Trajectory Forecasting):

   • 모델은 매 시간 단계에서 **(i) 미래의 의미론적 BEV(환경)**와 (ii) 차량의 운동 토큰을 동시에 예측합니다.
   • 이를 통해 환경의 변화와 차량의 운동을 잠재 공간 (Latent space) 에서 밀접하게 연결 (Coupling) 하고, 공간 - 시간적으로 정렬된 밀집 감독 (Dense supervision) 을 제공합니다.

3. SAC-BC 기반 강화학습 미세 조정 (RL Fine-tuning):

   • 순수한 모방 학습 (Imitation Learning, IL) 은 전문가 데이터에 과적합되어 위험한 모드를 선택할 수 있습니다.
   • 이를 해결하기 위해 SAC-BC (Soft Actor-Critic + Behavior Cloning) 방식을 도입합니다.
   • 보상 신호: 안전성 (차선 중심선 거리, 장애물 거리) 과 편안함 (가속도 변화, 각가속도) 을 기반으로 한 보상을 설계합니다.
   • 목적: 행동 복제 (BC) 의 사전 지식을 유지하면서, 보상 신호를 통해 위험한 모드를 피하고 안전한 선택을 하도록 정책을 미세 조정합니다.

4. 경량 궤적 후처리 (Post-tuning):

   • 이산 토큰의 한계로 인한 급격한 진동 (Zig-zag) 을 완화하기 위해, 예측된 궤적에 차선 정보와 물리적 제약을 적용하는 경량 최적화 단계를 추가합니다.

3. 주요 기여 (Key Contributions)

1. 이산 토큰 기반 디코더 전용 AR 계획기: MoE 를 활용한 효율적인 아키텍처로, 환경과 궤적을 동시에 생성하는 단순하고 확장 가능한 인터페이스를 제공합니다.
2. 밀집 감독을 위한 공동 예측: BEV 토큰과 궤적 토큰을 동시에 예측함으로써, 환경 이해와 운동 생성 간의 강한 연결을 확보하고 다단계 크레딧 할당 (Multi-step credit assignment) 을 개선합니다.
3. SAC-BC 미세 조정: 순수 모방 학습의 한계를 극복하고, 보상 기반의 보정 신호를 통해 안전성과 견고성을 높이는 새로운 학습 패러다임을 제시합니다.
4. 소규모 파라미터로 달성한 SOTA 성능: 120M 파라미터라는 매우 컴팩트한 규모임에도 불구하고, 오픈 루프 및 클로즈드 루프 평가에서 최첨단 (SOTA) 성능을 달성했습니다.

4. 실험 결과 (Results)

• 오픈 루프 평가 (Open-loop):
  • nuScenes: L2 평균 오차 (Avg) 와 최대 오차 (Max) 에서 기존 SOTA 모델 (UniAD, OpenDriveVLA 등) 을 능가하거나 경쟁하는 성능을 보였습니다.
  • NuPlan: 8 초 ADE(평균 절대 오차) 와 OLS(오프라인 성공률) 에서 모든 분할 (Split) 에서 새로운 SOTA 를 기록했습니다.
• 클로즈드 루프 평가 (Closed-loop):
  • NAVSIM v1 (PDMS): 120M 파라미터 모델임에도 불구하고 90.0 점의 PDMS 를 기록하여, 수십억 파라미터 규모의 VLM 기반 모델 (DriveVLA-W0 등) 과 경쟁하거나 능가했습니다. 특히 편안함 (Comfort) 점수는 100 점으로 완벽했습니다.
  • NAVSIM v2 (EPDMS): 더 엄격한 v2 프로토콜에서도 85.6 점의 EPDMS 를 기록하며, 기존 베이스라인 대비 크게 향상된 성능을 입증했습니다.
• 효율성: 120M 파라미터로 SOTA 성능을 달성하여, 계산 비용 대비 성능 효율이 매우 뛰어남을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율주행 계획 분야에서 이산 토큰 기반의 자기회귀 (Autoregressive) 모델이 확장 가능하고 강력한 패러다임임을 입증했습니다.

• 세계 모델링의 통합: 단순히 궤적만 예측하는 것이 아니라, 미래 환경을 함께 예측함으로써 '세계 모델 (World Model)'의 이점을 계획 작업에 효과적으로 적용했습니다.
• 효율성과 성능의 균형: 거대 모델 (Large Models) 에 의존하지 않고도, 컴팩트한 모델로 높은 안전성과 주행 능력을 달성할 수 있음을 보여주었습니다.
• 확장성: 데이터 양과 모델 크기를 늘렸을 때 성능이 선형적으로 향상되는 경향을 보이며, 향후 대규모 데이터 기반의 자율주행 시스템 개발에 중요한 방향성을 제시합니다.

요약하자면, DAP는 환경과 차량 운동을 통합적으로 이해하고, 강화학습을 통해 안전성을 보강한 경량화되고 확장 가능한 차세대 자율주행 계획 모델입니다.