UniDrive-WM: Unified Understanding, Planning and Generation World Model For Autonomous Driving

이 논문은 자율주행의 인지, 계획, 생성을 단일 아키텍처로 통합한 'UniDrive-WM'을 제안하여 미래 장면 예측을 통해 계획 성능을 획기적으로 향상시켰음을 보여줍니다.

핵심

🚗 기존 방식: "일하는 부서가 따로따로인 회사"

기존의 자율주행 시스템은 마치 업무가 분리된 큰 회사와 같았습니다.

1. 감시관 (Perception): "저기 차가 있네, 신호등이 빨간색이야." (현재 상황 파악)
2. 기획자 (Planning): "그럼 멈춰야겠네." (경로 계획)
3. 예술가 (Generation): "멈추는 모습을 그려볼까?" (미래 예측)

이전에는 이 세 부서가 따로따로 일했습니다. 감시관이 기획자에게 "차 있네"라고 말하면, 기획자는 그 말을 듣고 "멈춰"라고 결정했습니다. 하지만 이 과정에서 정보의 손실이 발생했습니다. "차 있네"라는 말만으로는 차가 얼마나 빠르게 오는지, 날씨가 어떤지 같은 세부적인 뉘앙스가 사라져서, 결정이 덜 정확해질 수 있었습니다. 마치 "비 오고 있다"는 말만 듣고 우산을 챙긴다고 해서, 빗물이 얼마나 세게 떨어지는지까지 정확히 알 수 없는 것과 비슷합니다.

🌟 UniDrive-WM: "한 번에 모든 걸 상상하는 천재 예술가"

이 논문이 제안한 UniDrive-WM은 이 세 부서를 하나로 합친 한 명의 천재 예술가와 같습니다. 이 예술가는 다음과 같은 능력을 동시에 가집니다.

1. 눈 (이해): 지금 차가 어디에 있고, 신호등이 어떤지 정확히 봅니다.
2. 머리 (계획): "앞으로 3 초 뒤엔 어떻게 될까?"라고 생각하며 경로를 그립니다.
3. 손 (생성): 가장 중요한 부분! 이 예술가는 단순히 "멈춰"라고 말만 하는 게 아니라, "앞으로 3 초 뒤의 도로 풍경"을 그림으로 그려냅니다.

🎨 핵심 비유: "미래를 미리 보는 꿈꾸기"

이 모델의 가장 큰 특징은 미래의 풍경을 그림으로 그려내면서 동시에 운전 경로를 결정한다는 점입니다.

• 기존 방식: "앞에 차가 있으니 멈춰." (말만 하고 끝)
• UniDrive-WM: "앞에 차가 있으니 멈춰. 자, 멈추는 내 모습을 그려보자. (그림을 그리며) 아, 이대로 멈추면 뒤에 차가 들이받을 수도 있겠네? 그럼 조금 더 천천히 멈춰야겠다."

즉, 미래를 상상해 보는 과정 (그림 그리기) 이 다시 현재의 결정 (운전) 을 더 똑똑하게 만들어줍니다. 이를 통해 사고를 미리 예방하고, 더 부드러운 운전을 할 수 있게 됩니다.

🛠️ 두 가지 방식의 그림 그리기 (기술적 접근)

이 모델은 미래를 그릴 때 두 가지 방식을 모두 시도했습니다.

1. 레고 조립 방식 (Discrete AR):

   • 그림을 작은 레고 블록 (토큰) 하나하나씩 이어 붙여 그립니다.
   • 장점: 빠르고 정확합니다.
   • 단점: 고해상도 (세부적인 그림) 를 그리려면 레고 블록이 너무 많아져서 시간이 오래 걸립니다.

2. 물감 섞기 방식 (AR + Diffusion):

   • 레고 대신 물감을 섞어서 부드럽게 그립니다.
   • 장점: 훨씬 더 사실적이고 부드러운 미래 풍경을 그릴 수 있습니다.
   • 효과: 이 방식을 사용하면 운전자가 더 복잡한 상황 (비 오는 날, 복잡한 교차로) 에서도 더 안전하게 운전할 수 있습니다.

🏆 결과가 어땠나요?

이 모델은 **'Bench2Drive'**라는 매우 어려운 자율주행 시험장에서 테스트되었습니다. 결과는 놀라웠습니다.

• 사고율 감소: 다른 방법보다 충돌 확률이 9.2%나 줄었습니다. (안전성 향상)
• 정확도 향상: 차가 가야 할 길을 얼마나 정확하게 그렸는지 오차가 5.9%나 줄었습니다. (운전 기술 향상)
• 미래 예측: 그려낸 미래 그림이 실제 상황과 거의 똑같았습니다. (높은 충실도)

💡 요약: 왜 이것이 중요한가요?

기존의 자율주행차는 **"보고 -> 생각 -> 행동"**을 순서대로 했지만, UniDrive-WM은 **"보고 -> 상상 (미래 그리기) -> 생각 -> 행동"**을 한 번에 합니다.

마치 운전자가 길을 가면서 **"앞으로 3 초 뒤엔 내가 어디에 있을지, 주변은 어떻게 변할지"**를 머릿속으로 생생하게 그려보며 운전하는 것과 같습니다. 이 '미래를 미리 보는 상상력' 덕분에 차는 더 똑똑하고 안전하게 운전할 수 있게 되었습니다.

이 기술은 자율주행차가 단순히 규칙을 따르는 로봇을 넘어, 상황을 이해하고 미래를 예측하는 진정한 '운전자'가 되는 중요한 발걸음입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

자율주행 분야에서 '월드 모델 (World Model)'은 현재 장면을 이해하고 미래 상태를 예측하여 안전한 제어를 가능하게 하는 핵심 요소입니다. 최근 비전 - 언어 모델 (VLM) 을 활용한 계획 (Planning) 연구가 진행되고 있으나, 기존 접근법들은 다음과 같은 한계를 가지고 있습니다.

• 모듈의 분리: 지각 (Perception), 예측 (Prediction), 계획 (Planning) 을 별도의 모듈로 처리하여 정보의 단절이 발생합니다.
• 텍스트 기반 병목 현상: 많은 VLM 기반 방법론이 미래 경로나 장면을 텍스트로 먼저 생성한 후, 이를 다시 경로나 이미지로 변환하는 파이프라인을 사용합니다. 이 과정에서 풍부한 시각 - 기하학적 정보가 추상화되어 손실되며, 오차가 누적됩니다.
• 생성 모델의 한계: 생성 모델은 시각적으로 그럴듯한 프레임을 생성할 수 있지만, 명시적인 상태 추정과 추론 능력이 부족하여 안전 제약 조건을 준수하거나 행동 공간 (Action Space) 으로 미분 가능한 신호를 전달하는 데 어려움을 겪습니다.

따라서, 이해 (Understanding), 계획 (Planning), 시각적 생성 (Visual Generation) 을 단일 아키텍처 내에서 결합하여 정보와 기울기 (Gradient) 가 양방향으로 흐를 수 있는 통합된 프레임워크가 필요합니다.

2. 제안 방법론: UniDrive-WM (Methodology)

저자들은 UniDrive-WM을 제안했습니다. 이는 VLM(비전 - 언어 모델) 을 중심으로 하여 장면 이해, 궤적 계획, 그리고 궤적 조건부 미래 이미지 생성을 하나의 아키텍처에서 수행하는 통합 월드 모델입니다.

핵심 아키텍처 구성

1. 비전 인코더 (QT-Former):
   • 다중 뷰 (Multi-view) 입력, 시간적 역사 (Temporal History), 그리고 객체 감지 (Bounding Box 등) 정보를 인코딩합니다.
   • 학습 가능한 쿼리 (Scene, Perception, History Queries) 를 사용하여 공간적 및 시간적 맥락을 추출하고 LLM 의 추론 공간으로 매핑합니다.
2. 대형 언어 모델 (LLM - Reasoning Core):
   • Scene Description, VQA(시각 질문 답변), 행동 추론 등의 고수준 추론을 수행합니다.
   • LoRA(Low-Rank Adaptation) 를 통해 자율주행 도메인에 맞게 미세 조정됩니다.
3. 궤적 계획기 (Trajectory Planner):
   • VLM 의 추론 공간 (언어/시각) 과 수치적 행동 공간 (궤적) 사이의 미분 가능한 연결을 제공합니다.
   • VLM 의 고수준 추론 임베딩을 조건으로 하여 미래 궤적 (Waypoints) 의 확률 분포를 예측합니다.
4. 미래 이미지 생성기 (Future Image Generator):
   • 예측된 궤적을 조건으로 하여 미래의 프론트 뷰 이미지를 생성합니다.
   • 두 가지 디코딩 패러다임 비교 및 분석:
     • Autoregressive (AR, 이산 표현): MoVQGAN 을 사용하여 시각 토큰을 이산적으로 생성합니다. 실시간 처리에 유리합니다.
     • AR + Diffusion (연속 표현): AR 모듈이 생성한 잠재 특징을 기반으로 Flow-matching 목적 함수를 사용하여 연속적인 잠재 공간에서 이미지를 생성합니다. 더 높은 화질과 기하학적 일관성을 제공합니다.

통합 학습 전략

• 양방향 피드백: 생성된 미래 이미지는 계획된 궤적과 일치해야 하므로, 이미지 생성 오차는 계획기 (Planner) 로 백프로파게이션되어 계획 성능을 개선하는 보조 신호 (Supervisory Signal) 로 작용합니다.
• 2 단계 학습:
  1. Stage 1: 계획과 이미지 생성을 결합하여 엔드 - 투 - 엔드 학습.
  2. Stage 2: VQA(질문 답변) 데이터를 추가하여 언어 - 시각 - 계획 공간의 정렬을 강화.

3. 주요 기여 (Key Contributions)

1. 통합 비전 - 언어 월드 모델 (UniDrive-WM): 장면 이해, 궤적 계획, 미래 이미지 생성을 단일 VLM 프레임워크에 통합하여 시공간 관측으로부터 직접적인 시각적 추론을 가능하게 함.
2. 이중 디코딩 패러다임 분석: 미래 이미지 예측을 위한 이산적 AR과 연속적 AR+Diffusion 두 가지 방식을 개발하고 비교 분석하여 자율주행 작업에 따른 장단점과 트레이드오프를 규명함.
3. 성능 향상 검증: Bench2Drive 벤치마크에서 기존 최상위 방법 대비 L2 궤적 오차 5.9% 감소, 충돌률 9.2% 감소를 달성하여 통합 프레임워크의 유효성을 입증함.

4. 실험 결과 (Results)

Bench2Drive 데이터셋 (CARLA 기반) 에서 오픈 루프 (Open-loop) 및 클로즈드 루프 (Closed-loop) 평가를 수행했습니다.

• 계획 성능 (Planning):
  • 클로즈드 루프: Driving Score (DS) 79.22, 성공률 (SR) 56.36% 를 기록하여 기존 ORION(77.74 DS) 및 다른 VLM 기반 방법들을 상회했습니다.
  • 오픈 루프: L2 궤적 오차 (2 초 기준) 0.598m 로 기존 방법들보다 정밀도가 높았으며, 충돌률도 현저히 낮았습니다.
• 이미지 생성 품질:
  • 생성된 미래 프레임의 품질을 FID(Fréchet Inception Distance) 로 평가했습니다.
  • Ours (AR): FID 6.4 (기존 방법들보다 우수)
  • Ours (AR+Diffusion): FID 7.1 (높은 해상도 생성 가능)
  • 생성된 이미지는 실제 미래 장면과 매우 유사하며, 예측된 궤적과 시각적으로 일관성이 있었습니다.
• VQA 및 지각 성능:
  • 이미지 생성 모듈을 포함할 경우 VQA 성능 (CIDEr, BLEU 등) 이 향상되었으며, 이는 미래 상태 예측이 현재 장면 이해를 돕는 것을 의미합니다.
  • 3D 객체 감지 (mAP, NDS) 성능도 기존 방법 대비 개선되었습니다.

5. 의의 및 결론 (Significance)

UniDrive-WM 은 자율주행 시스템의 추론 (Reasoning), 행동 (Action), 시각적 상상 (Visual Imagination) 사이의 간극을 해소하는 중요한 진전을 이루었습니다.

• 정보의 통합: 텍스트 기반의 추상화를 피하고, 시각적 정보와 계획 정보를 직접 연결함으로써 정보 손실을 최소화하고 오차 누적을 방지합니다.
• 안전성 강화: 생성된 미래 시나리오를 통해 계획 단계에서 잠재적인 위험을 사전에 시뮬레이션하고, 이를 통해 충돌률을 낮추고 더 안전한 주행 결정을 내릴 수 있게 합니다.
• 차세대 월드 모델: 단일 모델 내에서 지각, 계획, 생성을 동시에 수행하는 통합 접근법은 자율주행의 차세대 월드 모델 개발 방향을 제시하며, 복잡한 상호작용이 필요한 장기적 주행 시나리오로 확장 가능한 기반을 마련했습니다.

결론적으로, 이 연구는 VLM 기반의 생성적 월드 모델이 단순한 이미지 생성을 넘어, 실제 자율주행의 계획 및 제어 성능을 획기적으로 향상시킬 수 있음을 실증적으로 증명했습니다.