💻 computer science

SimWAM: A Simple World Action Model for End-to-End Autonomous Driving

SimWAM은 미래 비디오 예측을 훈련 시의 감독 신호로 활용하여 추론 시에는 명시적인 미래 프레임 생성 없이도 효율적이고 저지연인 궤적 계획을 가능하게 함으로써, NAVSIM에서 최첨단 성능을 달리고 nuScenes로의 제로샷 전이를 달성하는, 엔드 투 엔드 자율 주행을 위한 단순하면서도 효과적인 월드-액션 모델이다.

원저자: Zongchuang Zhao, Xin Zhou, Tianyang Xu, Zhengyang Sun, Kaixuan Zhou, Honglin Li, Dingkang Liang, Xiang Bai

게시일 2026-08-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zongchuang Zhao, Xin Zhou, Tianyang Xu, Zhengyang Sun, Kaixuan Zhou, Honglin Li, Dingkang Liang, Xiang Bai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 자동차 운전하는 법을 가르치고 있다고 상상해 보세요. 오랫동안 이 작업을 수행하는 가장 좋은 방법은 인간 운전자의 영상 수천 개를 로봇에게 보여주며 "똑같이 따라 해"라고 말하는 것이었습니다. 이것을 '모방 학습(imitation learning)'이라고 부릅니다. 이 방식은 어느 정도 효과가 있지만, 로봇은 그저 흉내를 내는 앵무새에 불과합니다. 왜 인간이 왼쪽으로 회전했는지, 혹은 전방의 교통 상황이 어떻게 변할지에 대해 진정으로 이해하지 못하기 때문입니다. 이는 마치 음악을 알지 못한 채 춤 동작만 외우는 것과 같습니다.

최근 과학자들은 더 똑똑한 접근 방식을 시도했습니다. 로봇에게 '수정구슬'을 준 것입니다. 로보이 몇 초 후의 도로 모습이 어떻게 보일지 먼저 상상하게 한 다음, 그 미래의 비전을 바탕으로 결정을 내리도록 가르친 것입니다. 이것을 '세계-행동 모델(World-Action Model)'이라고 합니다. 만약 로봇이 미래를 예측할 수 있다면 더 잘 운전할 수 있다는 아이디어입니다. 하지만 여기에는 함정이 있습니다. 수정구슬로 미래 영상을 생성하는 것은 엄청난 양의 컴퓨터 연산 능력과 시간을 필요로 한다는 점입니다. 이는 마치 어떤 붓을 사용할지 결정하기도 전에 걸작을 그리려고 애쓰는 것과 같습니다. 로봇은 미래를 그리는 데 너무 몰두한 나머지, 실제 충돌을 피하기 위해 빠르게 반응할 수 없게 됩니다. 과학계의 큰 질문은 이것입니다. "로봇이 매번 결정을 내릴 때마다 미래를 실제로 그려내지 않고도 미래를 이해하도록 가르칠 수 있을까?"

이 지점에서 SimWAM이라는 새로운 논문이 등장하며, 영리하고 놀라울 정도로 단순한 해결책을 제시합니다. 화중과기대학교와 둥펑 연구개발 연구소의 연구진은 로봇이 미래를 '보기' 위해서가 아니라 '알기' 위해서 미래를 생성할 필요가 없다는 것을 깨달았습니다. 그들은 훈련 과정에서 비디오 생성기를 사용하여 '도로의 규칙'을 익히도록 구축했지만, 실제로 운전할 때는 비디오 생성기를 버리도록 만들었습니다.

이것을 운전 면허 시험을 준비하는 학생에 비유해 보겠습니다. 교실(훈련)에서 학생은 교통 흐름이 어떻게 변하고 다른 차들이 어떻게 움직이는지 정확하게 예측할 수 있는 매우 똑똑한 강사를 관찰합니다. 학생은 이러한 예측을 집중적으로 공부하며 도로의 패턴과 '감각'을 익힙니다. 하지만 실제 시험(추론)을 치를 때, 학생은 수정구슬을 꺼내거나 프레임 단위로 미래를 예측하려 하지 않습니다. 대신, 교실에서 쌓아온 직관을 사용하여 즉각적인 결정을 내립니다.

이 논문은 두 부분으로 구성된 팀을 소개합니다: '비디오 전문가(Video Expert, 매우 똑똑한 강사)'와 '행동 전문가(Action Expert, 학생 운전자)'입니다. 훈련 중에 이들은 함께 협력합니다. 비디오 전문가는 도로가 미래에 어떻게 보일지 예측하려고 노력하고, 행동 전문가는 조향과 속도를 예측하려고 노력합니다. 이들은 정보를 공유하지만, 특별한 기술을 사용합니다: 바로 '눈가리개(isolated attention mask)'입니다. 이 눈가리개는 학생이 강사의 예측으로부터 배우기는 하지만, 실제 미래의 사진을 직접 보는 것은 허용하지 않도록 보장합니다. 그들은 오직 움직임 뒤에 숨겨진 '논리'만을 배웁니다.

훈련이 끝나면 비디오 전문가와 그 수정구슬은 집으로 돌아갑니다. 행동 전문가는 홀로 남겨지지만, 이제 교통이 어떻게 움직이는지에 대한 모든 지식을 갖추게 되었습니다. 도로 위에서 차가 달릴 때, 행동 전문가는 현재의 시야를 보고 즉시 어디로 갈지 결정하며, 느리고 비용이 많이 드는 미래 영상 생성 단계를 건너뜁니다. 그 결과, 믿을 수 없을 정도로 빠르고 효율적인 운전자가 탄생합니다.

연구팀은 이를 NAVSIM이라는 벤치마크에서 테스트했습니다. 그 결과 SimWAM은 안전하고 매끄러운 주행을 측정하는 지표인 91.5 PDMS(Predictive Driver Model Score)를 달성했습니다. 이 점수는 실시간으로 미래 영상을 생성하려고 시도하는 다른 고급 시스템들을 포함하여 매우 높은 수준입니다. 더욱 인상적인 것은, SimWAM이 훨씬 낮은 '지연 시간(latency)'을 기록했다는 점입니다. 즉, 더 빠르게 반응한다는 뜻입니다. 이는 체스 선수가 수를 두기 전에 가능한 모든 미래의 수를 계산하는 것(느리지만 똑똑함)과, 패턴을 내면화하여 최선의 수를 즉각적으로 찾아내는 그랜드마스터(빠르면서도 똑똑함)의 차이와 같습니다.

또한 이 논문은 이 시스템이 유연하다는 점을 시사합니다. 두 전문가가 분리되어 있기 때문에, '행동 전문가'를 처음부터 다시 가르칠 필요 없이 '비디오 전문가'를 더 새롭고 똑똑한 것으로 교체할 수 있습니다. 이는 학생이 사용하는 교과서를 업그레이드하되 학생을 처음부터 다시 가르칠 필요는 없는 것과 같습니다. 게pp 더불어, 연구진은 강화 학습 기법을 사용하여 운전자를 미세 조정함으로써, 다양한 기동을 안전하게 탐색하도록 독려했고 이를 통해 점수를 더욱 높였습니다.

요약하자면, SimWAM은 잘 운전하기 위해 에너지를 낭비하며 미래를 상상할 필요가 없다는 것을 보여줍니다. 그저 미래의 규칙을 아주 잘 배워서, 그것에 따라 즉각적으로 행동하면 됩니다. 이 논문은 "수정구슬로 훈련하고, 수정구슬 없이 운전하라"는 이 단순한 접근 방식이 경쟁 모델들보다 훨씬 더 안전하고 정확하며, 동시에 현저히 빠른 운전자를 만들어낸다는 것을 보여줍니다. 이는 때때로 미래를 예측하는 가장 똑똑한 방법은 미래를 보려고 애쓰는 것이 아니라, 미래를 이해하기 시작하는 것임을 일깨워 줍니다.

SimWAM 기술 요약: 엔드 투 엔드 자율 주행을 위한 단순한 월드 액션 모델(Simple World Action Model)

1. 문제 정의

엔드 투 엔드(End-to-end) 자율 주행은 통합된 네트워크를 사용하여 원시 센서 관측값에서 계획된 궤적으로 직접 매핑하는 것을 목표로 하며, 이를 통해 모듈형 파이프라인에 내재된 오차 전파를 줄이고자 합니다. 최근의 시각-언어-행동(Vision-Language-Action, VLA) 모델과 월드-액션 모델(World-Action Models, WAMs)은 의미론적 추론이나 미래 장면 생성을 통합함으로써 장면 이해와 계획 능력을 향상시켰으나, 여전히 상당한 한계가 존재합니다:

모방의 한계: 많은 플래너는 교통 역학이나 사용자 의도를 명시적으로 모델링하지 않고 로그된 행동을 단순히 재현하는 모방 정책에 치중되어 있습니다.
WAM의 추론 지연 시간: 기존의 주행 WAM(예: DriveLaW, DriveWAM)은 일반적으로 "상상 후 행동(imagine-then-act)" 패러다임을 따릅니다. 이들은 비디오 예측기와 플래너를 공동 학습시키지만, 추론 시 플래너는 명시적으로 생성된 미래 프레임에 조건화되어 출력을 생성합니다. 이는 실시간 계획 루프 안에 비용이 많이 드는 비디오 합성을 포함시켜 추론 지연 시간을 크게 증가시킵니다.
결합성(Coupling): 많은 아키텍처에서 액션 예측은 미래 프레임 생성과 밀접하게 결합되어 있어, 전체 시스템을 재설계하지 않고는 액션 모듈을 확장하거나 비디오 백본을 교체하기 어렵습니다.

본 논문은 효과적인 월드-액션 학습을 위해 명시적인 미래 합성이 불필요하다고 주장합니다. 저자들은 Fast-WAM을 인용하며, 비디오 공동 학습이 테스트 시점의 미래 상상이 아니라 학습 시점의 표현 학습을 통해 액션 예측에 이득을 준다고 논증합니다.

2. 방법론: SimWAM

SimWAM은 미래 비디오 예측을 학습 시점의 감독 신호로 활용하되, 추론 시에는 직접적인 궤적 예측을 유지하는 단순하면서도 효과적인 월드-액션 모델로 제안되었습니다. 이 아키텍처는 통합된 어텐션 인터페이스를 통해 상호작용하는 두 가지 주요 구성 요소로 이루어져 있습니다.

A. 모델 아키텍처

비디오 전문가(Video Expert): 비디오 VAE와 T5 텍xt 인코더를 갖춘 사전 학습된 비디오 디퓨전 트랜스포머(Wan2.2-5B에서 초기화됨)입니다. 이는 주행 프레임을 잠재 토큰(latent tokens)으로 매핑하고 플로우 매칭(flow matching)을 사용하여 미래 프레임을 재구성합니다. 이 전문가는 주행 특화 예측 모듈 없이도 교통 역학에 대한 사전 지식(priors)을 제공합니다.
액션 전문가(Action Expert): 현재 관측값, 자차 상태, 내비게이션 명령을 기반으로 자차의 궤적(waypoint)을 예측하는 경량 디퓨전 트랜스포머(DiT)입니다.
공동 플로우 매칭(Joint Flow Matching): 두 전문가는 공동 목적 함수( $L = L_{act}^{FM} + \lambda L_{vid}^{FM}$ )를 사용하여 공동 학습됩니다. 비디오 전문가는 미래 프레임을 예측하는 법을 배우고, 액션 전문가는 궤적을 예측하는 법을 배웁니다. 이들은 어텐션 메커니즘을 공유하지만 별도의 파라미터 세트를 유지합니다.

B. 격리된 어텐션 마스크(Isolated Attention Mask)
핵심적인 혁신은 격리된 어텐션 마스크입니다. 공유된 어텐션 스트림 내에서 액션 토큰과 미래 프레임 토큰은 모두 현재 관측 잠재 표현(observation latents)을 참조하지만, 서로에게는 보이지 않도록 격리됩니다.

학습: 액션 전문가는 미래 비디오 감독 신호에 의해 풍부해진 공유 관측 표현으로부터 학습합니다.
추론: 액션 토큰이 미래 프레임 토큰을 참조하지 않기 때문에, 모델은 배포 시 명시적인 미래 프레임 생성을 완전히 건너뛸 수 있습니다. 미래 비디오 디코더는 학습 후 폐기되며, 이를 통해 현저히 낮은 지연 시간으로 직접적인 궤적 예측이 가능합니다.

C. 강화 학습(Reinforcement Learning, RL)
순수 모방 학습을 넘어, 저자들은 주행 품질을 향해 궤적 생성을 직접 최적화하기 위해 RL 단계를 도입합니다.

확률적 샘로플링(Stochastic Sampling): 표준 플로우 매칭에서 사용되는 결정론적 플로우 ODE를 확률 미분 방정식(SDE)으로 변환하여, 다양한 기동(maneuver) 탐색을 가능하게 하고 정책 최적화를 위한 다루기 쉬운 전이 가능도(transition likelihoods)를 제공합니다.
최적화: GRPO(Group Relative Policy Optimization)를 사용하여 주어진 시나리오에 대해 여러 후보 궤적을 샘사플링합니다. 이들은 구성적 주행 보상(NAVSIM PDM 보상)을 사용하여 평가됩니다.
효율성: RL 과정 중에는 액션 전문가의 LoRA 어댑터만 업데이트하여, 비디오 전문가로부터 추출된 운동 사전 지식(motion prior)을 보존하면서 정책을 정교화합니다.

3. 주요 기여

학습과 추론의 분리: Sim-WAM은 사전 학습된 비디오 생성기에서 교통 역학 사전 지식을 공동 플로우 매칭을 통해 액션 플래너로 전달하지만, 격리된 어텐션 마스크를 통해 이를 분리합니다. 이를 통해 모델은 비용이 많이 드는 테스트 시점의 미래 상상 없이도 미래 비디오 감독을 통해 학습할 수 있습니다.
아키텍처 유연성 및 확장성: 두 전문가는 파라미터를 공유하지 않으며 어텐션을 통해서만 상호작용합니다. 이를 통해 비디오 백본을 액션 전문가나 추론 파이프라인의 수정 없이도 더 발전된 생성기로 교체할 수 있습니다. 마찬가지로, 액션 전문가는 지연 시간 요구 사항에 맞춰 독립적으로 확장할 수 있습니다.
RL 기반 계획: 본 방법론은 구성적 주행 보상을 최적화하기 위해 강화 학습을 통합하여, 단순한 궤적 모방을 넘어 안전성과 진행 성능을 직접 최적화하고 다양한 기동을 탐색할 수 있게 합니다.

4. 실험 결과

저자들은 NAVSIM 벤치마크(navtest 분할 사용)와 nuScenes 오픈 루프 벤치마크에서 SimWAM을 평가했습니다.

NAVSIM 성능: SimWAM은 단일 전방 카메라만을 사용하여 91.5 PDMS(Predictive Driver Model Score)를 달성했습니다. 이는 최신 상태의 월드 모델 기반 플래너(예: DriveWAM, DriveLaW) 및 VLM 기반 플래너(예: SGDrive, ExploreVLA)를 능가하는 수치입니다.
지연 시간: 논문의 지연 시간 대비 성능 그래프에서 알 수 있듯이, SimWAM은 미래 프레임 생성이 필요한 다른 월드 모델 기반 플래너들에 비해 현저히 낮은 지연 시간으로 최상의 PDMS를 달성했습니다.
제로샷 일반화: 모델은 미세 조정 없이 nuScenes 벤치마크로 제로샷 전이가 가능하며, 낮은 평균 충돌률(0.04%)과 경쟁력 있는 L2 오차를 달성하여 강력한 교차 도메인 일반화 능력을 입증했습니다.
절제 연구(Ablation Studies):
- 구성 요소 분석: 비디오 전문가와의 공동 학습은 액션 전용 베이스라인보다 PDMS를 약 3.7 포인트 향상시켰습니다. RL은 이를 약 1.2 포인트 더 향상시켰습니다.
- 어텐션 마스크: 격리된 마스크는 양방향 또는 액션-투-비디오 어텐션 패턴보다 우수한 성능을 보였으며, 이는 액션 전문가에게 미래 토큰에 대한 접근이 불필요함을 확인시켜 줍니다.
- 백본 유연성: 모델은 다양한 비디오 백본(예: Wan2.1, Wan2.2, Cosmos2.5)에 대해 높은 성능을 유지하며, 최신 주행 특화 모델을 사용할 때 약간의 성능 향상이 있었습니다.
- 스케일링: 액션 전문가의 파라미터 수를 늘림에 따라(0.21B에서 1.02B로) 꾸준한 성능 향상이 나타났습니다.

5. 의의 및 주장

본 논문은 SimWAM을 절대적 우위를 주장하는 알고리즘적 돌파구라기보다는, 범용 비디오 모델의 잠재력을 탐구하기 위한 단순하고 견고한 베이스라인으로 포지셔닝합니다.

저자들의 주장은 다음과 같습니다:

학습 시점의 미래 비디오 생성은 비용이 많이 드는 테스트 시점의 미래 상상 없이도 우수한 계획 성능을 위한 효과적인 역학 감독을 제공할 수 있습니다.
분리된 아키텍처를 통해 자율 주행 커뮤니티가 계획 파이프라인을 재설계하지 않고도 비디오 생성 기술의 발전에서 쉽게 혜택을 얻을 수 있습니다.
SimWAM은 높은 계획 정확도와 낮은 추론 지연 시간 사이의 균형을 맞추며 효율적인 월드-액션 모델링을 향한 실질적인 경로를 제시합니다.

연구의 진전을 돕기 위해 코드와 모델 가중치가 공개되었습니다.