자율주행차를 가르치려면 실제 도로에서 수천 번을 주행해봐야 하지만, 이는 위험하고 비쌉니다. 그래서 컴퓨터 안에서 가상으로 주행하게 하는데, 기존 기술에는 세 가지 큰 **'치명적인 결함'**이 있었습니다.
기억 상실증 (Cold Start):
비유: 운전자가 갑자기 눈을 떠서 "지금 차가 어디에 있고, 앞으로 어떻게 움직일지"를 전혀 모른 채 출발하는 상황입니다.
문제: 기존 시뮬레이터는 매번 새로운 장면을 만들 때 과거의 움직임을 기억하지 못해, 차가 갑자기 멈추거나 급격하게 움직이는 등 비현실적인 '충격 (Jerk)'을 줍니다.
느린 렌더링 (Sampling Latency):
비유: 게임에서 화면을 그릴 때 1 초에 10 번만 그려서 화면이 끊기는 상황입니다.
문제: 복잡한 도로와 차량을 그리려면 컴퓨터가 많은 계산을 해야 해서, 실시간으로 차가 달리는 속도를 따라가지 못했습니다.
오류의 누적 (Compounding Drift):
비유: 지도를 그리다가 한 줄씩 어긋나서, 10km 를 가면 원래 길이 아닌 엉뚱한 곳으로 이어지는 상황입니다.
문제: 짧은 거리는 괜찮지만, 1km 이상을 주행하면 작은 오류들이 쌓여 차가 도로를 벗어나거나 벽에 부딪히는 등 현실과 동떨어진 결과가 나옵니다.
2. VectorWorld 의 해결책: "실시간 스트리밍 세계"
VectorWorld 는 이 세 가지 문제를 해결하기 위해 세 가지 핵심 기술을 도입했습니다.
① "기억력"을 불어넣다: 상호작용 상태 인터페이스
비유: 새로운 배우가 영화 세트장에 들어올 때, 단순히 "여기 서 있어"라고 하는 게 아니라, "이전 장면에서 어떻게 달렸는지"를 알려주고 시작하는 것과 같습니다.
기술: VectorWorld 는 새로 생성되는 차량 (NPC) 에게 **짧은 과거의 움직임 기록 (운동 코드)**을 함께 줍니다. 이를 통해 자율주행차가 "아, 이 차는 지금 가속 중이구나"라고 자연스럽게 반응하게 만들어, 시작할 때의 충격을 없앱니다.
② "마법 같은 한 방"으로 그리는 기술: 솔버 프리 (Solver-Free) 생성
비유: 기존 방식은 그림을 그릴 때 "연필로 100 번 덧칠하고 지우고"를 반복해서 완성했다면, VectorWorld 는 스케치북을 한 번만 넘기면 완성된 그림이 나오는 마법입니다.
기술: 복잡한 수학적 계산 (솔버) 을 여러 번 거치지 않고, **한 번의 계산 (MeanFlow)**으로 도로와 차량의 벡터 그래프를 즉시 완성합니다. 덕분에 64m × 64m 크기의 도로 조각을 약 6 밀리초 (0.006 초) 만에 그려낼 수 있어, 실시간 주행에 완벽하게 맞습니다.
③ "물리 법칙"을 지키는 NPC: ΔSim (델타 심)
비유: 시뮬레이션 속 다른 차들이 "현실에서는 절대 못 하는 기동" (예: 90 도 급회전) 을 하면 시뮬레이션이 망가집니다. VectorWorld 의 NPC 는 물리 법칙을 위반하지 않는 선에서만 행동하도록 훈련받았습니다.
기술: 다른 차들이 움직일 때, "이런 행동은 차가 넘어질 수 있으니 금지"라는 물리 법칙을 학습에 포함시켰습니다. 덕분에 1km 이상을 주행해도 차가 도로를 벗어나거나 부딪히는 오류가 쌓이지 않습니다.
3. 어떻게 작동하나요? (스트리밍 아웃페인팅)
VectorWorld 는 마치 화려한 벽화 (Mural) 를 그리는 예술가처럼 작동합니다.
초기화: 자율주행차 (Ego) 가 있는 64m × 64m 크기의 작은 공간 (타일) 을 먼저 그립니다. 이때 과거의 기억을 바탕으로 차들을 자연스럽게 배치합니다.
스트리밍 (Streaming): 차가 앞으로 나아가면, 앞쪽의 빈 공간 (프런티어) 을 실시간으로 그려냅니다. 이미 그린 부분은 건드리지 않고 (Clamp), 앞쪽만 계속 채워 넣습니다.
연결: 이렇게 계속 그려나가면, 1km 이상의 긴 도로가 자연스럽게 이어집니다. 중간에 끊어지거나 엉뚱한 길이 생기는 일이 없도록 '도로 연결성'을 철저히 관리합니다.
4. 왜 이것이 중요한가요?
안전성: 실제 도로에서 위험한 상황을 겪지 않고, 컴퓨터 안에서 수천 번의 '스트레스 테스트'를 통해 자율주행 알고리즘을 단련할 수 있습니다.
효율성: 1km 이상의 긴 거리를 실시간으로 시뮬레이션할 수 있어, 실제 주행과 거의 동일한 환경에서 테스트가 가능합니다.
성공률: 실험 결과, VectorWorld 에서 훈련된 자율주행 알고리즘은 기존 시뮬레이터보다 성공률이 25% 에서 56% 로 크게 향상되었습니다.
요약
VectorWorld는 자율주행차 개발을 위해 **"기억력"**을 주고, **"마법 같은 속도"**로 장면을 그리며, **"물리 법칙"**을 철저히 지키는 새로운 시뮬레이터입니다. 이는 마치 게임에서 배경이 끊기지 않고 실시간으로 무한히 펼쳐지는 것처럼, 자율주행차가 안전하게 배울 수 있는 완벽한 가상 세계를 만들어냅니다.
VectorWorld: 벡터 그래프 기반 확산 흐름을 통한 효율적인 스트리밍 월드 모델
이 논문은 자율주행 정책의 폐루프 (closed-loop) 평가 및 훈련을 위해 설계된 VectorWorld라는 새로운 스트리밍 월드 모델을 제안합니다. 기존 생성형 월드 모델이 폐루프 시뮬레이션에서 겪는 초기화 불일치, 실시간 지연, 장기적 안정성 문제를 해결하여, 1km 이상의 긴 주행 거리를 실시간으로 시뮬레이션할 수 있는 기술을 제시합니다.
1. 문제 정의 (Problem)
자율주행 정책의 폐루프 평가는 단순한 로그 재생 (log replay) 을 넘어 상호작용이 가능한 시뮬레이션이 필요합니다. 그러나 기존 생성형 월드 모델들은 다음과 같은 세 가지 주요 제약으로 인해 폐루프 환경에서 성능이 저하됩니다.
히스토리 없는 초기화 (History-free Initialization): 많은 생성 모델이 t=0 시점의 정적 스냅샷을 출력합니다. 하지만 반응형 정책 (reactive policies) 은 짧은 운동 이력을 기반으로 작동하므로, 초기화 시 이력 정보가 부족하면 '콜드 스타트' 현상이 발생하여 급격한 가속/감속 (jerk) 이나 불안정한 상호작용이 일어납니다.
샘플링 지연 (Sampling Latency): 확산 (Diffusion) 기반 솔버는 구조화된 레인 - 에이전트 그래프를 생성하기 위해 많은 디노이징 단계를 필요로 합니다. 이는 실시간 스트리밍 아웃페인팅 (outpainting) 예산 (보통 30ms 이내) 을 초과하여 온라인 시뮬레이션에 부적합합니다.
장기적 운동학적 비실현성 (Long-horizon Kinematic Infeasibility): 짧은 구간에서는 무시할 수 있는 미세한 운동학적 위반 (kinematic violations) 이도 킬로미터 단위의 롤아웃 (rollout) 동안 누적되어 (compounding drift), 시뮬레이션이 붕괴되거나 비현실적인 동작을 유발합니다.
2. 방법론 (Methodology)
VectorWorld 는 벡터 그래프 (Vector Graph) 표현을 기반으로 하며, 세 가지 핵심 혁신을 통해 위 문제들을 해결합니다.
2.1. 상호작용 상태 인터페이스 (Interaction-State Interface)
운동 인식 게이트드 VAE (Motion-Aware Gated VAE): 에이전트의 상태를 정적 상태 (위치, 속도, 크기 등) 와 운동 히스토리 코드 (짧은 시간의 궤적) 로 구성합니다.
게이팅 메커니즘: 정지된 에이전트에는 운동 히스토리 노이즈가 섞이는 것을 방지하기 위해 학습된 게이트 (gate) 를 통해 정적 상태와 운동 코드를 선택적으로 융합합니다.
효과: 이는 정책이 요구하는 히스토리 조건에 맞는 '웜 스타트 (warm-start)' 입력을 제공하여 초기화 시의 불일치와 급격한 움직임을 방지합니다.
2.2. 엣지 게이트드 관계형 DiT (Edge-Gated Relational DiT)
구조적 일관성: 레인 (Lane) 과 에이전트 (Agent) 는 이질적인 벡터 그래프 노드로 표현되며, 레인 간 연결성 (L2L), 에이전트 간 (A2A), 레인 - 에이전트 간 (L2A) 관계가 엣지로 정의됩니다.
엣지 조건부 어텐션: 표준 어텐션 메커니즘 대신, 엣지 특징 (edge features) 을 기반으로 어텐션 점수에 **가산 편향 (additive bias)**을 적용하고 값 벡터에 **곱셈 게이트 (multiplicative gate)**를 적용합니다.
효과: 이는 마스크된 완성 (masked completion) 과정에서 레인 토폴로지와 에이전트 - 레인 정렬이 깨지는 것을 방지하여, 스트리밍 아웃페인팅 시 구조적 드리프트를 억제합니다.
2.3. 구간 조건부 MeanFlow 및 JVP 기반 1-스텝 샘플링
솔버 프리 (Solver-free) 생성: 실시간 요구사항을 충족하기 위해 반복적인 ODE 솔버 없이 한 번의 스텝으로 잠재 공간 (latent space) 을 완성합니다.
MeanFlow 와 JVP: 구간 조건부 (interval-conditioned) MeanFlow 를 사용하여 평균 속도를 예측하고, **야코비안 - 벡터 곱 (JVP, Jacobian-Vector Product)**을 통해 1-스텝 전송의 오차를 보정합니다.
효과: 대규모 스텝 (large-step) 전송에 최적화되어, 64m × 64m 타일 생성을 약 6ms 내에 완료하며 실시간 스트리밍을 가능하게 합니다.
2.4. 물리 정렬 NPC 정책 (∆Sim)
하이브리드 행동 모델: 이산 (discrete) 토큰과 연속 (continuous) 잔차 (residual) 를 결합한 하이브리드 행동 헤드를 사용합니다.
미분 가능 운동학적 로짓 셰이핑 (Differentiable Kinematic Logit Shaping): 추론 시 운동학적 비용 (가속도, 곡률 등) 을 로짓에 반영하여 물리적으로 불가능한 행동을 억제합니다.
DKAL (Differentiable Kinematic Alignment Loss): 훈련 단계에서 로짓 분포와 운동학적 비용이 정렬되도록 하여, 추론 시의 휴리스틱에만 의존하지 않도록 합니다.
효과: 킬로미터 단위의 긴 시뮬레이션 동안 운동학적 위반이 누적되는 것을 방지하여 안정적인 폐루프 롤아웃을 보장합니다.
3. 주요 기여 (Key Contributions)
히스토리 정렬 초기화 인터페이스: 운동 인식 게이트드 VAE 를 통해 정책의 히스토리 조건과 일치하는 초기 상태를 생성합니다.
구조적 일관성 유지 생성기: 엣지 게이트드 관계형 DiT 를 통해 레인 토폴로지와 에이전트 - 레인 관계를 보존하며 생성합니다.
실시간 솔버 프리 생성: JVP 기반 MeanFlow 를 통해 고품질의 1-스텝 마스크 완성을 가능하게 하여 실시간 스트리밍을 지원합니다.
장기적 안정성 확보: 물리 정렬 NPC 정책 (∆Sim) 을 통해 장기 롤아웃에서의 운동학적 비실현성을 해결합니다.
성능 입증: Waymo Open Motion 및 nuPlan 데이터셋에서 기존 방법 대비 지도 구조 충실도 향상, 초기화 유효성 개선, 1km 이상 안정적인 폐루프 롤아웃 (약 6ms/타일) 을 달성했습니다.
4. 실험 결과 (Results)
오프라인 생성 품질: Waymo 및 nuPlan 데이터셋에서 VectorWorld 는 기존 벡터 기반 생성기 (SLEDGE, ScenDream) 보다 **엔드포인트 거리 (EPD)**와 초기 충돌률을 크게 개선했습니다. (예: nuPlan EPD 0.250m → 0.078m, 충돌률 9.30% → 3.01%)
실시간 효율성: 64m × 64m 타일 생성에 약 6ms가 소요되어 실시간 스트리밍 예산 (≤30ms) 을 충족합니다. 반면, 기존 확산 기반 모델은 100ms 이상 소요되거나 품질이 급격히 떨어집니다.
폐루프 시뮬레이션:
IDM(규칙 기반) 드라이버: VectorWorld 에서 1km 주행 시 성공률이 51.4% 로 높고, 저크 (jerk) 가 9.6 으로 낮아 안정성이 입증되었습니다.
PPO 정책 훈련: VectorWorld 에서 재훈련된 PPO 정책은 가장 어려운 설정에서 성공률을 **25.0% 에서 56.0%**로 크게 향상시켰으며, 다른 백엔드 (로그 재생, ScenDream) 로의 전이 (transfer) 성능도 우수했습니다.
스트레스 테스트: VectorWorld 는 기존 시뮬레이터보다 더 많은 실패 사례를 발견하면서도, 이러한 실패가 실제 로그 데이터와 유사한 유형 (Type Agreement 78.5%) 을 보여 현실적인 안전 평가 도구임을 입증했습니다.
5. 의의 및 결론 (Significance)
VectorWorld 는 자율주행 연구의 핵심 병목인 고충실도이면서 실시간인 폐루프 시뮬레이션 문제를 해결합니다.
실시간성: 기존 확산 모델의 다단계 샘플링 한계를 극복하여, 온라인 시뮬레이션 엔진으로 즉시 배포 가능한 속도를 제공합니다.
안정성: 초기화 불일치와 장기적 운동학적 누적을 체계적으로 해결하여, 킬로미터 단위의 긴 주행 시나리오를 안정적으로 생성할 수 있습니다.
정책 훈련 가치: 생성된 시나리오를 통해 훈련된 정책이 실제 환경 (로그 재생) 에서도 성능이 향상됨을 보여, 시뮬레이션에서 실제 차량으로의 전이 (Sim-to-Real) 가능성을 높였습니다.
이 연구는 자율주행 정책의 스트레스 테스트, 반사실적 (counterfactual) 평가, 그리고 데이터 효율적인 훈련을 위한 강력한 도구로서, 학습 기반 시뮬레이션의 새로운 표준을 제시합니다.