X-World: Controllable Ego-Centric Multi-Camera World Models for Scalable End-to-End Driving

이 논문은 자율주행의 확장 가능하고 재현 가능한 평가를 위해 제안된 X-World 를 소개하며, 이는 제어 가능한 다중 카메라 세계 모델로서 행동 명령과 선택적 장면 제어를 기반으로 현실적인 미래 비디오 스트림을 생성하고 시야 간 일관성과 장기적인 시간적 안정성을 보장합니다.

핵심

X-World: 자율주행차를 위한 '가상 현실 영화 제작소'

이 논문은 XPeng(샤오펑) 의 연구팀이 개발한 'X-World' 라는 기술을 소개합니다. 이를 쉽게 이해하기 위해, 자율주행 기술을 배우는 과정을 '연기 배우가 대본을 연습하는 과정' 에 비유해 보겠습니다.

1. 왜 이 기술이 필요한가요? (현실의 문제점)

지금까지 자율주행차를 개발할 때는 실제 도로에 차를 타고 나가서 수많은 상황을 겪어봐야 했습니다.

• 문제점: 비가 오거나, 눈이 오거나, 갑자기 사람이 튀어나오는 '위험한 상황'을 실제로 경험하려면 비용이 너무 많이 들고, 사고 날 위험도 있습니다. 또한, 같은 상황을 반복해서 재현하기도 어렵습니다.
• 비유: 연기 배우가 무서운 폭풍우 장면을 연기해야 하는데, 매번 실제 폭풍우를 기다리며 촬영해야 한다면 얼마나 비효율적이고 위험할까요?

2. X-World 란 무엇인가요? (해결책)

X-World는 바로 그 '가상의 폭풍우와 위험한 상황'을 완벽하게 만들어주는 시뮬레이터입니다. 하지만 기존 시뮬레이터와 다른 점이 있습니다.

• 기존 시뮬레이터: 3D 그래픽으로 만든 '게임' 같은 느낌입니다. (예: 그랜드 테프트 오토)
• X-World: 실제 카메라로 찍은 것처럼 생생한 '비디오'를 만들어냅니다. AI 가 "앞으로 가라", "좌회전 해라"라고 명령하면, AI 가 그 명령에 맞춰 앞, 뒤, 좌, 우 7 개의 카메라 화면을 동시에 실시간으로 만들어냅니다.

3. 어떻게 작동하나요? (핵심 기능)

X-World 는 마치 마법 같은 영화 감독처럼 작동합니다.

① 명령에 따른 미래 예측 (Action Controllability)

• 상황: 운전자가 "오른쪽으로 차선을 변경해"라고 명령합니다.
• X-World 의 반응: "네, 알겠습니다."라고 말하며, 앞으로 10 초 뒤의 모든 카메라 화면을 그 명령대로 만들어냅니다. 차가 오른쪽으로 움직이고, 옆에 있던 다른 차들이 어떻게 반응하는지, 도로 표지판이 어떻게 변하는지 모두 실제 영상처럼 보여줍니다.

② 상황 바꾸기 (Controllability)

이 기술의 가장 놀라운 점은 상황을 마음대로 바꿀 수 있다는 것입니다.

• 동적 요소 제어: "저기 있던 차를 없애고, 대신 자전거를 튀어나오게 해줘"라고 하면, AI 가 그 자전거를 만들어내고 그 자전거가 튀어나오는 장면을 생성합니다.
• 정적 요소 제어: "도로 표지판을 다르게 해줘"나 "비가 오게 해줘"라고 하면, 배경과 날씨를 즉시 바꿉니다.
• 비유: 영화 촬영장에서 감독이 "오늘 비가 오지 않고 눈이 오게 바꿔줘"라고 하면, 세트장 전체가 순식간에 눈 덮인 풍경으로 변하는 것과 같습니다.

③ 여러 카메라의 일치 (Multi-Camera Consistency)

자율주행차는 앞, 뒤, 좌, 우에 카메라가 여러 개 달려 있습니다.

• 문제: 만약 앞카메라에서 차가 오른쪽으로 갔는데, 뒷카메라에서는 차가 왼쪽으로 가는 것처럼 보인다면? 이는 말이 안 됩니다.
• X-World 의 장점: 7 개의 카메라가 서로 완벽하게 일치하는 영상을 만들어냅니다. 앞카메라에서 차가 지나가면, 옆카메라에서도 그 차가 자연스럽게 지나가는 것을 볼 수 있습니다. 마치 하나의 거대한 영화 세트에서 여러 각도로 찍은 것처럼 자연스럽습니다.

4. 이 기술로 무엇을 할 수 있나요? (활용 분야)

1) 안전한 '위험 상황' 훈련 (RL 학습)

실제 도로에서는 절대 시도할 수 없는 위험한 상황 (예: 갑자기 아이가 튀어나옴) 을 X-World 에서 수만 번 반복해서 연습시킬 수 있습니다. 자율주행 AI 가 "아, 이런 상황에선 이렇게 멈춰야구나"라고 배우는 것입니다.

2) '만약에 (Counterfactual)' 테스트

"만약 내가 그 차를 피하지 않고 그대로 갔다면 어떻게 됐을까?"라는 질문을 던져볼 수 있습니다. 같은 출발점에서 다른 결정을 내렸을 때의 결과를 미리 영상으로 확인하여, AI 의 판단이 안전한지 검증할 수 있습니다.

3) 전 세계 데이터 제작

한국이나 중국에서 찍은 운전 데이터를 가지고, X-World 에 "유럽 스타일로 바꿔줘"라고 명령하면, 유럽의 도로 표지판과 좌측 통행 규칙이 적용된 새로운 데이터를 만들어낼 수 있습니다. 이를 통해 해외 진출 시 현지 데이터를 모으는 시간을 획기적으로 줄일 수 있습니다.

5. 요약: X-World 의 핵심 가치

X-World 는 단순히 영상을 만드는 것이 아니라, 자율주행 AI 를 위해 '현실과 구별이 안 될 정도로 완벽한 가상 현실'을 실시간으로 만들어주는 엔진입니다.

• 실제 도로 테스트의 대안: 비용과 위험 없이 수만 번의 훈련 가능.
• 조절 가능한 미래: 원하는 대로 날씨, 교통 상황, 차량 행동을 바꿀 수 있음.
• 생생한 영상: 게임 그래픽이 아닌, 실제 카메라로 찍은 듯한 고화질 영상 생성.

결론적으로, X-World 는 자율주행 기술이 더 안전하고 똑똑해지기 위해 필요한 '가상의 연습장' 을 제공하며, 우리가 더 빠른 속도로 안전한 자율주행 시대를 맞이할 수 있게 도와주는 혁신적인 기술입니다.

기술 요약

X-World: 자율주행을 위한 제어 가능한 이기-중심 (Ego-Centric) 다중 카메라 월드 모델

1. 문제 정의 (Problem Statement)

자율주행의 '엔드 - 투 - 엔드 (End-to-End)' 시대가 도래함에 따라, 비전 - 언어 - 액션 (VLA) 정책이 원시 센서 스트림을 직접 주행 행동으로 매핑하는 방식이 주류를 이루고 있습니다. 그러나 이러한 시스템의 확장 가능하고 신뢰할 수 있는 평가 및 훈련 인프라는 여전히 심각한 병목 현상에 직면해 있습니다.

• 기존 평가의 한계: 현재의 평가 파이프라인은 비용이 많이 들고, 시나리오 커버리지가 제한적이며, 재현이 어려운 실제 도로 테스트에 크게 의존합니다.
• 편향과 재현성 부족: 실제 테스트는 지리적, 기상적 조건 및 교통 밀도에 편향되어 있으며, 안전에 치명적인 희귀 사건 (Corner Cases) 을 포착하기 어렵습니다.
• 엔드 - 투 - 엔드 시스템의 특수성: 모듈식 파이프라인과 달리, 엔드 - 투 - 엔드 정책은 중간 출력물이 아닌 폐쇄 루프 (closed-loop) 주행 결과로 평가되므로, 미세한 분포 변화와 누적 오류에 매우 민감합니다.
• 필요한 솔루션: 제안된 행동에 따라 미래의 관측치를 현실적으로 생성하면서도, 제어 가능하고 장기적으로 안정적이며 재현 가능한 '실제 세계 시뮬레이터'가 절실히 필요합니다.

2. 방법론 (Methodology)

저자들은 X-World를 제안했습니다. 이는 비디오 공간에서 직접 미래 관측치를 생성하는 행동 조건부 (action-conditioned) 다중 카메라 생성형 월드 모델입니다.

2.1 모델 아키텍처 및 설계

X-World 는 최신 비디오 생성 모델인 WAN 2.2를 기반으로 구축되었으며, 다음과 같은 핵심 설계 요소를 포함합니다.

• 잠재 비디오 생성 (Latent Video Generation): 고압축 3D 인과적 VAE (Variational Autoencoder) 를 사용하여 공간 16 배, 시간 4 배의 압축 비율을 달성했습니다. 이는 계산 효율성을 높이고 긴 비디오 시퀀스 학습을 가능하게 합니다.
• 다중 뷰 - 시간 자기 주의 (View-Temporal Self-Attention): 여러 카메라와 시간 단계에 걸쳐 잠재 토큰 (latent tokens) 간 상호작용을 명시적으로 모델링합니다. 이를 통해 카메라 간 기하학적 일관성 (geometric consistency) 과 시간적 일관성 (temporal coherence) 을 보장합니다.
• 분리된 교차 주의 (Decoupled Cross-Attention): 이질적인 조건 신호 (행동, 동적 에이전트, 정적 도로 요소, 텍스트 프롬프트 등) 간의 간섭을 최소화하기 위해 각 조건 모달리티별로 별도의 교차 주의 (cross-attention) 브랜치를 할당합니다.
• 조건 주입 (Condition Injection):
  • 자율주행 차량 (Ego) 행동: 속도, 곡률, 롤, 피치 등의 운동학적 상태를 정규화 및 푸리에 특징 인코딩 후 주입하여 인과적으로 일관된 미래 시뮬레이션을 가능하게 합니다.
  • 동적 에이전트 및 정적 요소: 탐지 모델에서 추출한 객체의 카테고리 및 좌표를 인코딩하여 교차 주의를 통해 주입합니다.
  • 텍스트 프롬프트: 날씨, 시간대 등 전역적인 외관 (appearance) 을 제어하기 위해 기존 WAN 2.2 의 텍스트 조건화 브랜치를 유지합니다.

2.2 학습 파이프라인 (Two-Stage Training)

실시간 상호작용과 장기 시뮬레이션을 위해 2 단계 학습 전략을 사용합니다.

1. Stage I (양방향 I2V 학습): WAN 2.2 를 초기화하여 정밀한 제어 능력을 갖춘 양방향 (bidirectional) 월드 모델을 학습합니다. 짧은 클립에 대해 고품질의 다중 카메라 미래를 생성하는 데 중점을 둡니다.
2. Stage II (인과적 Few-Step 학습): Stage I 모델을 실시간 스트리밍 시뮬레이터로 변환합니다.
   • Chunk-wise Causal Architecture: 시간을 청크 (chunk) 단위로 나누어, 현재 청크는 과거 컨텍스트에만 의존하도록 인과적 (causal) 구조로 변경합니다.
   • Self-Forcing Training: 그라운드 트루 (Ground Truth) 대신 모델이 스스로 생성한 과거 데이터를 기반으로 학습 (Self-forcing) 하여, 장기 롤아웃 시 발생하는 누적 오류 (compounding errors) 를 줄입니다.
   • Rolling KV Cache: 고정 크기의 캐시를 사용하여 긴 시퀀스 생성 시 메모리 효율성을 유지하면서도 최근 컨텍스트를 유지합니다.

2.3 데이터

• 데이터 포맷: 7 개의 동기화된 카메라 (전방, 후방, 측면 등) 로부터 수집된 10 초 분량의 고충실도 주행 시퀀스.
• 멀티모달 정보: 비디오 스트림, 동적 객체 궤적, 정적 도로 요소, VLM(비전 언어 모델) 에 의해 생성된 텍스트 설명.
• 태깅: 환경, 정적 요소, 동적 요소, 차량 행동에 대한 세분화된 3 단계 레이블Taxonomy 를 구축하여 데이터 분포를 정밀하게 제어합니다.

3. 주요 기여 (Key Contributions)

1. 제어 가능한 다중 카메라 월드 모델: 제안된 행동과 선택적 조건 (동적/정적 요소, 텍스트) 에 따라 미래의 다중 카메라 비디오 스트림을 생성합니다.
2. 강력한 일관성 및 제어성:
   • 뷰 일관성: 여러 카메라 간 기하학적 구조와 객체 정체성이 일관되게 유지됩니다.
   • 행동 충실도: 명령된 차량 행동 (선회, 차선 변경 등) 을 정확하게 따르는 미래 시나리오를 생성합니다.
   • 장기 안정성: 24 초 이상의 긴 시퀀스에서도 드리프트 (drift) 없이 안정적인 생성이 가능합니다.
3. 스트리밍 및 상호작용 인터페이스: 실시간 폐쇄 루프 평가와 온라인 강화 학습 (RL) 을 지원하기 위해, 전체 클립을 한 번에 생성하는 것이 아닌 점진적 (autoregressive) 스트리밍 생성 방식을 채택했습니다.
4. 시나리오 편집 및 스타일 전이: 텍스트 프롬프트를 통해 날씨나 시간대를 변경하는 등 외관 스타일 전이를 수행하면서도, 행동과 장면 역동성은 유지할 수 있습니다.

4. 실험 결과 (Results)

• 행동 제어력 (Ego Action Controllability): 동일한 초기 장면에서 다른 행동 (예: 우회전 vs 좌회전) 을 입력하면, 해당 행동에 부합하는 일관된 미래 비디오가 생성됨을 확인했습니다.
• 동적/정적 요소 제어: 다른 차량의 위치나 도로 표지판 등을 조건으로 지정하면, 차량의 움직임과 카메라 각도 변화에도 불구하고 지정된 요소가 일관되게 유지되는 것을 시각적으로 입증했습니다.
• 장기 생성: 24 초 이상의 긴 시퀀스에서도 시간적 안정성과 뷰 간 일관성을 유지하며, Stage I 의 짧은 클립 훈련을 넘어선 장기 시뮬레이션이 가능함을 보였습니다.
• 다중 카메라 일관성: 다양한 카메라 (광각, 좁은 시야 등) 에서 생성된 비디오가 기하학적으로 정렬되어 있고 객체 식별이 일관됨을 확인했습니다.
• 전역 외관 편집: 텍스트 프롬프트를 통해 날씨나 시간대를 변경하는 C2V(Condition-to-Video) 생성이 성공적으로 이루어졌습니다.

5. 의의 및 응용 (Significance & Applications)

X-World 는 엔드 - 투 - 엔드 자율주행 시스템의 개발과 평가에 있어 혁신적인 도구로 작용합니다.

• 폐쇄 루프 평가 엔진: VLA 2.0 정책의 안전성과 성능을 가상 환경에서 반복적으로 테스트할 수 있습니다. 특히, 실제 데이터에는 없는 '반사실적 (counterfactual)' 시나리오 (예: 정차한 차를 우회하는 행동, 갑자기 튀어나오는 자전거 등) 를 생성하여 정책의 대응 능력을 평가할 수 있습니다.
• 온라인 강화 학습 (RL) 환경: 위험한 상황이나 희귀 사례 (Corner Cases) 에서 안전하게 정책을 미세 조정 (fine-tuning) 하고, 복구 행동을 학습할 수 있는 환경을 제공합니다.
• 대규모 데이터 합성: 실제 차량으로 수집하기 어려운 극한 날씨, 희귀 객체, 해외 도로 환경 (제로샷 스타일 전이) 등의 데이터를 생성하여 훈련 데이터의 다양성을 확보하고 장꼬리 (long-tail) 문제를 해결합니다.

결론적으로, X-World 는 단순한 비디오 생성 모델을 넘어, 확장 가능하고 재현 가능하며 상호작용적인 '실제 세계 시뮬레이터'로서의 역할을 수행하여 자율주행 기술의 신뢰성과 안전성을 높이는 데 기여합니다.