기술 요약: X-Foresight

문제 제기

본 논문은 자율주행 분야에서 현재 Vision-Language-Action(VLA) 모델이 가진 한계, 즉 반응적 성격과 물리적 세계에 대한 깊은 이해의 부재를 다룹니다. VLA 모델은 인식과 제어를 통합하지만, 미래 상태를 예측하지 못해 충돌 회피 및 복잡한 시나리오 탐색에 어려움을 겪습니다.

VLA 모델에 물리적 세계 지식을 부여하기 위해 저자들은 비디오 데이터를 활용한 예측적 세계 모델링을 제안합니다. 그러나 비디오에 표준적인 다음 프레임 예측을 적용할 경우 두 가지 근본적인 과제가 발생합니다:

1. 낮은 엔트로피와 중복성: 이산적인 텍스트 토큰과 달리 비디오 토큰은 매우 중복적입니다. 단순한 다음 프레임 예측은 의미 있는 물리적 역학을 학습하는 대신 사소한 외삽으로 퇴화하는 경향이 있습니다.
2. 시간적 딜레마: 효과적인 세계 모델링은 순간적 역학(밀집된 단기 프레임 예측 필요) 과 장기적 인과관계(가변적이고 긴 시간 범위에 걸쳐 전개됨) 를 모두 포착해야 합니다. 밀집된 예측은 긴 시간 범위에서 계산 비효율적이며, 희소 예측은 즉각적인 역학을 포착하지 못합니다.

방법론

저자들은 VLA 아키텍처에 직접 통합된 예측적 세계 모델인 X-Foresight를 소개합니다. 이는 Large Drive Model(LDM) 과 Vision Renderer라는 두 가지 구성 요소 시스템을 통해 세계 모델링과 실시간 동작 제어를 공동으로 학습합니다.

1. Large Drive Model (LDM)

LDM 은 통합 토큰 공간에서 작동하는 자기회귀형 트랜스포머로, 다중 뷰 카메라 관측, 언어 지시, 그리고 자차 상태를 처리합니다.

• 긴 시간 범위를 위한 청크 단위 자기회귀 전략: 시간적 딜레마를 해결하기 위해, 모델은 단일 프레임이 아닌 "청크"(일반적으로 1 초 간격) 단위로 미래 토큰을 예측합니다.
  • 청크 내부 (Intra-chunk): 청크 내 프레임은 밀집되어 순간적 역학을 포착합니다.
  • 청크 간 (Inter-chunk): 청크 간 전이는 장기적 인과관계를 효율적으로 포착하기 위해 희소합니다.
  • 이 전략은 모델이 의미적으로 먼 미래 상태를 예측하도록 강제하면서도 국소적 운동 충실도를 유지함으로써 사소한 외삽을 방지합니다.
• 다중 모달 프롬프팅: 입력은 시스템 프롬프트를 followed by 텍스트, 관측 (비디오) 토큰, 동작/상태 토큰, 그리고 쿼리 토큰을 포함하는 시간적 청크로 구성됩니다.
• 학습 혁신:
  • 커리큘럼 학습: 모델은 짧은 시간 범위 (연속된 청크) 로 시작하여 청크 간 시간 간격 (1 초에서 3 초로) 을 점차 늘려 긴 시간 범위로 확장하는 방식으로 점진적으로 학습됩니다.
  • 시간적 중요도 샘플링 (TIS): 균일한 샘플링 대신, 자차의 가속도 (종방향 및 횡방향) 에서 도출된 중요도 점수에 기반하여 학습 데이터가 샘플링됩니다. 이는 일상적인 주행이 아닌 안전에 치명적인 전이 (예: 제동, 차선 변경) 에 초점을 맞춥니다.
  • 반-인과적 블록 희소 어텐션: 긴 시퀀스를 효율적으로 처리하기 위해, 모델은 청크 내에서는 양방향 어텐션을 허용하고 이전 청크에는 인과적 접근을 허용하는 블록 희소 어텐션 마스크를 사용하여 시퀀스 길이에 대한 계산 복잡도를 2 차에서 선형으로 줄입니다.
• 학습 목적: LDM 은 동작, 카메라, BEV 손실의 가중 합을 사용하여 미래 동작, Bird's-Eye-View(BEV) 표현, 그리고 카메라 잠재 토큰을 예측하도록 최적화됩니다.

2. Vision Renderer

LDM 은 압축된 잠재 토큰을 출력하지만, 이는 광실감 폐루프 피드백에는 부족합니다. 전용 Vision Renderer가 이러한 토큰을 고충실도 다중 뷰 이미지로 디코딩합니다.

• 아키텍처: 정류 흐름 (rectified-flow) 목적 하에 훈련된 3D 인과 VAE 를 기반으로 한 Diffusion Transformer(DiT) 에 기반합니다.
• 분리된 설계: 렌더러는 동작 토큰이 아닌 LDM 의 예측된 카메라 토큰과 다중 뷰 히스토리에만 조건부입니다. 이는 렌더러가 동작 토큰을 저엔트로피 단서로 악용하는 것을 방지하여 LDM 의 "상상"이 합성을 주도하도록 보장합니다.
• 정렬: 렌더러는 두 단계로 훈련됩니다: 먼저 정답 동작 (Stage II) 에 훈련한 후, 교사 강제 (teacher-forcing) 훈련과 추론 시 롤아웃 간의 격차를 해소하기 위해 LDM 의 예측 토큰으로 미세 조정 (Stage III) 됩니다.
• 드리프트 완화: 긴 롤아웃 중 오류 누적을 방지하기 위해 잠재 싱크 (latent sinks) 와 잠재 증강과 같은 기법이 사용됩니다.

주요 기여

1. 청크 단위 자기회귀 전략: 밀집된 청크 내부 역학과 희소한 청크 간 인과관계를 균형 있게 조화시키는 새로운 예측 메커니즘으로, 비디오 세계 모델링의 엔트로피 및 시간적 딜레마를 효과적으로 해결합니다.
2. 확장된 예지력을 갖춘 커리큘럼 학습: 예측 청크 간 시간 간격을 점진적으로 늘려 긴 시간 범위 예측을 안정화하는 점진적 학습 일정입니다.
3. 시간적 중요도 샘플링: 훈련 중 안전에 치명적인 시간적 전이를 우선시하는 하이브리드 샘플링 메커니즘으로, 모델이 의사결정과 관련된 역학을 학습하는 능력을 향상시킵니다.
4. 확산 기반 다중 뷰 렌더러: 잠재 토큰에서 광실감 주변 뷰 세부 사항을 재구성하여 LDM 의 구조적 이해를 훼손하지 않으면서 고충실도 폐루프 추론을 가능하게 하는 전용 모듈입니다.

실험 결과

저자들은 7 개 카메라 뷰에 걸쳐 약 28 만 시간의 주행 데이터 (34M 클립, 13.8T 토큰) 로 구성된 산업 규모 데이터셋에서 X-Foresight 를 평가했습니다.

• 계획 성능: 반응적 VLA 베이스라인에 비해 X-Foresight 는 계획 안전성과 준수를 크게 개선했습니다.
  • 충돌률: 16.2% 감소 (0.228% 에서 0.191% 로).
  • 안전성 및 준수: 각각 9.1% 와 8.2% 개선.
  • 궤적 정확도: 횡방향/종방향 ADE(6.4%/3.6%) 및 FDE(8.8%/4.1%) 감소 달성.
• 생성 충실도: Vision Renderer 는 1 초 시간 범위에서 FID 1.51 및 FVD 11.28의 높은 이미지 품질을 달성했습니다. 6 초 시간 범위에서도 성능이 견고하게 유지되었으며 (FID 2.84, FVD 29.52), 최소한의 드리프트 누적을 나타냅니다.
• 정성적 분석: 모델은 베이스라인이 놓친 미래 사건을 성공적으로 예측했습니다. 예를 들어, 긴 시간 범위 지시에 기반한 다중 출구 회전교차로 탐색 및 도착 전에 신호등이 초록불로 바뀔 것으로 예측된 교차로 통과 등이 있습니다.
• 효율성: 제안된 블록 희소 어텐션 구현은 FlashAttention-2 대비 훈련 처리량에서 1.59 배의 속도 향상을 달성했습니다.

중요성 및 주장

본 논문은 X-Foresight 가 지식 기반 자율 시스템을 위한 강력한 패러다임을 확립했다고 주장합니다. 예측적 세계 모델링을 VLA 아키텍처에 직접 통합함으로써, 시스템은 반응적 제어를 넘어 사전적, 예지 기반 의사결정으로 이동합니다.

저자들은 그들의 접근 방식이 실시간 응답성을 희생하지 않으면서 물리적 역학과 장기적 인과관계를 성공적으로 내재화했다고 강조합니다. "상상"(LDM) 과 "렌더링"(Renderer) 의 분리는 모델이 추상적 세계 표현을 학습하면서도 폐루프 제어에 필요한 픽셀 수준의 충실도를 제공할 수 있게 합니다. 이 연구는 적절한 학습 전략 (커리큘럼 학습, 중요도 샘플링) 과 아키텍처 설계 (청크 단위 예측, 희소 어텐션) 를 통해 비디오 기반 세계 모델을 산업 규모 데이터 수준으로 확장하여 자율주행의 안전성과 일반화를 크게 향상시킬 수 있음을 보여줍니다.