기술 요약: 주행 월드 모델을 위한 학습 불필요 노름 주입 (Training-Free Norm Injection)

문제 정의

대규모 비디오 확산 백본(video-diffusion backbones)에 기반한 주행 월드 모델은 현실적인 센서 스트림을 생성할 수 있지만, 결정적인 제어 능력의 부재라는 문제를 겪고 있다. 교통 규범(예: 속도 제한 준수, 충돌 회피)을 강제하기 위한 현재의 최첨단 전략들은 일반적으로 새로운 제약 조건마다 백본을 미세 조정(fine-tuning)하거나, 훈련 과정에서 내재된 수동 제작 레이아웃(지도, 바운딩 박스)에 모델을 조건화(conditioning)해야 한다. 이러한 접근 방식은 규모를 확장하는 데 비용이 많이 들며, 배포된 모델이 샘플링 시점에 규칙을 추가하거나 우선순위를 재설정하는 것을 방지한다. 저자들은 핵심적인 질문을 던진다: 제어력을 갖추기 위해 반드시 학습이 필요한가? 구체적으로, 고정된(frozen) 월드 모델을 샘플링 시점의 개입만으로 주행 규범을 만족하도록 유도할 수 있는가?

방법론

본 논문은 rectified-flow 주행 월드 모델에 적용되는 학습 불필요 에너지 가이던스(training-free energy guidance) 접근 방식을 제안한다.

1. 모델 아키텍처

백본은 LoRA를 통해 공동으로 디노이징(denoise)하도록 사후 훈련된 고정된 Open-Sora 2.0 MM-DiT(Multi-Modal Diffusion Transformer) 모델이다. 이 모델은 다음을 공동으로 디노이징한다:

• 미래 비디오 프레임 (이미지 스트림).
• 계획된 에고 궤적(planned ego trajectory) $x_{ego} \in \mathbb{R}^{T \times d}$ (텍스트 스트림, 여기서 $T=40$ 프레임이며 $d=4$ 구성 요소인 $x, y, \theta, v$로 이루어짐).
  결정적으로, 이 모델은 에이전트나 지도 정보 없이 오직 관측된 과거 프레임에만 의존하여 훈련되었다.

2. 학습 불필요 가이던스 메커니즘

저자들은 에너지 기반 가이던스의 개념을 rectified-flow 모델에 적응시켰다. 재학습 대신, 각 샘플링 단계에서 예측된 깨끗한 에고 궤적 $\hat{x}_0$에 대해 미분 가능한 에너지 함수 $E(\cdot)$를 평가하여 주행 노름을 주입한다.

과정은 다음과 같다:

1. 일단계 추정(One-Step Estimation): 시간 단계 $t$에서, 모델은 학습된 속도 필드 $v_\theta$를 사용하여 깨끗한 샘플 $\hat{x}_0$를 추정한다:
   $$\hat{x}_0(x_t, t) = x_t - t \cdot v_\theta(x_t, t)$$
2. 에너지 경사 하강(Energy Descent): 반사실적 타겟(예: 느린 선행 차량을 시뮬레이션하는 브레이킹 타겟)으로의 평균 제곱 오차(MSE) 인력을 최소화하기 위해 깨끗한 궤적 공간에서 그래디언트 단계를 수행한다:
   $$\hat{x}'_0 = \hat{x}_0 - \lambda(t) \nabla_{\hat{x}_0} E(\hat{x}_0)$$
   여기서 $E(\hat{x}_0)$는 반사실적 타겟(예: 브레이킹 타겟)에 대한 MSE 인력으로 정의된다.
3. 속도 수정(Velocity Correction): 업데이트된 추정치는 샘플링 ODE를 위한 속도 수정값으로 변환된다:
   $$v' = \frac{x_t - \hat{x}'_0}{\max(t, t_{min})}$$
4. 안정화(Stabilization): 궤적이 데이터 매니폴드에서 벗어나는 것을 방지하기 위해(샘플링 초기 단계에서 $\hat{x}_0$가 부정확할 때 발생하는 알려진 문제), 단계별 가이던스 수정은 백본 자체의 속도의 고정된 배수로 제한된다. 비대칭 스케줄 $\lambda(t)$를 사용하여 $t=0$과 $t=1$ 근처에서는 가이던스를 0으로 설정함으로써 수치적 불안정성을 피하고 사전 지식(prior)이 전역 구조를 확립할 수 있도록 한다.

주요 기여

1. 정식화(Formulation): 저자들은 주행 노름 준수를 고정된 rectified-flow 월드 모델에 대한 학습 불필료 에너지 가이던스 문제로 프레임화하여, 지식이 전적으로 샘플링 시점에 추가될 수 있음을 입증했다.
2. 경험적 검증: 이 방법이 Open-Sora 2.0을 기반으로 구축된 월드 모델의 에고 궤적을 재학训练 없이도 반사실적 브레이킹 타겟(후방 충돌 회피 시나리오 시뮬레이션)으로 성공적으로 유도함을 보여준다.
3. 아키텍처 통찰: 본 논문은 현재의 결합 생성 아키텍처의 결정적인 한계를 식별한다. 즉, 궤적은 성공적으로 유도되지만, 생성된 비디오는 유도된 궤적을 따르지 않는다. 저자들은 이를 비디오 스트림이 궤적 스트림에서 유도된 변화를 전달하지 못하는 특정 교차 스트림 결합(joint self-attention) 메커즘 때문이라고 분석한다.

실험 결과

저자들은 35개의 샘플 클립에 대해 반사실적 브레이킹 타겟을 사용하여 방법을 평가했다:

• 궤적 제어: 가이던스는 궤적에 대해 매우 효과적이었다. 가이드된 궤적은 브레이크 타겟으로부터 평균 1.3미터 거리에 종료된 반면, 가이드되지 않은(사실적인) 궤적은 13.6미터 차이를 보였다.
• 비디오 일관성: 에고 궤적의 상당한 변화에도 불구하고, 생성된 비디오는 이 변화를 반영하지 못했다. 가이드된 비디오와 가이드되지 않은 비디오 사이의 프레임당 광학 흐름(optical flow) 차이는 통계적으로 구별할 수 없는 수준이었다(클립 간 변동 노이즈 범위 내인 $\lesssim 2\%$ 변화).
• 결과에 대한 결론: "유도된 계획이 픽셀을 움직이지 못한다." 현재의 아키텍처 하에서는 비디오 스트림이 궤적 스트림으로부터 분리된 상태로 남아 있다.

의의 및 주장

본 논문은 주행 노름 준수에 재학습이 필요하지 않음을 주장한다. 고정된 월드 모델은 미분 가능한 에너지 함수를 사용하여 샘플링 시점에 계획된 에고 궤적을 유도할 수 있다. 이는 배포된 모델이 새로운 규칙에 적응하거나 안전 제약 조건을 동적으로 우선순위화할 수 있는 경로를 제공한다.

그러나 저자들은 현재의 **엔드 투 엔드 제어력(end-to-end controllability)**에 대해서는 신중한 태도를 보인다. 그들은 비디오 생성이 유도된 궤적을 아직 따르지 못한다는 점을 명시적으로 밝힌다. 저자들은 (수정된 모델의 바이패스된 싱글 스트림 블록을 포함한) 교차 스트림 결합을 핵심 장애물로 식나이트한다. 논문은 진정한 엔드 투 엔드 제어 가능한 롤아웃을 달ắt하기 위해서는 비디오와 궤적 스트림의 더 깊은 공동 디노이징이 필요하며, 두 스트림을 백본의 싱글 스트림 블록을 통하도록 라우팅하는 것이 필수적인 다음 단계라고 결론짓는다.

이 연구는 궤적 전용 모델에 적용되었던 기존의 학습 불필요 가이던스와, 훈련 시 조건화가 필요했던 기존의 제어 가능한 월드 모델 사이의 가교 역할을 하며, 완전한 의미론적 제어를 위해 해결해야 할 아키텍처적 간극을 강조한다.