기술 요약: DISK – 월드 모델을 위한 동적 추론 스킵(Dynamic Inference SKipping)

1. 문제 정의

자기회귀(Autoregressive) 월드 모델, 특히 확산 트랜스포머(Diffusion Transformers, DiTs)에 기반한 모델들은 폐쇄 루프 주행(closed-loop driving)을 위한 미래 장면 콘텐츠 및 에고 모션(ego-motion) 예측에서 강력한 성능을 입증해 왔다. 그러나 이러한 모델들은 추론 지연 시간과 계산 비용이 매우 높다는 단점이 있다. 자기회귀 설정에서는 각 예측된 프레임과 궤적이 다음 단계를 결정하는 조건이 되기 때문에, 비용이 시간이 지남에 따라 누적된다. 장기 롤아웃(Long-horizon rollouts)을 위해서는 결합된 비전 및 궤적 브랜치 전반에 걸쳐 수천 번의 모델 평가가 필요하다.

기존의 가속화 방법들은 이 특정 과제를 효과적으로 해결하지 못한다:

• 고정 단계 가속화(Fixed-step acceleration) 또는 글로벌 단계 축소는 특히 폐쇄 루프 롤아웃에서 작은 오차가 누적될 때 충실도(fidelity)와 안정성을 저하시킨다.
• 학습 시 가속화 기법(예: 일관성 모델, 점진적 증류)은 값비싼 재학습이나 증류를 요구하며, 이는 기존 파운데이션 모델의 학습된 동작을 변경하지 않고도 가속화할 수 있는 "플러그 앤 플레이(plug-and-play)" 방식의 유연성을 깨뜨린다.
• 추론 시 적응 기법(예: 결정론적 정식화, 고차 ODE 솔버)은 단계별 난이도에 적응하지 못하며, 결합된 브랜치 간의 시각 및 궤적 예측을 조율하지 못한다.
• 단일 브랜치 최적화 도구(예: 조기 종료, 특징 캐싱)는 단일 네트워크 내의 계산은 최적화하지만, 크로스 모달 브랜치를 조율하지 못하여 외형(appearance)과 모션(motion) 사이의 동기화가 어긋날 위험이 있다.

핵심 과제는 모델을 재학습시키지 않으면서도, 장면의 복잡도(예: 정적인 고속도로 주행 vs. 중요한 기동)에 따라 추론 비용을 동적으로 줄이고, 생성된 비디오와 예측된 궤적 사이의 일관성을 해치지 않는 것이다.

2. 방법론

저자들은 순수하게 테스트 시점에만 작동하는 학습 불필요(training-free) 적응형 추론 모듈인 **DISK(Dynamic Inference SKipping)**를 제안한다. DISK는 두 개의 결합된 확산 트랜스포머—비디오용(Vision DiT) 및 에고-궤적용(Trajectory DiT)—를 크로스 모달 스킵 결정을 갖춘 듀얼 브랜치 컨트롤러를 통해 조율한다.

2.1. 적응형 단계별 스킵 (Adaptive Per-Step Skipping)

역시간 그리드(reverse-time grid)의 각 확산 단계 $k$에 대해, 컨트롤러는 새로운 예측을 수행할지 아니면 캐시된 것을 재사용할지를 결정한다. 결정은 **국소 부드러움 테스트(local smoothness test)**를 기반으로 한다:

• 난이도 프록시 ($d_k$): 연속된 확산 단계 사이의 잠재 상태(latent state)의 평균 절대 변화량.
• 곡률 체크 ($\Delta_k$): 잠재 진화의 국소 선형성을 측정하는 2차 유한 차분 기준. 잠재 변화가 국소적으로 아핀(affine) 형태라면(낮은 곡률), 해당 단계는 예측 가능한 것으로 간주된다.
• 스킵 결정: 만약 $\Delta_k \leq \theta \cdot d_{k+1}$ 이면 ($\theta$는 허용 오차 임계값), 해당 단계는 스킵되고 캐시된 예측이 재사용된다. 그렇지 않으면 전체 포워드 패스가 수행된다.

안전 가드 (Safety Guards): 오차 누적과 퇴보적 동작을 방지하기 위해 세 가지 가드가 강제된다:

1. 웜업 ($W$): 처음 $W$ 단계 동안은 의무적으로 계산을 수행한다.
2. 연속 스킵 제한 ($C_{max}$): 드리프트(drift)를 방지하기 위해 연속적인 스킵 횟수를 제한한다.
3. 정체 임계값 ($\epsilon$): 잠재 변화가 수치적으로 매우 작을 경우(0에 근접), 계산을 강제하여 정체된 상태에서의 무한 스킵을 방지한다.

2.2. 크로스 모달 조율 (Cross-Modal Coordination)

개별적으로 브랜치를 스킵하면 외형과 모션이 동기화되지 않을 수 있다. DISK는 **단방향 안전 게이트(unidirectional safety gate)**를 도입한다:

• 궤적 컨트롤러는 자체 안전 가드를 모니터링한다. 궤적 브랜치가 복잡한 기동을 만나 안전 조건이 트리거되면, 신호 $\sigma^{(t)}_k$가 발생한다.
• 단방향 결합: 만약 $\sigma^{(t)}_k = 1$ 이면, 비전 브랜치는 자신의 부드러움 테스트와 관계없이 강제로 계산을 수행해야 한다. 이는 복잡한 에고 모션이 그에 상응하는 시각적 변화와 함께 렌더링되도록 보장한다.
• 비대칭성: 시각적 복잡도는 궤적 계산을 강제하지 않는다. 이는 궤적 브랜치가 일반적으로 더 빠르다는 점을 고려하여 처리량을 우선시하면서도, 느린 비디오 브랜치가 중요한 기동을 따라가지 못하는 상황을 방지하기 위함이다.

2.3. 자기회귀 안정성 (Autoregressive Stability)

장기 롤아웃을 안정화하기 위해, DISK는 컨트롤러 통계량을 자기회귀 체인을 통해 전파한다. 각 롤아웃 단계 $s$ 이후, 요약 정보(계산/스킵 횟수 및 안전 분율)가 다음 단계로 전달된다. 두 브랜치의 최대 안전 분율로부터 크로스 모달 난이도 점수($\beta_s$)가 계산된다. 이 점수는 이후 단계의 웜업 윈도우와 스킵 임계값을 동적으로 조정하여, 어려운 기동 후에는 계산 윈도우를 확장하고 장면이 안정되면 다시 완화한다.

3. 주요 기여

1. 학습 불필요 적응형 프레임워크: 기존 파운데이션 모델의 가중치를 변경하거나 재학습시키지 않고, 적응형 단계별 스킵 결정을 사용하여 비전 및 궤적 DiT를 조율하는 방법이다.
2. 크로스 모달 스킵 조율: 단방향 안전 게이트와 컨트롤러 통계량의 전파를 통해 비전과 궤적 브랜치를 조화시켜, 장기 롤아웃 중 모션-외형 일관성을 보장한다.
3. 연쇄적 포워드 셀프 컨디셔닝 유지: DISK는 스킵을 수행하면서도 자기회귀 루프의 무결성을 유지함으로써, 폐쇄 루프 주행의 과제를 명시적으로 해결한다.

4. 실험 결과

이 방법은 NVIDIA L40S GPU를 사용하여 NuPlan 및 NuScenes 데이터셋의 1500개 샘플에 대해 평가되었으며, Epona 월드 모델(2.5B 파라미터 모델)에 통합되었다.

4.1. 추론 속도

• 궤적 브랜치 (TrajDiT): 약 2배의 속도 향상을 달성했다 (단계당 ~20ms에서 ~10ms로 감소).
• 비전 브랜치 (VisDiT): 약 1.6배의 속도 향상을 달성했다 (단계당 ~244ms에서 ~155ms로 감소).
• 전체: 동일한 모델 아키텍처를 유지하면서 총 단계당 지연 시간을 크게 줄였다.

4.2. 플래닝 성능

• 오픈 루프 (Open-Loop): DISK는 베이스라인과 거의 동일한 L2 변위 오차를 유지했다 (예: L2@3s: 0.3007 vs. 0.3011).
• 폐쇄 루프 (Closed-Loop, NAVSIM): DISK는 예측 드라이버 모델 점수(PDMS)에서 경쟁력 있는 결과를 보여주었다.
  • 베이스라인 PDMS: 85.4
  • DISK PDMS: 83.6
  • 하위 지표(NC, DAC, TTC, Comf, EP)에서 미미한 하락만을 보여, 안전성과 주행 가능성이 보존되었음을 나타냈다.

4.3. 시각적 품질

• 지표: FID는 7.5에서 12.5로, FVD는 82.8에서 88.1로 약간 증가했다.
• 정성적 평가: 지표의 변화에도 불구하고, 시각적 비교 결과 생성된 비디오는 베이스라인과 "시각적으로 구분이 불가능"했으며 높은 시간적 일관성을 보였다.

4.4. 절제 연구 (Ablation Studies)

• 임계값 ($\theta$): $\theta=0.01$이 속도 향상(~2.03배)과 품질 사이의 최적의 균형점으로 식별되었다.
• 최대 연속 스킵 ($C_{max}$): $C_{max}=4$가 최적의 트레이드오프를 제공했다. 더 높은 값(예: 8)은 속도를 높였으나 시각적 안정성을 저하시켰다 (FID 12.65).
• 웜업 ($W$): $W=3$이면 충분했다. $W=0$은 유사한 지표를 보였으나 초기 불안정성 위험이 있었고, $W=5$는 품질 향상 없이 효율성을 떨어뜨렸다.

5. 의의 및 주장

본 논문은 DISK가 현저히 낮은 비용으로 실용적인 장기 비디오 및 궤적 예측을 수행함을 입증한다고 주장한다. 주요 의의는 다음과 같다:

• 플러그 앤 플레이 효율성: 값비싼 재학습이나 증류 없이도 기존 파운데이션 모델을 가속화할 수 있는 방법을 제공한다.
• 동적 적응: 고정 단계 방식과 달리, DISK는 장면의 복잡도에 따라 계산 할당을 조정하여, 단순한 프레임에서는 자원을 절약하고 중요한 기동 중에는 정밀도를 유지한다.
• 폐쇄 루프 생존 능력: 크로스 모달 브랜치를 조율하고 난이도 통계량을 전파함으로써, 오차 누적이 치명적인 실패 모드인 폐쇄 루프 주행에 필요한 안정성을 성공적으로 유지한다.

저자들은 시각적 지표(FID/FVD)에서 약간의 트레이드오프가 발생하지만, 상당한 속도 향상과 보존된 플래닝 정확도를 통해 DISK가 실시간 자율 주행 시뮬레이션 및 플래닝 파이프라인의 에너지 및 지연 시간 예산을 줄이는 데 실행 가능한 솔루션임을 결론지었다.