기술 요약: 자기 정제 비디오 샘플링

문제 정의

현대 비디오 생성기, 특히 확산 및 흐름 매칭 (flow matching) 기반 모델들은 초기 단계의 세계 모델로서 크게 발전했습니다. 그러나 이들은 여전히 복잡한 물리적 역학에 직면하여 물리적으로 현실적인 출력을 생성하는 데 어려움을 겪습니다. 일반적인 문제로는 운동의 불일치, 비현실적인 객체 상호작용, 그리고 시간적 아티팩트가 포함됩니다.

이러한 문제를 완화하기 위한 기존 접근법들은 다음과 같은 중대한 한계에 직면해 있습니다:

• 외부 검증기: 외부 모델 (예: LLM 또는 물리 엔진) 을 이용한 거부 샘플링 (rejection sampling) 방식은 낮은 수용률로 인해 계산 비용이 매우 높으며, 종종 도메인 일반성이 부족합니다.
• 추가 학습: 합성 데이터 또는 증강 데이터셋에 대한 미세 조정을 포함하는 사후 학습 전략은 상당한 계산 자원과 고품질의 도메인 특화 데이터를 요구합니다.
• 세밀한 운동: 현재 방법들은 정밀한 운동 역학을 정확하게 포착하는 데 어려움을 겪어, 로봇 조작과 같은 실세계 작업에 대한 적용 가능성을 제한합니다.

중요하게도, 자신의 토큰 출력을 반복적으로 비판하고 수정할 수 있는 대규모 언어 모델 (LLM) 과는 달리, 비디오 생성기는 비디오 데이터의 높은 차원과 시간적 결합으로 인해 비판 및 수정을 위한 명시적인 내부 피드백 신호가 부족합니다.

방법론: 자기 정제 비디오 샘플링

저자들은 사전 학습된 비디오 생성기를 자신의 자기 정제기로 활용하는 학습이 없는 추론 시 방법인 **자기 정제 비디오 샘플링 (Self-Refining Video Sampling)**을 제안합니다. 핵심 접근법은 흐름 매칭 목적 함수를 시간 조건부 **디노이징 오토인코더 (DAE)**로 재해석하고, 반복적인 내부 루프 정제 과정을 도입합니다.

1. 예측 및 교란 (Predict-and-Perturb, P&P)

이 방법은 흐름 매칭과 DAE 간의 연결을 활용합니다. 추론 중 임의의 고정된 노이즈 수준 $t$에서 모델은 디노이저로 작용합니다. 저자들은 2 단계 반복 루프를 도입합니다:

• 예측 (Predict): 모델은 학습된 벡터장을 사용하여 현재 노이즈 상태 $z_t$로부터 깨끗한 엔드포인트 잠재 변수 $\hat{z}_1$을 예측합니다.
  $$\hat{z}_1 = z_t + (1-t)u_\theta(z_t, t)$$
• 교란 (Perturb): 예측된 깨끗한 잠재 변수에 노이즈 $\epsilon$을 추가하여 동일한 노이즈 수준 $t$로 다시 교란시킵니다.
  $$z_{t}^{(k+1)} = t \hat{z}_1^{(k)} + (1-t)\epsilon$$

이 예측 및 교란 (P&P) 사이클은 학습된 비디오 분포의 고밀도 영역으로 잠재 표현을 반복적으로 유도하는 의사-기브스 마르코프 체인 (pseudo-Gibbs Markov chain) 을 생성합니다. 개념적으로 이는 외부 모델을 필요로 하지 않고 생성을 시간적으로 일관성 있고 물리적으로 타당한 상태로 끌어당깁니다. 정제는 주로 거친 운동과 구조가 결정되는 샘플링 궤적의 초기 단계 (낮은 노이즈 수준) 에 적용됩니다.

2. 불확실성 인식 정제

여러 P&P 반복의 단순한 적용은 분류기 없는 가이드 (CFG) 효과의 누적으로 인해 정적 영역 (예: 배경) 에서 특히 과포화 및 아티팩트를 초래할 수 있습니다. 이를 해결하기 위해 저자들은 불확실성 인식 P&P를 제안합니다:

• 자기 일관성 측정: 이 방법은 연속된 P&P 반복 간의 재구성 예측을 비교하여 불확실성 맵을 계산합니다. 높은 분산 (낮은 자기 일관성) 을 보이는 영역은 불확실한 영역으로 식별됩니다.
• 선택적 정제: 신뢰도 임계값 $\tau$에 기반하여 불확실성 마스크가 생성됩니다. P&P 정제는 불확실한 영역 (일반적으로 움직이는 객체) 에만 적용되며, 확신 있는 영역 (정적 배경) 은 보존됩니다.
• 효율성: 이 전략은 표준 샘플링 단계에서 계산된 예측을 재사용함으로써 추가적인 네트워크 함수 평가 (NFEs) 없이 구현됩니다.

주요 기여

1. 학습이 없는 자기 정제: 본 논문은 외부 검증기, 추가 학습, 또는 도메인 특화 데이터 없이 추론 시 사전 학습된 비디오 생성기가 자신의 출력을 정제하는 새로운 패러다임을 제시합니다.
2. 예측 및 교란 (P&P) 프레임워크: 흐름 매칭과 DAE 간의 이론적 연결을 확립하여 반복적인 내부 루프 정제를 가능하게 하며, 운동 일관성과 물리적 타당성을 향상시키는 국부 검색 메커니즘으로 효과적으로 작용합니다.
3. 불확실성 인식 전략: 저자들은 모델의 내부 자기 일관성 신호에 기반하여 불확실하고 운동 관련 영역만 선택적으로 정제함으로써 과도한 정제로 인한 아티팩트를 방지하는 메커니즘을 개발했습니다.
4. 광범위한 적용성: 이 방법은 다양한 최첨단 흐름 매칭 모델 (예: Wan2.1, Wan2.2, Cosmos-2.5) 과 호환되며, 기존 ODE 솔버에 플러그 앤 플레이 방식으로 통합될 수 있음이 입증되었습니다.

실험 결과

저자들은 여러 벤치마크에 걸쳐 최첨단 비디오 생성기에서 자신의 방법을 평가했습니다:

• 운동 일관성 (Dynamic-bench 및 VideoJAM-bench):
  • Dynamic-bench(체조 및 다중 객체 상호작용과 같은 까다로운 운동) 에서 이 방법은 기본 샘플러 대비 인간 선호도에서 73.57% 승리율을, 학습이 없는 가이드 방법인 FlowMo 대비 **70.57%**를 달성했습니다.
  • 자동화 지표 (VBench) 는 운동 일관성 및 일관성 점수에서 상당한 개선을 보여주었습니다.
• 물리적 현실감 (로봇공학 및 PAI-Bench):
  • 이미지-비디오 (I2V) 로봇공학 작업에서 이 방법은 기본 ODE 샘플러 대비 그립 성공률을 Cosmos 의 경우 +11.0%, Wan 의 경우 +8.4% 향상시켰습니다.
  • 검증기 기반 거부 샘플링 (best-of-4) 보다 우수한 성능을 보였으며, 계산 오버헤드는 훨씬 낮았습니다 (추론 시간 1.5 배 vs 4.0 배).
• 물리 정렬 (VideoPhy2 및 PhyWorldBench):
  • 인간 평가는 물리적 상식에 관해 기본 샘플러 대비 이 방법의 출력에 대한 84% 선호도를 보여주었습니다.
  • PisaBench 실험에서 이 방법은 베이스라인보다 더 정확한 자유 낙하 궤적을 생성했습니다.
• 공간 일관성:
  • 이 방법은 큰 카메라 운동 (예: 360 도 회전) 이 포함된 비디오에서 공간 일관성을 크게 향상시켜 표준 솔버보다 장면 콘텐츠를 더 잘 보존했습니다.
• 시각적 추론:
  • 이 방법은 그래프 탐색 작업의 성공률을 0.1 에서 0.8 로 향상시켰으나, 미로 해결과 같은 이산적 의미 작업에서는 제한적인 개선을 보였으며, 이는 정제의 국부 검색 특성을 강조합니다.

중요성 및 주장

본 논문은 자기 정제 비디오 샘플링이 기존 사전 학습된 비디오 생성기를 향상시키기 위한 실용적이고 광범위하게 적용 가능한 접근법을 제공한다고 주장합니다. 생성기 자신의 학습된 사전 지식을 자기 정제기로 재사용함으로써, 이 방법은 추가 학습이나 외부 검증 시스템의 계산적 부담 없이 운동 일관성, 물리적 타당성, 그리고 공간 일관성에서 상당한 개선을 달성합니다.

저자들은 이 접근법이 대규모 비디오 생성 모델의 최근 발전을 보완하며, 로봇 조작 및 물리 시뮬레이션과 같은 실세계 응용을 위해 비디오 생성을 더 신뢰할 수 있게 만드는 원칙 있는 샘플링 전략을 제공한다고 강조합니다. 또한 이 방법은 시간적 불일치 및 운동 오류를 수정하는 데 효과적인 국부 검색으로 작용하지만, 이산적 의미 정확성이 필요한 작업의 전역 계획 (global planning) 을 대체할 수는 없다고 지적합니다.