기술 요약: VPT – 역할 인지형 공동 학습 및 모달리티 분리 디노이징을 통한 비디오 물리적 일관성 향상

1. 문제 정의

현대적인 비디오 확산 모델(Video Diffusion Models)은 풍부한 시각적 세부 사항을 가진 고해상도 비디오를 생성하는 데 있어 놀라운 성공을 거두었습니다. 그러나 복잡한 동적 장면에서 **장기적인 물리적 일관성(long-range physical consistency)**을 유지하는 데는 어려움을 겪고 있습니다. 표준 픽셀 재구성 목적 함수는 고주파수 외형 세부 사항을 우선시하기 때문에, 장면의 근본적인 물리 법칙을 포착하는 데 실패하는 경우가 많습니다. 결과적으로, 생성된 비디오는 비현실적인 궤적, 부자연스러운 변형, 또는 일관되지 않은 물질 간 상호작용(예: 와인 병에서 액체가 중력을 거스르거나 부자연스럽게 변형되며 쏟아지는 현상)을 보일 수 있습니다.

보조 모달리티(예: 광학 흐름/Optical Flow)를 통합하여 공동 학습(Joint Training)을 통해 이를 해결하려는 최근의 시도들은 세 가지 결정적인 한계에 직면해 있습니다:

1. 이질적 역학 무시 (Heterogeneous Dynamics Ignored): 기존 방법들은 움직임을 균일하게 취급하여, 서로 다른 물리적 역할을 수행하는 개체들(예: 능동적 에이전트, 제어되는 객체, 수동적 객체, 배경)을 구분하지 못합니다.
2. 용량 충돌 (Capacity Conflict): 시각적 외형과 보조 모달리티를 공동으로 모델링하면 최적화 충돌이 발생합니다. 모델이 보조 신호에 적합하도록 학습됨에 따라 시각적 디노이징 손실이 증가하며, 이는 사전 학습된 시각적 사전 지식(Visual Prior)을 약화시켜 시각적 품질 저하나 생성 붕괴(Generation Collapse)를 초래합니다.
3. 추론 시 오류 누적 (Inference-Time Error Accumulation): 추론 과정에서 보조 모달리티는 모델 자체에 의해 재귀적으로 예측되어야 합니다. 보조 모달리티 예측은 시각적 생성보다 성숙도가 낮기 때문에, 이러한 예측에서의 미세한 오류가 디노이징 단계 전반에 걸쳐 전파되고 증폭되어 불안정한 움직임 생성을 유발합니다.

2. 방법론: VPT 프레임워크

저자들은 사전 학습된 비디오 확산 모델에 물리적 사전 지식을 주입하면서도 시각적 품질을 보존하도록 설계된 경량 파인튜닝 프레임워크인 **VPT (Video Physical-consistency Tuning)**를 제안합니다. VPT는 세 가지 핵심 구성 요소로 이루어져 있습니다:

A. 역할 인지형 공동 표현 (Role-Aware Joint Representation)

VPT는 단순히 밀집된 광학 흐름 필드(Dense Optical Flow Field)에 의존하는 대신, 장면 내 개체를 네 가지 뚜렷한 물리적 역할로 분류하는 **역할 인지 맵(Role-aware map)**을 도입합니다:

• 에이전트 (Agents): 행동을 시작하는 개체.
• 제어되는 객체 (Controlled Objects): 에이전트에 의해 조작되는 개체.
• 수동적 객체 (Passive Objects): 외부 힘의 영향을 받는 개체.
• 배경 (Background): 정적이거나 상호작용하지 않는 영역.

이러한 역할들은 밀집 맵으로 인코딩되어 광학 흐름 및 비디오 잠재 공간(Latent)과 결합됩니다. 이 표현 방식은 모델이 상당한 모델링 오버헤드 없이도 개체별 역학 및 상호작용(예: 공을 능동적으로 잡는 에이전트 vs 공의 충격에 수동적으로 반응하는 공)을 구분할 수 있게 해줍니다.

B. 보조 손실 어닐링을 통한 모달리티 분리 디노이징 (Modality-Decoupled Denoising with Auxiliary Loss Annealing)

단순한 공동 학습에서 발견되는 용량 충돌 및 의존성 문제를 해결하기 위해, VPT는 두 가지 전략을 사용합니다:

1. 모달리티 분리 디노이징 (Modality-Decoupled Denoising): 모든 모달리티에 대해 공유된 확산 타임스텝을 강제하는 기존 방식과 달리, VPT는 비디오, 광학 흐름, 역할 인지 신호에 각각 독립적인 타임스텝($t_v, t_f, t_r$)을 할당합니다. 이 분리는 보조 모달리티를 "하드(Hard)" 디노이징 대상에서 "소프트(Soft)" 물리적 제약 조건으로 변환하여, 보조 예측이 불완전하더라도 시각적 브랜치가 사전 학습된 사전 지식을 유지할 수 있도록 합니다.
2. 보조 손실 어닐링 (Auxiliary Loss Annealing): 파인튜닝 중에 보조 손실의 가중치($\lambda$)를 코사인 스케줄에 따라 점진적으로 감소시킵니다. 훈련 초기에는 모델이 움직임 구조와 역할 인지 편향을 학습하지만, 후기에는 시각적 사전 지식을 보존하는 데 집중함으로써 모델이 잠재적으로 노이즈가 섞인 보조 신호에 과도하게 의존하는 것을 방지합니다.

C. 교차 단계 자동 가이드 (Cross-Step Auto-Guidance)

추론 시 노이즈가 섞인 재귀적 보조 예측에 의존하지 않고 물리적 역학을 더욱 향상시키기 위해, VPT는 교차 단계 자동 가이드를 도입합니다. 이 기술은 중간 단계의 모델(이전 파인튜닝 단계의 모델)을 참조 모델로 사용하여 최종 모델을 가이드합니다. 최종 모델의 생성 방향을 중간 모델에 대해 외삽(Extrapolate)함으로써, 보조 모달리티에 대한 표준 내부 가이드(Inner-guidance)와 관련된 오류 누적을 피하면서 학습된 물리적 역학을 증폭합니다.

3. 주요 기여

• 역할 인지 표현 (Role-Aware Representation): 에이전트, 제어되는 객체, 수동적 객체, 배경의 이질적 역학을 명시적으로 모델링하는 경량 세만틱 앵커를 도입하여 균일한 움직임 모델링의 한계를 해결했습니다.
• 분리된 훈련 전략 (Decoupled Training Strategy): 타임스텝을 분리하고 보조 손실을 어닐링하여 용량 충돌을 완화하고 사전 학습된 시각적 사전 지식의 저하를 방지하는 새로운 훈련 패러다임을 제시했습니다.
• 강건한 추론 메커니즘 (Robust Inference Mechanism): 보조 모달리티의 재귀적 예측에 따른 오류 누적 위험 없이 물리적 일관성을 개선하는 교차 단계 자동 가이드를 사용했습니다.
• 최첨단 성능 (State-of-the-Art Performance): VPT는 시각적 품질을 경쟁력 있게 유지하면서 물리적 일관성 벤치마크에서 상당한 개선을 달술했습니다. 이는 물리적 사전 지식이 전체 재학습이 아닌 타겟팅된 파인튜닝을 통해 효과적으로 주입될 수 있음을 입증합니다.

4. 실험 결과

저자들은 VideoPhy 및 VideoPhy-2 벤치마크(Semantic Adherence [SA] 및 Physical Commonsense [PC] 측정)와 일반적인 비디오 품질을 측정하는 VBench 제품군에서 VPT를 평가했습니다.

• 물리적 일관성: Wan2.1-T2V-1.3B 백본을 사용한 VideoPhy 벤치마크에서, VPT는 SA를 47.7에서 66.5로, PC를 21.2에서 25.0으로 향상시켰습니다. VideoPhy-2에서는 SA를 19.3에서 22.5로, PC를 53.7에서 55.1로 향상시켰습니다. 더 큰 14B 백본에서도 유사한 이득이 관찰되었습니다.
• 시각적 품질: 시각적 품질을 저하시키는 경우가 많은 단순 공동 학습이나 전체 파인튜닝과 달리, VPT는 VBench에서 종합 점수 79.58(베이스라인 76.93 대비)을 달성하며 시각적 품질을 유지하거나 개선했습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 다음을 확인했습니다:
  • 단순 공동 학습은 시각적 붕괴를 초래합니다.
  • 역할 인지 맵은 광학 흐름만 사용할 때보다 유의미한 이득을 제공합니다.
  • 교차 단계 자동 가이드는 보조 모달리티를 이용한 내부 가이드보다 더 나은 물리적 일관성을 제공합니다.
  • 사전 학습된 비디오 VAE는 광학 흐름과 역할 맵을 충실히 재구성할 수 있으며, 이는 공유된 잠재 공간 접근 방식의 타당성을 입증합니다.

5. 의의 및 주장

본 논문은 VPT가 사전 학습된 비디오 확산 모델의 물리적 일관성을 향상시키는 효과적이고 경량화된 솔루션임을 주장합니다. 모달리티를 분리하고 개체의 역할을 명시적으로 모델링함으로써, VPT는 베이스 모델의 시각적 충실도나 프롬프트 준수 능력을 저해하지 않으면서 물리 인식형 사전 지식을 성공적으로 주입합니다.

저자들은 자신들의 접근 방식이 이전의 공동 학습 방법들이 가진 함정(용량 충돌 및 오류 누적)을 피하며, 물리적 역할의 명시적 모델링이 현실적인 상호작용 역학을 위해 매우 중요하다는 점을 강조합니다. 이 연구는 향후 비디오 생성 모델이 대규모 사전 학습이나 복잡한 시뮬레이션 기반 파이프라인에만 의ole하지 않고도, 타겟팅된 파인튜닝 전략을 통해 월드 모델(World-model)과 같은 일관성을 달성할 수 있음을 시사합니다.

저자가 인정한 한계점:

• 본 프레임워크는 자동으로 추출된 광학 흐름과 VLM 기반의 역할 할당에 의존하므로, 이러한 상위 도구의 오류가 물리적 사전 지식 학습에 영향을 미칠 수 있습니다.
• 계산 능력의 제한으로 인해 실험은 현재 Wan2.1 백본과 표준 벤치마크에 국한되어 있습니다.
• 기존 물리 비디오 데이터셋의 규모 제한으로 인해 실질적으로 더 큰 데이터셋에서의 파인튜닝 탐색이 어렵습니다.