기술 요약: VideoGPA

문제 제기

최근 비디오 확산 모델 (VDM) 들은 놀라운 시각적 충실도와 일반화 능력을 달성했지만, 근본적으로 3D 구조적 일관성을 유지하는 데 어려움을 겪고 있습니다. 수십억 규모의 데이터셋으로 훈련되었음에도 불구하고, 이러한 모델들은 종종 시간에 따라 객체 변형, 공간적 드리프트, 기하학적 붕괴가 발생하는 비디오를 생성합니다. 저자들은 이러한 실패가 픽셀 수준의 통계적 매칭을 장려하지만 명시적인 기하학적 정규화는 결여된 표준 제거 (denoising) 목적 함수의 성질에서 비롯된다고 가정합니다. 결과적으로 모델들은 잠재 공간에 3D 일관성을 효과적으로 주입하지 않은 채 그럴듯한 질감을 환각 (hallucinate) 하도록 학습됩니다. 최근의 기하학 기반 모델 (GFMs) 이 2D 관측치로부터 밀집된 3D 구조를 추론할 수 있지만, 현재의 VDM 들은 생성 과정에서 이러한 사전 지식을 본질적으로 활용하지 못합니다.

방법론: VideoGPA

본 논문은 인간 주석이 필요하거나 처음부터 다시 훈련할 필요 없이 사전 훈련된 VDM 에 기하학적 사전 지식을 주입하도록 설계된 데이터 효율적이고 자기지도 학습 (self-supervised) 인 프레임워크인 **VideoGPA(Video Geometric Preference Alignment)**를 소개합니다. 이 접근법은 **직접 선호도 최적화 (Direct Preference Optimization, DPO)**를 사용하여 생성 분포를 3D 일관성 매니폴드로 정렬합니다.

1. 자기지도 학습 선호도 모델링

Human feedback 에 의존하는 대신, VideoGPA 는 보상 신호의 백본으로 기하학 기반 모델 (GFM) 을 사용하여 선호도 쌍을 자동으로 구성합니다.

• 재구성 기반 일관성: 생성된 비디오에 대해 GFM 은 밀집된 3D 구조 (점 구름) 와 카메라 포즈를 추론합니다. 그런 다음 시스템은 이 3D 구조를 다시 2D 프레임으로 투영하여 "참조" 비디오를 렌더링합니다.
• 일관성 점수: 시스템은 원래 생성된 비디오와 재투영된 참조 비디오 간의 재구성 오차 (MSE + LPIPS) 를 측정하여 3D 일관성 점수를 계산합니다. 낮은 오차는 높은 기하학적 유효성을 나타내고, 높은 오차는 기하학적 인공물을 신호합니다.
• 쌍 구성: 주어진 프롬프트에 대해 여러 비디오 샘플이 생성됩니다. 재구성 오차가 가장 낮은 샘플은 "승자"($x_w$) 로, 가장 높은 오차를 가진 샘플은 "패자"($x_l$) 로 지정됩니다.

2. 비디오를 위한 직접 선호도 최적화 (DPO)

이 프레임워크는 현대 비디오 확산 트랜스포머 (DiTs) 에서 일반적으로 사용되는 v-prediction 파라미터화에 DPO 를 적용합니다.

• 목적: 모델은 승자와 패자 샘플 간의 속도 예측 오차 차이를 최소화하도록 훈련됩니다.
• 손실 함수: DPO 손실은 승자와 패자 샘플 간의 보상 마진에 대한 음의 로그 가능도로 공식화되며, 여기서 보상은 기준 정책 (reference policy) 에 대한 속도 예측 오차 ($E$) 의 차이에서 유도됩니다.
• 효율성: 이 방법은 **LoRA(Low-Rank Adaptation)**를 사용하여 모델 파라미터의 소량 (~1%) 만 미세 조정하여 과정을 계산적으로 가볍게 만듭니다.

3. 데이터 큐레이션

훈련 데이터는 DL3DV-10K 데이터셋에서 큐레이션되었습니다.

• 이미지-비디오 (I2V): 초기 프레임을 프롬프트로 사용하고 스크립트화된 카메라 운동 원시 (예: "뒤로 당기기", "궤도 운동") 를 사용하여 기하학적 불일치가 발생할 가능성이 높은 다양한 궤적을 유도합니다.
• 텍스트-비디오 (T2V): 제약 없는 언어 입력 하에서의 정렬을 평가하기 위해 CogVLM2-Video 가 생성한 캡션을 사용합니다.
• 필터링: 모션의 중요성, 쌍 간의 충분한 기하학적 마진, 그리고 저품질 "승자"의 배제를 보장하기 위해 샘플이 필터링됩니다.

주요 기여

1. 자기지도 학습 기하학적 정렬: GFMs 를 활용하여 밀집된 자동 기하학적 선호도 신호를 생성하고, 3D 일관성 비디오 정렬에 인간 주석의 필요성을 제거하는 새로운 패러다임.
2. 장면 수준 일관성 지표: 이전 연구들이 희소 쌍 제약 (예: 에피폴라 선) 에 의존한 것과 달리, VideoGPA 는 글로벌 재투영 제약을 활용합니다. 이는 전체 장면이 단일하고 일관된 3D 설명을 허용하도록 보장하여, 지역적 지표가 놓칠 수 있는 공간적 드리프트를 방지합니다.
3. 데이터 효율적 사후 훈련: 최소한의 데이터 (~2,500 개의 선호도 쌍) 와 최소한의 파라미터 업데이트 (LoRA 를 통한 모델 가중치의 약 1%) 로 3D 일관성에서 상당한 개선을 달성할 수 있음을 입증합니다.
4. 모션 코히어런스 (Motion Coherence) 의 출현: 기하학적 일관성을 강제하는 것이 모션 매니폴드에 대한 정규화제로 작용하여, 명시적으로 정적으로 제약되지 않은 장면에서도 동적 객체 모션의 시간적 안정성과 물리적 타당성을 부수적으로 개선한다는 것을 논문은 관찰합니다.

실험 결과

CogVideoX(I2V 및 T2V 설정)와 Wan2.2에 대해 광범위한 실험이 수행되었습니다.

• 정량적 성능: VideoGPA 는 여러 지표에서 SFT, Epipolar-DPO, GeoVideo 를 포함한 베이스라인보다 일관되게 우수한 성능을 발휘합니다.
  • 3D 재구성 오차: PSNR 및 SSIM 개선, LPIPS 감소.
  • 기하학적 일관성: 더 높은 다중 뷰 일관성 점수 (MVCS) 와 더 낮은 3D 일관성 점수 (3DCS) 및 에피폴라 오차 달성.
  • 인간 선호도: 블라인드 사용자 연구에서 VideoGPA 는 I2V 에서 베이스 모델 대비 76.0% 승률, T2V 에서 **60.33%**의 승률을 기록하여 SFT 및 Epipolar-DPO 를 크게 능가했습니다.
• 정성적 개선: 시각적 분석에 따르면 VideoGPA 는 객체 분할을 효과적으로 억제하고, 카메라 운동 하에서 강체 무결성을 유지하며, 질감 깜빡임을 줄이고, 베이스라인보다 객체 속성 (색상, 재질) 일관성을 더 잘 유지합니다.
• 일반화: 이 방법은 분포 외 데이터셋 (WebVid, Panda-70M) 과 더 새로운 백본 (Wan2.2) 으로 일반화되며, 복잡한 객체 모션을 가진 동적 장면에서도 성능을 유지합니다.

중요성과 주장

본 논문은 현재 비디오 생성기들의 기하학적 실패가 아키텍처적 한계보다는 **목적 함수의 불일치 (objective misalignment)**에 크게 기인한다고 주장합니다. 기반 모델로부터의 기하학적 사전 지식을 선호도 최적화를 통해 확산 과정에 주입함으로써, VideoGPA 는 다음을 입증합니다:

1. 3D 일관성은 학습 가능합니다: 생성 파이프라인에 명시적인 구조적 사전 지식이 없어도 사전 훈련된 모델을 물리적으로 타당한 매니폴드로 유도할 수 있습니다.
2. 기하학은 모션을 안정화합니다: 기하학적 제약을 강제하는 것은 기초적인 앵커 역할을 하여, 모델이 카메라 운동을 객체 운동과 더 잘 분리하도록 돕고, 결과적으로 더 일관된 동적 생성을 가능하게 합니다.
3. 효율성: 고품질 3D 일관성 비디오 생성은 경량 사후 훈련을 통해 달성할 수 있으며, 거대 모델을 처음부터 훈련하는 계산 비용이나 인간 선호도 데이터 수집의 물류적 부담을 피할 수 있습니다.

저자들은 매우 긴 비디오 시퀀스에 대한 순방향 기하학적 재구성의 계산 비용과 관련된 한계를 인정하지만, 이는 경량 기하학 기반 모델의 미래 발전으로 해결 가능한 과제라고 제안합니다.