기술 요약: 에피폴라 기하학(Epipolar Geometry)을 통한 비디오 생성 모델 개선

문제 정의

텍스트 및 이미지 조건으로부터 현실적인 콘텐츠를 생성하는 데 있어 상당한 진전을 이룬 현대의 비디오 생성 모델, 특히 rectified flow 기법으로 학습된 잠재 확산 트랜스포머(latent diffusion transformers) 기반 모델들은 큰 성과를 거두었습니다. 그러나 이러한 모델들은 근본적인 기하학적 불일치, 불안정한 움직임, 그리고 현실적인 3D 장면의 환상을 깨뜨리는 시각적 아티팩트(artifact) 문제로 어려움을 겪고 있습니다. 본질적으로 3D 일관성을 가진 방대한 데이터셋으로 학습되었음에도 불구하고, 모델들은 기본적인 기하학적 원칙을 포착하지 못하여 불완전한 기하 구조와 원근법적 결함을 가진 콘텐츠를 생성하곤 합니다.

3D 일관성을 향상시키려는 기존의 접근 방식들은 다음과 같은 몇 가지 한계에 직면해 있습니다:

• 노이즈 최적화(Noise Optimization): 노이즈 최적화나 포인트 클라우드를 통한 명시적 가이드에 의존하는 방법은 생성 능력을 제한할 수 있습니다.
• 잠재 공간 최적화(Latent-Space Optimization): 잠재 공간에서 직접적인 기하학적 손실(loss)을 계산하는 것은 어렵습니다.
• 주관적 정렬(Subjective Alignment): 인간의 선호도 데이터(예: 강화 학습을 통한)를 사용하는 사후 학습 정렬은 노이즈가 섞인 신호를 도입하고, 수집 비용이 많이 들며, 3D 일관성에 필요한 객관적인 기하학적 원칙을 포착하는 데 실패할 수 있습니다. 인간의 판단은 본질적으로 주관적이며 수학적 기하학적 제약과 반드시 일치하는 것은 아닙니다.

방법론

저자들은 현대의 비디오 확산 모델과 고전적인 컴퓨터 비전 알고리즘을 연결하는 방법을 제안합니다. 생성 과정 중에 명시적인 3D 가이드를 통합하거나 주관적인 인간의 주석에 의존하는 대신, 이 접근 방식은 잘 확립된 비미분적(non-differentiable) 기하학적 제약을 선호 기반 최적화 프레임워크 내의 보상 신호로 사용합니다.

핵심 접근 방식: 에피폴라 기하학 최적화

이 방법은 비디오 프레임 간의 3D 일관성을 평가하기 위해 **에피폴라 기하학(epipolar geometry)**을 활용합니다. 핵심 로직은 다음과 같습니다:

1. 샘플링: 동일한 프롬프트를 조건으로 여러 비디오를 생성하여, 다양한 카메라 궤적과 그에 따른 다양한 수준의 기하학적 일관성을 가진 샘플을 얻습니다.
2. 지표 계산: 프레임 쌍에 대해 점 대응 관계(point correspondences)를 설정합니다(SIFT 또는 학습된 디스크립터 사용). RANSAC을 통해 기본 행렬(fundamental matrix)을 추정하고, **샘슨 오차(Sampson error)**를 계산합니다. 이 오차는 대응하는 점들이 에피폴라 제약($x'^\top F x = 0$)을 얼마나 잘 만족하는지를 정량화합니다. 낮은 샘슨 오차는 투영 기하학에 더 잘 부합하며 더 높은 3D 일관성을 나타냅니다.
3. 선호도 구축: 동일한 프롬프트로부터 생성된 비디오들을 평균 샘슨 오차를 기준으로 순위를 매깁니다. 오차가 더 낮은 비디오가 선호되는 샘플($x_w$)이 되고, 오차가 더 높은 비디오가 덜 선호되는 샘플($x_l$)이 됩니다.
4. 최적화 (Flow-DPO): rectified flow 모델에 적응된 **직접 선호도 최적화(Direct Preference Optimization, Flow-DPO)**를 사용하여 모델을 미세 조정합니다. 이 목적 함수는 미분 가능한 보상 함수를 필요로 하지 않고 오직 쌍별 선호도(pairwise preferences)만을 요구합니다. 손실 함수는 에피폴라 지표에 의해 유도되어, 덜 선호되는 샘플에 비해 선호되는 샘플의 속도 예측 오차를 최소화합니다.

주요 과제 해결

논문은 두 가지 주요 과제를 식별하고 이를 해결합니다:

• 움직임-일관성 트레이드오프(Motion-Consistency Tradeoff): 모델이 이론적으로 정적인 비디오(단일 프레임을 반복)를 생성함으로써 완벽한 3D 일관성을 달달성할 수 있습니다. 이러한 퇴보적인 솔루션을 방지하기 위해, 목적 함수에 시간적 변동 페널티($L_{temp}$)를 추가합니다. 이 항은 시간 차원에 따른 낮은 분산을 페널티로 부여하여, 모델이 움직임을 유지하면서도 일관성을 개선하도록 독려합니다.
• 동적 장면으로의 일반화: 에피폴라 제약은 카메라 움직임이 있는 정적 장면을 가정하며, 동적 객체는 이 가정을 위반합니다. 모델이 정적 장면 학습에도 불구하고 동적 콘텐츠에 효과적으로 일반화되도록 하기 위해 다음을 수행합니다:
  • 저차원 적응(Low-Rank Adaptation, LoRA): 저차원 어댑터만을 미세 조정하여 기초 모델의 다양한 동적 콘텐츠 생성 능력을 보존합니다.
  • 암묵적 KL-다이버전스(Implicit KL-Divergence): Flow-DPO 목적 함수는 미세 조정된 모델이 참조 분포(reference distribution)에 가깝게 유지되도록 하여, 정적 장면 특성에 과적합되는 것을 방지합니다.
  • 적응형 타임스텝 가중치(Adaptive Timestamp Weighting): 손실은 타임스텝에 따라 가중치가 부여됩니다. 일반적인 장면 움직임이 인코딩되는 초기 단계에는 낮은 가중치를 부여하고, 미세한 공간적 세부 사항(및 잠재적인 기하학적 위반)이 생성되는 후기 단계에는 높은 가중치를 부여합니다.

주요 기여

1. 에피폴라 기하학 최적화: 에피폴라 기하학 제약(구체적으로 샘슨 거리)을 보상 신호로 사용하여 비디오 확산 모델을 미세 조정하는 방법을 도입했습니다. 이 방식은 엔드투엔드 미분 가능성나 명시적인 3D 감독 없이도 3D 일관성을 강제합니다.
2. 정렬 과제 분석: 움직임과 일관성 사이의 트레이드오프 및 동적 장면에 대한 일반화 문제를 분석했습니다. 저자들은 이러한 문제를 해결하기 위해 단순하고 효율적인 솔루션(시간적 페널티, LoRA, KL 정규화, 적응형 가중치)을 제안합니다.
3. 포괄적인 평가 프레임워크: 저자들은 지각적 품질, 3D 일관성, 움직임 안정성 및 일반화 능력을 측정하는 광범위한 평가 프로토콜을 개발했습니다. 또한 추가 연구를 촉진하기 위해 기하학적 일관성 주석이 포함된 162,000개의 생성 비디오 데이터셋을 공개합니다.
4. 고전적 컴퓨터 비전의 효용성 입증: 본 연구는 대규모 데이터 기반 모델이 학습하지 못한 능력을 고전적인 기하학적 제약(Sampson, 1982)이 어떻게 회복할 수 있는지를 보여줌으로써, 데이터 기반 학습과 고전적 컴퓨터 비전 사이의 가교 역할을 수행함을 입증했습니다.

결과

제안된 방법은 Wan-2.1 (1.3B 파라미터) 모델에서 평가되었으며, 베이스라인 및 다른 정렬 전략들과 비교되었습니다.

• 3D 일관성: 에피폴라 정렬 모델은 샘슨 오차를 31% 감소시켰습니다 (0.190에서 0.131로). 3D 장면 재구성(Gaussian Splatting을 통해) 측면에서는 PSNR이 3.6%, SSIM이 3.2% 향상되었습니다.
• 인간 평가: 인간 평가자들은 정렬된 모델의 비디오 중 **71.8%**를 기하학적으로 일관적이라고 판정하였으며, 이는 베이스라인의 **54.1%**에 비해 유의미한 향상입니다. 쌍별 비교에서, 정렬된 모델은 일관성이 없는 콘텐츠에 대해 베이스라인보다 60.4% 더 높은 선호도를 보였으며, 이미 일관된 콘텐츠에 대해서도 품질을 유지했습니다.
• 움직임 품질: 모델은 움직임 품질에 대한 인간 선호도에서 **53.2%**의 승률을 기록했습니다. 이는 저자들이 안정성을 위해 필요한 트레이드오프라고 주장하는 약간의 역동성 감소에도 불구하고, 움직임의 안정성이 향상되고 지터(jitter)가 감소했음을 나타냅니다.
• 시각적 품질: 이 방법은 미적 품질과 배경 일관성 점수를 개선했습니다. VideoReward 시각적 품질 평가에서 **72.0%**의 승률을 달성했습니다.
• 일반화: 정적 장면과 동적 카메라 환경에서만 학습했음에도 불구하고, 모델은 VBench 2.0, MiraData, VideoReward 벤치마크에서 각각 57.9%, 58.5%, **58.5%**의 승률을 기록하며 동적 장면에 효과적으로 일반화되었습니다.
• 대안과의 비교: 이 접근 방식은 멀티뷰 데이터셋에 대한 지도 학습 미세 조정이나 Flow-RWR, DRO와 같은 다른 정렬 방법보다 우수했습니다. 이러한 방법들은 데이터셋의 특정 부분에 과적합되거나 일관된 궤적과 일관되지 않은 궤적 사이의 차이로부터 학습하는 데 실패했습니다.

의의

본 논문은 고전적인 기하학적 제약이 현대의 학습된 메트릭(VLM이나 인간의 주석과 같이 노이즈가 많거나 주관적일 수 있는 메트릭)보다 더 안정적이고 신뢰할 수 있는 최적화 신호를 제공한다고 주장합니다. 선호도 최적화를 통해 모델을 근본적인 기하학적 원칙에 정렬함으로써, 저자들은 창의적 유연성을 해치거나 명시적인 3D 감독을 요구하지 않고도 비디오 생성 모델의 3D 일관성과 움직임 안정성을 크게 향고할 수 있음을 보여주었습니다. 이 연구는 단순하고 수학적으로 근거가 확실한 제약이 딥러닝을 효과적으로 보완할 수 있음을 강조하며, 순수하게 데이터에 의존하는 접근 방식의 한계를 해결합니다.