1. 문제 정의 (Problem)

비디오 크로마 - 럭스 (Chroma-Lux) 편집은 비디오의 조명 (illumination) 과 색상 (color) 을 수정하면서도 구조적 정합성 (structural fidelity) 과 시간적 일관성 (temporal fidelity) 을 유지하는 것을 목표로 합니다. 하지만 기존 방법론들은 다음과 같은 한계를 가지고 있었습니다:

• 비용이 많이 드는 지도 학습: 대부분의 기존 방법들은 합성된 쌍 데이터 (paired data) 를 이용한 비용이 많이 드는 지도 학습에 의존합니다.
• 구조적 왜곡: 일반적인 비디오 편집 모델은 조명과 색상을 변경할 때 물체 정체성, 질감, 구조적 세부 사항이 손상되거나 시간적 깜빡임 (flickering) 이 발생하는 문제가 있습니다.
• 데이터 의존성: 특정 조명 조건에 맞는 물리 기반 렌더링 데이터나 대규모 쌍 데이터가 필요하여 다양한 실제 환경 (in-the-wild) 에 적용하기 어렵습니다.

2. 제안 방법론 (Methodology)

이 논문은 VibeFlow라는 새로운 자기지도학습 (Self-Supervised) 프레임워크를 제안합니다. 이 방법은 사전 훈련된 비디오 생성 모델의 내재된 물리적 이해 능력을 활용하여 쌍 데이터 없이도 고품질 편집을 가능하게 합니다.

핵심 구성 요소:

1. 분리된 자기지도 학습 파이프라인 (Disentangled Self-Supervised Training Scheme):

   • 데이터 교란 (Data Perturbation): 소스 비디오에 저주파 색상/조명 교란 ($T_{low}$) 을 적용하고, 참조 이미지 (Reference Image) 에 고주파 구조 정보 교란 ($T_{high}$) 을 적용합니다.
   • 학습 목표: 모델이 손상된 입력 (교란된 비디오 + 교란된 참조 이미지) 에서 원래 비디오를 재구성하도록 훈련시킵니다. 이를 통해 모델은 구조 정보는 소스 비디오에서, 색상/조명 정보는 참조 이미지에서 각각 추출하여 적응적으로 재구성하는 방법을 자기지도 방식으로 학습하게 됩니다.

2. 잔류 속도장 기반 구조 보존 (Residual Velocity-guided Structure Preservation):

   • 문제 인식: 흐름 기반 (Flow-based) 모델은 연속적인 시간 공간을 최적화하지만, 추론 시 이산적인 솔버 (discrete solvers) 를 사용하므로 이산화 오차 (discretization errors) 가 발생하여 구조가 왜곡될 수 있습니다.
   • 잔류 속도장 (Residual Velocity Fields, $V_{res}$): 소스 조건 하에서의 재구성 오차 (Ground Truth 속도 - 재구성 속도) 를 계산하여 '잔류 속도장'을 정의합니다. 이는 구조적 세부 사항을 보정하는 역할을 합니다.
   • 궤적 교정 (Trajectory Rectification): 편집 추론 시, 목표 조건의 예측 속도에 잔류 속도장을 더하여 ($V_{edit} + \gamma \cdot V_{res}$) 샘플링 궤적을 수정합니다. 이를 통해 원본 비디오의 미세한 구조적 세부 사항이 편집된 비디오에 정확히 유지됩니다.

3. 구조 왜곡 일관성 정규화 (Structural Distortion Consistency Regularization):

   • 잔류 속도장이 조명/색상 변화에 영향을 받지 않고 순수한 구조 정보만 담고 있도록 보장하기 위해 도입되었습니다.
   • 듀얼 브랜치 학습: 소스 조건과 교란된 조건을 서로 바꾸어 사용하는 두 가지 분기 (branch) 를 통해 학습합니다. 두 분기에서 계산된 잔류 속도 간의 차이를 최소화하는 손실 함수 ($L_{consis}$) 를 사용하여, 모델이 조명 변화에 불변 (invariant) 인 구조적 왜곡 보정 능력을 갖도록 훈련시킵니다.

3. 주요 기여 (Key Contributions)

1. VibeFlow 프레임워크: 쌍 데이터나 비용이 많이 드는 훈련 오버헤드 없이 고품질 비디오 색상 및 조명 편집을 가능하게 하는 최초의 자기지도 학습 프레임워크입니다.
2. 잔류 속도장 및 궤적 교정: 이산화 오차를 보정하고 시간적 일관성을 유지하기 위해 잔류 속도장을 정의하고, 이를 구조 보존을 위한 궤적 교정 메커니즘으로 활용했습니다.
3. 제로샷 일반화 (Zero-Shot Generalization): 데이터 교란 파이프라인과 자기지도 분리 학습을 기반으로, 비디오 재조명 (Relighting), 재색상화 (Recoloring), 낮 - 밤 변환 (Day-Night Translation), 저조도 향상, 객체별 색상 편집 등 다양한 응용 분야에서 추가 튜닝 없이 뛰어난 성능을 발휘합니다.

4. 실험 결과 (Results)

• 데이터셋: DAVIS-val(평가용) 과 OpenVid-1M(훈련용) 을 사용했습니다.
• 성능 비교: RelightVid, ColorMNet, AnyV2V 등 기존 최첨단 (SOTA) 방법론들과 비교 실험을 수행했습니다.
  • 정량적 지표: VBench 를 기반으로 한 Subject Consistency (SC), Structural Fidelity (SF), Temporal Coherency (TC), Motion Consistency (MC) 모든 항목에서 VibeFlow 가 가장 높은 점수를 기록했습니다. 특히 구조적 정합성 (SF) 이 0.9402 로 가장 높았습니다.
  • 정성적 결과: 기존 방법들이 구조 왜곡이나 비자연스러운 아티팩트를 보이는 반면, VibeFlow 는 옷 주름, 얼굴 표정, 배경의 햇빛 등 미세한 구조적 세부 사항을 정확하게 보존하면서도 조명과 색상을 자연스럽게 변경했습니다.
• 효율성: 8 개의 A100 GPU 에서 8 시간 만에 훈련이 완료되었으며, 추론 시 3~5 분 내에 비디오 편집이 가능합니다.

5. 의의 및 결론 (Significance)

VibeFlow 는 비디오 편집 분야에서 비용이 많이 드는 쌍 데이터와 물리 기반 렌더링 데이터의 의존성을 완전히 제거했다는 점에서 혁신적입니다. 사전 훈련된 대규모 비디오 생성 모델이 이미 조명과 색상에 대한 깊은 이해를 가지고 있다는 통찰을 바탕으로, 자기지도 학습을 통해 이를 효과적으로 제어할 수 있게 했습니다. 이는 영화 포스트 프로덕션, 사진 보정, 몰입형 환경 디자인 등 다양한 분야에서 고품질의 비디오 크로마 - 럭스 편집을 가능하게 하는 강력한 도구로 평가받습니다.