기술 요약: EchoStyle

문제 정의

비디오 스타일화(Video stylization)는 지능형 콘텐츠 생성 분야에서 여전히 중요한 과제이지만, 아직 완전히 해결되지 않은 난제로 남아 있습니다. 이미지 스타일화는 연구가 많이 진행되었으나, 기존의 비디오 방식들은 다음과 같은 세 가지 주요 한계점에 직면해 있습니다:

1. 콘텐츠-스타일 얽힘(Content-Style Entanglement): 참조 이미지를 사용하는 방식은 참조 이미지의 불필요한 정보가 스타일화된 출력물에 침투하는 콘텐츠 누출(content leakage) 현상이 발생하기 쉽습니다.
2. 데이터 부족: 고품질의 쌍을 이룬 비디오 데이터셋(동일한 콘텐츠, 다른 스타일)은 매우 희귀합니다. 기존 방식들은 수작업으로 구성된 컴포넌트를 사용하여 학습을 우회하거나 이미지 데이터셋으로 학습하는데, 이는 특히 강력한 비디오 역동성 하에서 심각한 스타일 저하와 불안정성을 초래합니다.
3. 확장성 제한: 현재의 프레임워크는 일반적으로 짧은 시퀀스(5초 이하)에 국한되어 있으며, 일관된 시간적 일관성(temporal coherence)을 가진 장기 지속 비디오를 생성하기 위한 견고한 메커니즘이 부족합니다.

방법론

EchoStyle은 임의의 길이에 대해 고충실도 비디오 스타일화를 수행할 수 있도록 설계된 확장 가능한 텍텍스트 기반 프레임워크입니다. 이 모델은 다음 세 가지 핵심 구성 요소를 통해 앞서 언급한 과제들을 해결합니다:

1. 비디오-투-비디오 아키텍처

EchoStyle은 텍스트 기반 비디오 스타일화를 비디오-투-비디오 생성 작업으로 정식화합니다. 이 아키텍처는 Wan2.2-I2V 기반 위에 구축되었으며, 간소화된 비디오-투-비디오 파이프라인을 활용합니다:

• 입력 퓨전(Input Fusion): 모델은 텍스트 프롬프트 $p$(스타일 및 콘텐츠 설명 포함), 참조 비디오 $R$, 그리고 마스크 $M$을 입력으로 받습니다.
• 잠재 정렬(Latent Alignment): 변분 오토인코더(VAE)는 참조 비디오와 타겟 비디오를 공유 잠재 공간으로 인코딩합니다. 마스크는 이 차원에 맞게 형태가 재조정됩니다.
• 통합 입력: 이러한 잠재 텐서들은 채널 차원을 따라 결합되어 통합 입력 $z_{in} = \text{Concat}(z_R, z_V^{(t)}, z_M)$을 형성합니다.
• 디퓨전 백본(Diffusion Backbone): 디퓨전 트랜스포머(DiT)는 적응형 레이어 정규화(adaLN)와 크로스 어텐션(Cross-Attention)을 통해 텍스트 프롬프트의 가이드를 받아 이 입력을 처리합니다. 모델은 플로우 매칭(flow-matching) 목적 함수를 사용하여 예측된 노이즈와 실제 값(ground truth) 사이의 MSE를 최소화하도록 학습되며, LoRA를 통해 업데이트됩니다.

2. 역방향 데이터 합성 (V-Style20k)

데이터 부족 문제를 극복하기 위해, 저자들은 20,000개의 고품질 비디오 쌍으로 구성된 대규모 데이터셋인 V-Style20k를 구축하기 위한 자동화된 역방향 합성 파이프라인을 개척했습니다.

• 인버전 전략(Inversion Strategy): 현실적인 영상을 스타일화된 영상으로부터 합성하는 방식(스타일 드리프트 및 분포 불일치 문제 발생) 대신, 이 파이프라인은 실제 스타일화된 영상에서 시작합니다.
• 프로세스:
  1. 엔드포인트 실현(Endpoint Realization): 스타일화된 클립의 첫 프레임과 마지막 프레임을 Qwen-Image와 "Anything-to-Real" LoRA를 사용하여 현실적인 이미지로 변환합니다.
  2. 모션 일관성 생성(Motion-Coherent Generation): 이 현실적인 엔드포인트들을 원래의 스타일화된 클립에서 추출한 깊이 사전 정보(depth priors)와 결합하여, 스타일화된 타겟과 정밀한 콘텐츠 일관성을 유지하는 현실적인 소스 비디오를 생성하도록 VACE 모델을 유도합니다.
  3. 품질 필터링: 시각적 사실성, 모션 타당성 및 시간적 대응 관계를 기준으로 시각-언어 모델(Qwen-VL)이 쌍(pair)을 필터링합니다.
• 데이터셋: V-Style20k는 14가지의 다양한 예술적 스타일을 다루는 480×832 해상도의 클립(<5초)을 포함하며, 각 클립에는 묘사적인 캡션이 부착되어 있습니다.

3. 장기 비디오 확장 (Init-Follow-Mode)

수 분에 달하는 비디오에 대해 안정적인 스타일화를 가능하게 하기 위해, EchoStyle은 init-follow-mode 메커니즘에 의해 지원되는 슬라이딩 윈도우 추론 전략을 사용합니다:

• 학습: 모델은 두 가지 모드로 학습됩니다. Init-mode에서는 시퀀스의 시작 부분을 생성합니다. Follow-mode에서는 연속성을 학습하기 위해 템포럴 참조 비디오 $T$(참조 비디오의 초기 프레임이 이전에 생성된 스타일화된 프레임으로 대체됨)를 입력으로 받습니다.
• 추론: 긴 비디오는 중첩되는 세그먼트로 분할됩니다. 첫 번째 세그먼트는 Init-mode로 생성됩니다. 이후의 세그먼트들은 이전 세그먼트의 중첩된 스타일화된 프레임($O_{i-1}[-x:]$)을 조건으로 하여 Follow-mode에서 생성됩니다. 이는 매끄러운 시간적 전환을 보장하고 단일 프레임 품질에 대한 민감도를 줄여줍니다.

주요 기여

1. 새로운 프레임워크: 아키텍처의 단순성 덕분에 자연스럽게 확장이 가능한, 임의 길이의 비디오를 위한 텍스트 기반 비디오-투-비디오 프레임워크를 제안했습니다.
2. V-Style20k 데이터셋: 데이터 병목 현상을 해결하기 위해 완전 자동화된 역방향 합성 파이프라인을 통해 개척적인 대규모(2만 쌍) 비디오 스타일화 데이터셋을 구축했습니다.
3. 장기 비디오 메커니즘: 복잡한 init-follow-mode 학습 전략과 슬라이딩 윈도우 추론 방식을 통합하여 장기 지속 콘텐츠에 대한 안정적인 스타일화를 가능하게 했습니다.
4. 성능: 복잡한 역동성과 미세한 콘텐츠 보존 능력을 입증하는 포괄적인 실험을 통해, 선도적인 폐쇄형 상용 솔루션에 필적하는 성능을 달려냈습니다.

결과 및 평가

저자들은 9가지 스타일에 걸친 50개의 비디오-지시문 쌍을 사용하여 오픈 소스 베이스라인(VACE, AnyV2V) 및 선도적인 상용 폐쇄형 모델(Runway, Kling-O1, Seedance 2.0)과 EchoStyle을 비교 평가했습니다.

• 지표: 평가는 스타일 품질(Gemini-3-pro를 통한 자동화된 쌍별 비교), 스타일 일관성(CSD 점수), 비디오 품질(모션 부드러움, 영상 품질)을 포함합니다.
• 결과: EchoStyle은 복잡한 콘텐츠와 강한 역동성 하에서도 단기 및 장기 비디오 모두에서 견고하고 안정적인 스타일화를 보여주었습니다. 이 방법은 높은 스타일 정렬 승률을 달성했으며, 다른 방법들에서 관찰되는 심각한 스타일 드리프트나 모션 왜곡 없이 시간적 일관성을 유지했습니다.

의의

본 논문은 EchoStyle이 텍스트 기반의 고품질 비디오 스타일화를 접근 가능하고 확장 가능하게 만드는 데 있어 중요한 진전임을 주장합니다. 역방향 합성을 통해 데이터 부족 문제를 해결하고 장기 비디오 생성을 위한 견고한 아키텍처를 제공함으로써, EchoStyle은 상용 폐쇄형 솔루션과 경쟁할 수 있는 신뢰할 수 있는 오픈 소스 패러다임을 제시합니다. 이는 예술적 창작과 기술적 실현 가능성 사이의 간극을 메우며, 엄격한 시간적 및 모션 일관성을 유지하면서 광범위한 예술적 영역 전반에 걸쳐 일관된 스타일화를 가능하게 합니다.