LayerT2V: A Unified Multi-Layer Video Generation Framework

이 논문은 단일 추론으로 배경과 여러 전경 레이어를 포함한 일관된 레이어화된 비디오를 생성하여 전문 워크플로우를 지원하고, VidLayer 데이터셋과 새로운 아키텍처를 통해 기존 방법보다 뛰어난 화질과 일관성을 달성하는 통합 멀티레이어 비디오 생성 프레임워크인 LayerT2V 를 제안합니다.

핵심

LayerT2V: 비디오를 '레이어드 케이크'처럼 만드는 혁신

이 논문은 **"LayerT2V"**라는 새로운 기술을 소개합니다. 쉽게 말해, 텍스트를 입력하면 고화질 동영상을 만들어주는 AI 가 이제까지 한 번에 '완성된 영상'만 줬다면, 이제는 영상을 구성하는 각 층 (레이어) 을 따로따로 뽑아내어 주는 기술입니다.

이걸 이해하기 위해 요리와 사진 편집에 비유해 보겠습니다.

---

1. 기존 방식 vs. 새로운 방식: "완성된 파스타" vs "재료 분리"

• 기존 AI (Sora, Wan 등):
  마치 식당에서 주문한 완성된 파스타를 받는 것과 같습니다. "매콤한 파스타 만들어줘"라고 하면, 소스, 면, 고기가 섞인 파스타 한 그릇을 줍니다. 문제는 이 파스타에서 고기만 빼고 버섯으로 바꾸거나, 배경을 바다로 바꾸는 것이 거의 불가능하다는 점입니다. 다시 처음부터 파스타를 만들어야 합니다.

• LayerT2V (새로운 방식):
  이 기술은 조리대 위의 재료를 따로따로 담아주는 접시를 줍니다.

  1. 완성된 파스타 (Full Video): 원래 모습 그대로.
  2. 소스만 담은 접시 (Background): 배경만 따로.
  3. 고기만 담은 접시 (Foreground): 주인공만 따로.
  4. 고기의 모양을 가리는 투명 테두리 (Alpha Matte): 고기가 어디까지 있는지 정확히 알려주는 테두리.

이제 사용자는 이 '접시들'을 가지고 자유롭게 조합할 수 있습니다. "배경을 산으로 바꾸고, 주인공은 춤을 추게 해줘"라고 하면, AI 는 이미 분리된 레이어를 바탕으로 새로운 영상을 합성해냅니다.

2. 어떻게 가능한 걸까? "시간의 줄에 꿰어놓기"

그런데 AI 가 어떻게 한 번에 여러 개의 레이어를 동시에 만들어낼까요? 여기서 핵심 아이디어는 **"시간의 줄에 꿰어놓기"**입니다.

• 비유: 보통 AI 는 영상을 만들 때 시간순으로 프레임을 하나씩 그립니다. LayerT2V 는 이 시간을 수직으로 늘려서 여러 레이어를 한 줄에 꿰어놓습니다.
  • [배경 1 프레임] - [배경 2 프레임] - ... - [주인공 1 프레임] - [주인공 2 프레임] ...
• 이렇게 하면 AI 는 한 번의 작업으로 모든 레이어를 동시에 그릴 수 있게 됩니다. 마치 한 장의 긴 천을 그려서, 나중에 가위로 잘라내어 배경과 주인공을 따로 쓰는 것과 같습니다. 이렇게 하면 배경과 주인공이 서로 어긋나는 일 (불일치) 이 자연스럽게 사라집니다.

3. 기술의 핵심: "각자만의 안경" (LayerAdaLN)

여러 레이어를 한 번에 그릴 때 문제가 생길 수 있습니다. "배경은 정지해 있어야 하는데, 주인공은 움직여야 한다"는 식으로 서로 다른 특성을 가진 것들을 섞다 보면 AI 가 혼란을 겪을 수 있습니다.

• 해결책: LayerT2V 는 각 레이어에게 **고유한 '안경' (LayerAdaLN)**을 씌워줍니다.
  • 배경 레이어는 "나는 정적인 배경이야, 천천히 움직여"라고 알려주고,
  • 주인공 레이어는 "나는 활발하게 움직여야 해!"라고 알려줍니다.
  • 이렇게 AI 가 각 레이어의 특성을 정확히 구분하게 만들어, 배경이 흐릿해지거나 주인공이 배경에 섞이는 현상을 막습니다.

4. 데이터의 비밀: "VidLayer"라는 새로운 도서관

이 기술을 가르치기 위해서는 '배경과 주인공이 분리된' 수많은 영상 데이터가 필요합니다. 하지만 세상에 그런 데이터는 거의 없었습니다.

• VidLayer (비드레이어): 연구팀은 자동화 공장을 가동하여 기존 영상 5 만 개를 분석했습니다.
  • AI 가 영상 속 주인공을 찾아내고 (예: "노란 모자를 쓴 사람"),
  • 그 사람을 잘라내어 배경과 분리하고,
  • 배경은 다시 채워 넣는 작업을 자동화했습니다.
  • 이렇게 만든 400 만 장의 프레임으로 구성된 새로운 데이터셋을 공개했습니다. 이는 마치 레이어 편집을 배우기 위한 최고급 교재와 같습니다.

5. 왜 이것이 중요한가요?

이 기술은 전문가들의 작업 방식을 바꿀 것입니다.

• 영화/광고 제작: "배경을 겨울로 바꿔줘"라고 하면, 매번 다시 촬영할 필요 없이 배경 레이어만 교체하면 됩니다.
• 유튜브/콘텐츠: "주인공만 크게 보여줘" 혹은 "주인공을 다른 사람으로 바꿔줘" 같은 편집이 순식간에 가능해집니다.
• 창의성: 이제 AI 는 단순히 영상을 '만드는' 도구가 아니라, 사용자가 원하는 대로 조립하고 변형할 수 있는 '레고' 같은 도구가 됩니다.

요약

LayerT2V는 AI 가 영상을 만들 때, 마치 케이크를 층층이 분리해서 주는 것처럼 배경, 주인공, 투명 테두리를 따로따로 만들어줍니다. 이를 통해 사용자는 완성된 영상을 다시 편집하듯, 배경을 바꾸거나 주인공을 수정하는 등 자유로운 창의적 작업을 할 수 있게 됩니다. 이는 비디오 생성 AI 의 다음 단계, 즉 '조절 가능한 영상' 시대를 여는 중요한 발걸음입니다.

기술 요약

LayerT2V: 통합 멀티 레이어 비디오 생성 프레임워크

1. 문제 정의 (Problem)

최근 텍스트-비디오 (Text-to-Video, T2V) 생성 기술은 Sora, Wan, HunyuanVideo 등의 모델을 통해 급격히 발전하여 고품질의 비디오를 생성할 수 있게 되었습니다. 그러나 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 단일 합성 출력: 기존 모델은 최종 합성된 비디오 (Flattened RGB 스트림) 만을 출력하며, 장면의 의미론적으로 분리 가능한 레이어 (전경, 배경, 알파 매트 등) 를 제공하지 않습니다.
• 편집의 어려움: 전문적인 비디오 제작 워크플로우에서는 배경 교체, 주제 정제, 국소적 효과 적용 등을 위해 레이어 단위의 편집이 필수적입니다. 하지만 기존 T2V 모델은 레이어 분해가 없으므로, 작은 수정을 위해 전체 장면을 다시 생성해야 하거나 편집 공간이 제한적입니다.
• 기존 연구의 부족: 기존 레이어 기반 생성 연구들은 주로 이미지나 단일 전경 (RGBA) 에 집중하거나, 배경 모델링이 부재하여 레이어 간의 일관성 (Cross-layer consistency) 이 떨어지는 문제가 있었습니다.

2. 방법론 (Methodology)

저자들은 LayerT2V를 제안하여 단일 추론 과정에서 의미론적으로 일관된 여러 레이어 (전체 비디오, 독립적인 배경 레이어, 하나 이상의 전경 RGB 레이어 및 대응하는 알파 매트) 를 동시에 생성하는 통합 프레임워크를 개발했습니다.

핵심 아이디어 및 기술적 구성:

• 시간 축 직렬화 (Temporal Serialization): 최신 비디오 생성 백본 (DiT 기반) 은 시공간적으로 높은 압축을 사용합니다. 이를 활용하여 여러 레이어의 표현을 **시간 차원 (Temporal Dimension)**으로 직렬화하여 연결합니다.

  • 입력: $[z_{full}, z_{bg}, z_{fg}, z_{mask}]$를 시간 축으로 연결하여 단일 시퀀스로 만듭니다.
  • 효과: 사전 학습된 비디오 생성 모델의 시간 모델링 능력을 재사용하면서도, 모든 레이어가 공유된 생성 궤적 (Shared Generation Trajectory) 에서 학습되도록 하여 레이어 간 일관성을 내재적 목표로 만듭니다.

• 레이어 인식 모듈 (Layer-Aware Modules):

  • LayerAdaLN (Layer Adaptive Normalization): 전경, 배경, 알파 매트 등 각 레이어는 통계적 분포가 다릅니다 (예: 알파 매트는 희소하고 이진에 가깝고, 전경은 역동적임). 이를 해결하기 위해 각 레이어 카테고리별로 학습 가능한 변조 벡터 (Shift, Scale, Gate 파라미터) 를 도입하여 공유 백본을 레이어별 통계에 적응시킵니다.
  • Layered Cross-Attention Modulation: 텍스트 조건 (프롬프트) 과 시각 토큰 간의 조건 누출 (Conditional Leakage) 을 방지하기 위해, 각 레이어가 해당 레이어의 텍스트 프롬프트에만 주의를 기울이도록 마스크 (Attention Mask) 를 적용합니다. (예: 전경 토큰은 전경 프롬프트에만, 배경 토큰은 배경 프롬프트에만 집중).

• 3 단계 학습 전략:

  1. Stage 1 (Mask VAE Adaptation): 알파 마스크 처리를 위해 사전 학습된 Wan VAE 의 디코더를 LoRA 로 미세 조정하고 경량 프로젝션 헤드를 추가하여 고품질 알파 매트 재구성을 가능하게 합니다.
  2. Stage 2 (Joint Multi-layer Learning): 텍스트, 비디오, 마스크 토큰을 결합하여 전체 비디오, 배경, 전경, 알파 매트를 동시에 생성하도록 학습합니다. 합성 일관성 손실 (Compositing Consistency Loss) 과 마스크 재구성 손실을 추가합니다.
  3. Stage 3 (Multi-foreground Extension): 시간 축을 따라 추가적인 전경 - 마스크 쌍을 직렬화하여 여러 개의 전경 주제를 동시에 생성할 수 있도록 확장합니다.

3. 주요 기여 (Key Contributions)

1. LayerT2V 프레임워크: 단일 추론으로 다중 의미론적 일관성을 가진 레이어 표현 (전체, 배경, 전경, 알파) 을 생성하는 최초의 통합 프레임워크입니다.
2. VidLayer 데이터셋: 멀티 레이어 비디오 생성을 위한 첫 번째 대규모 데이터셋 (약 4M 프레임, 50K 클립) 을 구축했습니다. 각 샘플은 정렬된 전체 비디오, 배경, 전경, 알파 매트 및 세부적인 레이어별 텍스트 설명을 포함합니다.
3. 새로운 아키텍처 모듈: 공유 비디오 확산 백본 내에서 명시적인 레이어 모델링을 가능하게 하는 LayerAdaLN과 Layered Cross-Attention을 도입했습니다.
4. 성능 입증: 시각적 충실도, 시간적 일관성, 레이어 간 일관성 측면에서 기존 방법론 (LayerFlow 등) 을 크게 능가함을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

• 정성적 평가: 다양한 장면과 운동 패턴에서 깨끗한 전경 분리, 선명한 알파 매트, 누출이나 경계 아티팩트 없는 완전한 배경을 생성합니다. 특히 빠른 움직임이나 복잡한 스타일에서도 레이어 간의 경계가 흐트러지지 않습니다.
• 정량적 평가 (VBench):
  • 주제 일관성 (Subject Consistency): 전경과 배경 모두 높은 일관성을 보이며 경계에서의 흔들림이 최소화되었습니다.
  • 시간적 깜빡임 (Temporal Flickering): 기존 방법 대비 현저히 낮은 깜빡임 수치를 기록했습니다.
  • 텍스트 정렬 (Text Alignment): 각 레이어가 해당 프롬프트와 높은 정확도로 매칭됩니다.
• 사용자 연구: 30 명의 참가자를 대상으로 한 평가에서 LayerT2V 는 미적 품질, 전경 품질, 텍스트 정렬 모든 항목에서 기존 방법 (LayerFlow, Native Mask VAE 등) 보다 압도적으로 선호되었습니다 (Aesthetic: 72.4%, FG Quality: 76.8%).
• Ablation Study: 4D RoPE 는 오히려 성능을 저하시켰으며, VAE LoRA 전략이 처음부터 Mask VAE 를 학습하는 것보다 훨씬 우수한 결과를 보였습니다. LayerAdaLN 과 Layered Cross-Attention 모두 필수적인 요소로 확인되었습니다.

5. 의의 및 결론 (Significance)

LayerT2V 는 텍스트-비디오 생성 분야에서 전문적인 제작 워크플로우에 적합한 수준의 제어 가능성을 제공합니다.

• 편집 가능성: 생성된 비디오를 합성 (Compositing) 단계에서 자유롭게 편집할 수 있는 레이어 단위의 데이터를 제공함으로써, 기존 T2V 모델의 '블랙박스' 한계를 극복합니다.
• 데이터 기반: VidLayer 데이터셋은 향후 레이어 인식 비디오 생성, 분해, 편집 연구에 중요한 기반을 마련했습니다.
• 미래 전망: 이 연구는 단일 비디오 생성을 넘어, 구조화된 콘텐츠 생성으로의 패러다임 전환을 이끌며, 영화, 광고, 게임 등 전문 영상 제작 분야에서의 AI 활용도를 크게 높일 것으로 기대됩니다.

요약하자면, LayerT2V 는 고압축 비디오 백본의 특성을 활용하여 레이어를 시간 축으로 연결하고, 레이어별 특수성을 고려한 모듈을 도입함으로써, 고품질의 다중 레이어 비디오를 일관성 있게 생성하는 혁신적인 프레임워크입니다.