기술 요약: Loopy: 고정된 앵커 기반 위치 임베딩 이동을 통한 원활한 비디오 루프 생성

1. 문제 정의

심리스(Seamless)한 루핑 비디오는 소셜 미디어, 게임 개발, 웹 그래픽 등의 응용 분야에서 필수적이지만, 고품질 루프를 생성하는 것은 현재의 인공지능 생성 콘텐츠(AIGC) 모델들에게 여전히 큰 도전 과제입니다. 기존 방식들은 다음과 같은 몇 가지 한계점에 직면해 있습니다:

• 표준 텍스트-비디오(T2V) 모델: Wan이나 Hunyuan과 같은 모델들은 선형 비디오 데이터로 학습되었으며 시간을 직선으로 인식합니다. 이들은 마지막 프레임과 첫 프레임 사이의 시간적 연속성을 구축하는 내재적인 메커니즘이 부족하여, 명시적으로 루프를 요청하더라도 심리스한 루프를 생성하지 못하는 경우가 많습니다.
• 첫-마지막-프레임-투-비디오(FLF2V) 모델: 시작 프레임과 끝 프레임을 동일하게 강제하는 방식은 "정적 붕괴(static collapse)"를 초래할 수 있습니다. 즉, 모델이 가장 저항이 적은 경로로 수렴하여 움직임의 변화가 제한적이거나 완전히 정적인 결과물을 만들어냅니다.
• 학습이 필요 없는 잠재 공간 조작(Training-Free Latent Manipulation): 확산 과정 중 잠재 표현을 조작하는 전략(예: 잠재 공간 회전)은 생성 모델의 복잡한 공동 효과를 간과하여, 부자연스러운 움직임의 변화와 시간적 불일치를 유발합니다.
• 데이터 부족: 루핑 데이터에 대한 미세 조정(Fine-tuning)은 고품질의 다양성 있는 루핑 비디오 데이터셋의 가용성 문제로 인해 어려움을 겪고 있습니다.

핵심 과제는 방대한 양의 기존 루핑 데이터에 의존하지 않으면서도, 의미론적 충실도와 움직임의 다양성을 보존하며 마지막 프레임과 첫 프레임 사이의 시간적 일관성을 구축하는 것입니다.

2. 방법론

제안된 프레임워크인 Loopy는 확산 트랜스포머(DiT)가 시간적 순서를 어떻게 인식하는지에 대한 새로운 분석과 그에 따른 위치 임베딩 전략의 수정을 통해 이러한 과제를 해결합니다.

2.1 계층별 위치 제어 분석

저자들은 DiT 기반 비디오 생성 모델의 어텐션 레이어 내에서 회전 위치 임베딩(RoPE)의 역할을 조사합니다. RoPE는 시공간적 위치를 인코딩하기 위해 모든 레이어에 적용되지만, 저자들은 서로 다른 레이어가 시간적 지각에 대해 각기 다른 정도의 제어력을 보인다는 점을 관찰했습니다.

• 정량적 평가: 단일 레이어의 RoPE에 시간 이동 오프셋($\delta_l = \lfloor T'/2 \rfloor$)을 적용하고 다른 레이어는 고정된 상태에서, 저자들은 정규화된 평균 제곱 오차(MSE)를 사용하여 모델 출력의 변화를 측정했습니다.
• 앵커 레이어(The Anchor Layer): 분석 결과, 특정 어텐션 레이어(이하 "앵커 레이어")가 시간적 위치와 의미론적 충실도에 대해 가장 뚜렷한 제어력을 보였습니다. 예를 들어, Wan2.2 14B에서는 첫 번째 레이어가 앵커이며, HunyuanVideo 1.5에서는 세 번째 레이어가 앵커입니다. 이 앵커 레이어의 RoPE를 이동시키면 비디오의 콘텐츠가 크게 변하고 아티팩트가 발생하지만, 다른 레이어를 이동시키는 것은 영향이 적었습니다.

2.2 앵커 기반 위치 임베딩 이동 (Anchored Shifting)

앵커 레이어의 발견을 바탕으로, 저자들은 DiT의 시간적 지각을 선형 시퀀스에서 순환하는 원형으로 변환하는 전략인 Anchored Shifting을 제안합니다.

• 앵커 보존: 식별된 앵커 레이어의 RoPE는 이동시키지 않습니다 ($\delta_{l^*} = 0$). 이는 해당 레이어가 문맥적 사전 정보(contextual prior)로서의 역할을 수행하도록 하여, 의미론적 충실도를 보장하고 아티팩트를 줄입니다.
• 그룹화된 이동(Grouped Shifting): 나머지 레이어들에 대해 저자들은 단순한 선형 오프셋을 적용하지 않습니다. 대신, 루프 경계에서 누적된 시간적 제어가 균형을 이룰 수 있도록 시간적 제어 강도($\alpha_l$)를 기준으로 레이어들을 그룹화합니다.
• 오프셋 계산: 동일한 그룹 내의 레이어들은 동일한 이동 오프셋을 공유합니다. 오프셋은 앵커 레이어를 중심으로 단조 증가하며, 이는 타임라인을 균일한 원형으로 "감싸는(wrapping)" 효과를 줍니다. 이를 통해 모든 레이어가 마지막 프레임에서 다시 초기 프레임으로의 전환을 일관되게 인식하도록 보장합니다.

2.3 학습 및 미세 조정 파이프라인

완전한 심리스 루핑을 실현하기 위해, Loopy는 반(semi) 학습이 필요 없는 방식(training-free approach)을 먼저 적용한 후 최소한의 미세 조정을 수행합니다.

1. 데이터 생성: Wan 2.2 14B 백본에 Anchored Shifting 전략을 적용하여 고품질의 RGB 및 RGBA 루핑 비디오 데이터셋(각 120개)을 생성합니다. 이 비디오들은 VAE 디코더의 선형적 시간 편향으로 인한 미세한 밝기/색상 지터(jitter)를 교정하기 위해 후처리(예: Deflicker)를 거칩니다.
2. 모델 미세 조정: 대상 모델들(Wan 2.1 1.3B/14B, HunyuanVideo 1.5, Wan-Alpha RGBA 포함)은 낮은 랭크(예: 4)의 LoRA(Low-Rank Adaptation)를 사용하여 이 데이터셋에 대해 미세 조정됩니다. 학습과 추론 단계 모두에서 모델은 Anchored Shifting 전략을 활용합니다.
3. RGBA 지원: 프레임워크는 투명 채널을 사용하여 학습된 모델에 동일한 이동 로직을 적용함으로써 RGBA 비디오 생성으로 확장되며, 이를 통해 게임 개발 및 합성 작업을 위한 투명 루핑 에셋 생성을 가능하게 합니다.

3. 주요 기여

• 앵커 레이어의 발견: 본 논문은 RoPE가 서로 다른 DiT 블록에서 다양한 수준의 위치 제어력을 보인다는 점을 최초로 밝혀냈으며, 시간적 일관성의 핵심 참조점 역할을 하는 특정 "앵커 레이어"를 식별했습니다.
• Anchored Shifting 전략: 앵커 레이어는 고정하고 다른 레이어에는 균형 잡힌 그룹화된 이동을 적용하는 레이어별 이동 전략을 제안합니다. 이는 모델의 시간적 지각을 직선에서 원형으로 변환하여 심리스한 루프 경계를 가능하게 합니다.
• 범용 프레임워크 (Loopy): 고품질의 RGB 및 RGBA 루핑 비디오 생성을 지원하는 포괄적인 프레임워크를 개발했습니다. 이는 캐릭터 제어, 스타일 전이, 멀티 레이어 비디오 합성과 같은 기존 AIGC 기능과 원활하게 통합됩니다.
• 고품질 데이터셋: 제안된 방법을 통해 생성된 루핑 비디오 전문 데이터셋을 구축하였으며, 이는 다양한 비디오 백본을 미세 조정하기 위한 토대가 됩니다.

4. 결과

광범한 실험을 통해 Loopy가 정량적 지표와 정성적 시각적 충실도 모두에서 기존 방식보다 크게 우수함을 입증했습니다.

• 정량적 성능: 여러 백본(Wan 2.1, Wan 2.2, HunyuanVideo 1.5 및 Wan-Alpha)에 걸쳐, Loopy는 순환 매끄러움(Cyclic Smoothness)(예: Wan 2.2 14B에서 LatentMix의 0.9834 대비 0.9925 달성)과 **역동성 점수(Dynamic Score)**에서 최첨단(SOTA) 결과를 달성하여 우수한 시간적 일관성과 움직임 다양성을 보여주었습니다.
• 베이스라인과의 비교:
  • Pre-AI/보간법 대비: Loopy는 움직임의 다양성이 제한되거나 정적 붕괴가 발생하는 기존의 심(seam) 처리 기술 및 FLF2V 보간법(예: EDEN)을 능가합니다.
  • 잠재 공간 조작 대비: Loopy는 텍스트 정렬, 미적 품질, 움직임의 매끄러움 측면에서 학습이 필요 없는 잠재 공간 조작 전략(LatentMix, Mobius)보다 뛰어난 성능을 보였으며, 이는 위치 임베딩에 대한 구조적 수정이 단순한 잠재 공간 회전보다 더 효과적임을 증명합니다.
• 사용자 조사: 40명의 참가자를 대상으로 한 지각 평가 결과, Loopy는 RGB 및 RGQA 비디오 모두에서 움직임의 일관성, 움직임의 다양성, 사실성 지표에 대해 경쟁 방법들보다 선호되는 것으로 확인되었습니다.
• 절제 연구(Ablation Studies): 앵커 레이어를 제거하거나, 그룹화 없이 이동을 적용하거나, 미세 조정을 생략하는 경우 모두 측정 가능한 성능 저하를 일으켰으며, 이는 각 구성 요소의 필요성을 검증합니다.

5. 의의 및 주장

본 논문은 Loopy가 비디오 생성 모델이 시간적 순서를 인식하는 방식에 근본적인 변화를 가져왔다고 주장합니다. 앵커 기반 위치 임베딩 이동을 통해 루프를 명시적으로 원형으로 모델링함으로써, 표준 DiT 아키텍처에 내재된 선형 편향을 극복합니다.

이 연구의 의의는 다음과 같습니다:

1. 심리스 루프 구현: 방대한 기존 루핑 데이터 없이도 텍스트 프롬프트로부터 다양하고 일관되며 심리스한 루핑 비디오를 직접 생성할 수 있습니다.
2. 고급 모달리티 지원: 루핑 생성을 RGBA 도메인으로 성공적으로 확장하여, 투명도가 중요한 게임 및 시각 효과를 위한 복잡한 콘텐츠 제작을 용이하게 합니다.
3. AIGC 생태계와의 통합: 비디오 모델의 원래 아키텍처를 보존하면서 플러그 앤 플레이 방식으로 강화할 수 있어, 스타일 및 정체성 제어와 같은 다른 기능들과의 호환성을 유지합니다.

저자들은 결론적으로 Loopy가 광고, 웹 그래픽, 게임 개발 등의 다운스트림 작업에 강력한 도구를 제공하며, 생성형 비디오 모델의 오랜 한계를 해결한다고 밝히고 있습니다.