UltraViCo: Breaking Extrapolation Limits in Video Diffusion Transformers

이 논문은 비디오 확산 트랜스포머의 길이 외삽 한계를 해결하기 위해 어텐션 분산 현상을 규명하고, 이를 억제하는 훈련 없는 플러그인 방법인 UltraViCo 를 제안하여 기존 방법 대비 4 배의 외삽 성능과 품질 향상을 달성함을 보여줍니다.

핵심

🎬 "UltraViCo": 비디오 AI 가 긴 영상을 만들 때 겪는 '기억 상실'을 해결하다

이 논문은 최신 AI 비디오 생성 기술 (텍스트를 입력하면 영상을 만들어주는 기술) 이 가진 큰 문제점 하나를 발견하고, 이를 해결하는 획기적인 방법을 제시합니다.

🎥 배경: AI 가 "짧은 영상"만 잘 만드는 이유

지금까지의 AI 비디오 모델들은 보통 5 초짜리 짧은 영상으로만 훈련되었습니다. 그런데 우리가 "1 분짜리 영상을 만들어줘"라고 요청하면, AI 는 당황합니다. 마치 어린아이가 짧은 동화책은 잘 읽지만, 두꺼운 소설을 읽으려다 내용을 잊어버리거나 같은 장면을 반복해서 읽는 것과 비슷합니다.

이 논문은 AI 가 긴 영상을 만들 때 겪는 두 가지 치명적인 실수를 발견했습니다:

1. 지루한 반복 (Repetition): 같은 장면이 끝없이 반복됩니다. (예: 개가 뛰는 장면이 10 초마다 똑같이 반복됨)
2. 화질 저하 (Quality Degradation): 영상이 흐려지고, 움직임이 멈추어 마치 정지된 사진처럼 보입니다.

🔍 원인 분석: "주의 (Attention)"가 흩어졌기 때문

연구진들은 AI 가 왜 이런 실수를 하는지 파헤쳤습니다. 핵심은 AI 의 '주의 (Attention)' 메커니즘에 있었습니다.

• 비유: AI 가 영상을 만들 때는 마치 영화 감독이 배우들의 연기를 지켜보며 다음 장면을 구상하는 것과 같습니다. 훈련된 짧은 영상 (5 초) 안에서는 감독이 모든 배우의 연기를 선명하게 기억하고 집중합니다.
• 문제점: 하지만 갑자기 20 초, 30 초로 길어지면, 감독은 너무 많은 배우 (새로운 프레임) 를 한 번에 보려고 하다가 집중력이 흩어집니다.
  • 화질 저하: 집중력이 흐트러지면 디테일 (얼굴 표정, 배경) 이 흐릿해집니다.
  • 반복: 더 흥미로운 점은, 어떤 모델은 이 흩어진 집중력이 **특정한 리듬 (주기)**을 타고 다시 모이면서, 같은 장면을 계속 반복하게 된다는 것입니다. 마치 리듬감 있는 음악이 너무 반복되면 귀에 익어서 같은 멜로디만 계속 들리는 현상과 같습니다.

저자들은 이를 **'주의 분산 (Attention Dispersion)'**이라고 불렀습니다. 즉, AI 가 훈련된 범위 밖의 새로운 정보에 너무 많은 관심을 쏟다가, 정작 중요한 훈련된 정보를 잊어버리고 망가뜨리는 것입니다.

💡 해결책: UltraViCo (울트라비코)

이 문제를 해결하기 위해 연구진은 UltraViCo라는 새로운 방법을 개발했습니다. 이 방법은 AI 를 다시 훈련시킬 필요 없이, 기존 모델에 **플러그인 (Plug-and-play)**처럼 바로 적용할 수 있습니다.

• 핵심 아이디어: "훈련된 범위 (5 초) 밖의 정보는 조금만 봐주고, 훈련된 범위 안의 정보에 집중하라!"
• 작동 원리:
  • AI 가 영상을 만들 때, 훈련된 시간 범위 (예: 5 초) 안의 프레임에는 100% 집중하게 합니다.
  • 그 범위를 벗어난 새로운 프레임 (5 초 이후) 에는 '감쇠 (Decay)' 효과를 주어 관심을 줄입니다.
  • 마치 노안 안경을 쓴 할아버지가 가까운 글씨는 또렷하게 보지만, 먼 글씨는 흐릿하게 보며 집중하는 것과 같습니다. AI 가 멀리 있는 정보에 너무 많은 에너지를 쏟지 않도록 도와주는 것입니다.

이렇게 하면 AI 는 흐릿해지거나 반복되는 실수를 막고, 훈련된 범위 안의 선명한 정보를 바탕으로 긴 영상을 자연스럽게 이어갈 수 있게 됩니다.

🚀 성과: 2 배에서 4 배로!

기존 방법들은 영상을 2 배 (10 초) 로 늘려도 화질이 급격히 떨어지거나 멈추는 문제가 있었습니다. 하지만 UltraViCo 를 적용한 결과:

• 4 배 (20 초) 길이의 영상도 선명하고 자연스러운 움직임으로 만들어냅니다.
• **움직임의 자연스러움 (Dynamic Degree)**은 이전 최고 성능보다 **233%**나 향상되었습니다.
• **화질 (Imaging Quality)**도 **40.5%**나 좋아졌습니다.

🌟 결론

이 연구는 AI 가 긴 영상을 만들 때 겪는 '기억 상실'과 '집중력 부족' 문제를 주의 (Attention) 를 조절하는 것으로 해결했습니다. UltraViCo 는 별도의 복잡한 학습 없이도, 기존 AI 모델이 더 길고 더 멋진 영상을 만들 수 있게 해주는 **'초점 조절 안경'**과 같은 역할을 합니다.

이 기술은 앞으로 AI 가 영화나 드라마 같은 긴 영상을 자동으로 제작하는 데 큰 도움이 될 것으로 기대됩니다.

기술 요약

UltraViCo: 비디오 확산 트랜스포머의 외삽 한계 극복 (기술 요약)

이 논문은 UltraViCo (Ultra-extrapolated Video via Attention Concentration) 라는 새로운 방법을 제안하여, 비디오 확산 트랜스포머 (DiT) 모델이 학습 길이를 넘어 긴 비디오를 생성할 때 발생하는 근본적인 문제를 해결합니다.

1. 문제 정의 (Problem)

기존의 텍스트-비디오 (T2V) 확산 모델들은 고정된 최대 시퀀스 길이 (예: 5 초) 로 학습됩니다. 이를 학습 길이를 초과하는 긴 비디오 생성에 적용하는 것을 비디오 길이 외삽 (Video Length Extrapolation) 이라고 합니다. 그러나 현재 모델들은 외삽 시 두 가지 주요 실패 모드 (Failure Modes) 를 보입니다:

1. 모델별 주기적 콘텐츠 반복 (Model-specific Periodic Content Repetition): 특정 모델 (예: HunyuanVideo, CogVideoX) 에서 짧은 클립이 무한히 반복되는 현상.
2. 보편적인 품질 저하 (Universal Quality Degradation): 모든 모델에서 발생하는 공간적 디테일 흐림 (blurring) 및 시간적 동역학 정지 (frozen temporal dynamics).

기존 연구 (예: RIFLEx) 는 위치 인코딩 (Positional Encoding) 을 수정하여 반복 문제만 해결하려 했으나, 품질 저하를 무시하여 외삽 성능에 한계가 있었습니다.

2. 핵심 통찰 및 원인 분석 (Key Insights & Analysis)

저자들은 실패의 원인을 어텐션 맵 (Attention Maps) 관점에서 재분석하여 다음과 같은 통찰을 얻었습니다.

• 통일된 원인: 어텐션 분산 (Attention Dispersion)
  • 학습 윈도우를 넘어선 새로운 토큰들이 기존에 학습된 어텐션 패턴을 희석시켜 품질 저하를 유발합니다.
  • 주기적 반복의 원인: RoPE (Rotary Position Embedding) 의 주파수 성분이 조화 (Harmonics) 관계를 이룰 때, 특정 주파수와 그 고조파가 위상이 맞아떨어지며 (constructive interference) 어텐션 스코어가 주기적으로 강하게 집중됩니다. 이로 인해 출력 특징이 반복되는 패턴을 보입니다.
  • 품질 저하의 원인: 학습 윈도우 밖의 토큰들에 대한 어텐션이 과도하게 분산되면, 모델은 먼 거리의 프레임에 집중하게 되어 세부 사항을 놓치고 (공간적 흐림), 무관한 움직임이 섞여 비디오가 정지된 것처럼 보입니다 (시간적 정지).

즉, 주기적 반복은 어텐션 분산이 특정 주기적 패턴으로 조직화된 특수한 경우로 볼 수 있습니다.

3. 제안 방법: UltraViCo (Methodology)

UltraViCo 는 학습이 필요 없는 (training-free), 플러그 앤 플레이 (plug-and-play) 방식의 방법론입니다.

• 핵심 메커니즘: 어텐션 집중 (Attention Concentration)
  • 학습 윈도우 (Training Window) 를 벗어난 토큰에 대한 어텐션 로짓 (Logits) 에 감쇠 인자 (Decay Factor, $\lambda_{ij}$) 를 적용하여 어텐션을 억제합니다.
  • 학습 윈도우 내부의 토큰 쌍 ($|i-j| \le L/2$) 에는 감쇠를 적용하지 않아 (1.0) 모델의 핵심 역학을 보존합니다.
  • 윈도우 밖의 토큰에는 상수 감쇠 인자 $\alpha$ ($<1$) 를 적용하여 어텐션을 학습된 영역으로 재분배합니다.
• 주기적 반복 대응 전략
  • 조화 정렬 위치 (Harmonic alignment positions, $mT$) 에서는 어텐션이 과도하게 집중되는 경향이 있으므로, 일반적인 윈도우 밖 토큰보다 더 강력한 감쇠 인자 $\beta$ ($\beta < \alpha$) 를 적용하여 주기적 패턴을 효과적으로 차단합니다.
• 효율적인 구현
  • 긴 시퀀스에서 어텐션 로짓을 수정할 때 발생하는 메모리 부족 (OOM) 문제를 해결하기 위해, FlashAttention 및 SageAttention 기반의 메모리 효율적인 CUDA 커널을 개발하여 온라인 소프트맥스 (online-softmax) 방식으로 구현했습니다.

4. 주요 결과 (Results)

HunyuanVideo, Wan2.1, CogVideoX 등 다양한 SOTA 모델에서 광범위한 실험을 수행했습니다.

• 성능 향상: 기존 베이스라인 (PE, NTK, YaRN, RIFLEx 등) 을 모든 설정에서 압도적으로 능가했습니다.
• 외삽 한계 확장: 실용적인 외삽 한계를 2 배 (2×) 에서 4 배 (4×) 로 확장했습니다.
  • 기존 방법들은 3 배 이상 외삽 시 거의 정지된 저화질 비디오를 생성했으나, UltraViCo 는 유동적인 움직임을 유지했습니다.
• 정량적 지표 개선 (4× 외삽 기준):
  • Dynamic Degree (동적 정도): 이전 최선 방법 대비 233% 향상.
  • Imaging Quality (영상 품질): 이전 최선 방법 대비 40.5% 향상.
  • Repetition Count (반복 횟수): 거의 0 에 수렴하여 반복 현상을 완전히 제거.
• 하위 작업 적용: 제어 가능한 비디오 생성 (Controllable Video Synthesis) 및 편집 (Editing) 작업에서도 자연스럽게 일반화되어 성능을 향상시켰습니다.

5. 의의 및 기여 (Significance)

1. 근본적인 문제 해결: 위치 인코딩 수정에 국한되었던 기존 접근법과 달리, 어텐션 메커니즘 자체를 분석하여 주기적 반복과 품질 저하라는 두 가지 실패 모드를 동시에 해결했습니다.
2. 학습 비용 제거: 모델을 재학습하거나 미세조정 (Fine-tuning) 하지 않고, 추론 시 어텐션 로짓을 조정하는 것만으로 높은 성능을 달성하여 계산 비용을 절감했습니다.
3. 실용성 증대: 비디오 생성 모델의 실제 적용 범위를 획기적으로 넓혀, 긴 영상 생성이 필요한 다양한 응용 분야 (영화, 광고, 교육 등) 에 기여할 수 있는 가능성을 열었습니다.

결론적으로, UltraViCo 는 비디오 확산 트랜스포머의 외삽 한계를 어텐션 분산의 관점에서 재정의하고, 이를 효과적으로 제어함으로써 긴 비디오 생성의 질적, 양적 한계를 돌파한 획기적인 연구입니다.