기술 요약: AtlasVid

문제 정의

최근 확산 기반 비디오 생성 모델들은 높은 시각적 충실도와 프롬프트 제어 가능성을 달성했으나, 이를 초고해상도 (UHR) 및 장시간 비디오로 확장하는 것은 여전히 과도하게 비용이 많이 듭니다. 주요 병목 현상은 Diffusion Transformer(DiT) 의 전체 어텐션 메커니즘이 가진 이차적 계산 복잡도($O((HWT)^2)$) 에 있으며, 여기서 $H$, $W$, $T$는 각각 높이, 너비, 시간 길이를 나타냅니다. 이러한 차원을 두 배로 늘리면 계산 비용은 64 배 증가합니다.

기존 접근 방식들은 상당한 트레이드오프에 직면해 있습니다:

• 네이티브 고해상도 학습: 네이티브 4K 이상의 장시간 비디오로 구성된 대규모 데이터셋과 광범위한 컴퓨팅 자원 (예: 32~64 개의 GPU 클러스터) 을 필요로 하며, 이는 희소하고 비용이 많이 듭니다.
• 생성 후 초해상도: "의사 고해상도" 파이프라인은 선명도를 개선하지만, 풍부한 고주파 세부 정보를 복원하거나 의미론적 오류를 수정하는 데 종종 실패합니다.
• ** autoregressive 스티칭:** 클립을 순차적으로 생성하는 것은 종종 전역적 시간적 일관성과 장면 구조에서 불일치를 초래합니다.
• 긴 단일 샷 생성: 클립 전환 없이 4K 이상의 해상도로 연속적인 장시간 비디오 (예: 10 초 이상) 를 생성하는 것은 현재 모델들에게 여전히 거의 불가능합니다.

방법론: AtlasVid

AtlasVid 는 전역 의미론적 구조와 국소 고주파 세부 사항의 생성을 분리하는 분리된 전역 - 국소 모델링 프레임워크를 제안합니다. 이 접근 방식은 해상도 무관 학습을 가능하게 하여, 주로 720P 로 학습된 모델이 4K 이상으로 직접 일반화되도록 합니다.

1. 분리된 2 단계 파이프라인

이 프레임워크는 두 가지 명확한 단계로 작동합니다:

• 1 단계: 전역 의미론적 프록시 생성.
  • 의미론적 생성기는 전역 의미론적 프록시로 작용하는 저해상도, 저프레임레이트 비디오를 생성합니다.
  • 토큰 수를 늘리지 않고 시간적 범위를 확장하기 위해, 이 방법은 시간 스케일링된 RoPE(회전 위치 임베딩) 를 사용합니다. 시간 인덱스를 $r_t$ (예: $r_t=4$) 배로 스케일링함으로써, 모델은 인접한 프레임이 더 큰 시간 간격으로 분리된 것으로 해석합니다. 이를 통해 짧은 시퀀스 (예: 81 프레임) 가 더 짧은 비디오와 동일한 계산 비용으로 긴 지속 시간 (예: 20 초) 을 표현할 수 있습니다.
• 2 단계: 고해상도 세부 사항 생성.
  • 전역 프록시에 의해 안내되어, 세부 사항 브랜치가 최종 UHR 비디오를 생성하기 위해 결합된 디노이징을 수행합니다.
  • 이 단계는 계층적 국소성 보존 어텐션 메커니즘을 활용합니다. 평탄화된 토큰 시퀀스에 전체 어텐션이나 단순한 윈도우 어텐션을 적용하는 대신, 잠재 비디오 볼륨을 시공간 큐브로 분할합니다. 토큰이 동일한 큐브 내의 토큰들이 연속적으로 오도록 재배열됩니다.
  • 국소성 보존 어텐션: 이러한 재배열된 시퀀스에 윈도우 어텐션을 적용하여, 어텐션 윈도우가 실제 시공간 기하학적 이웃에 대응하도록 합니다. 이는 복잡도를 줄이면서 사전 학습된 모델이 정교한 국소 세부 사항을 합성하는 능력을 보존합니다.

2. 효율적인 결합 디노이징

• 비대칭 계층적 어텐션: 전역 프록시 토큰 ($X_{global}$) 과 세부 사항 토큰 ($X_{detail}$) 이 연결됩니다. 어텐션 마스크는 비대칭적으로 설계됩니다:
  • $X_{global}$은 자신에게만 어텐션합니다 (제한 없음).
  • $X_{detail}$은 자신의 국소 이웃 (국소성 보존 어텐션을 통해) 과 정렬된 전역 의미론적 토큰에 어텐션합니다.
  • $X_{global}$은 $X_{detail}$에 어텐션하지 않도록 차단됩니다 (마스크 값 $-\infty$), 이는 일방향 의미론적 안내 흐름을 강제합니다.
• 위치 정렬: 전역 프록시가 올바른 시공간 영역을 안내하도록 하기 위해, 전역 토큰의 RoPE 좌표는 해상도 비율 ($W/w, H/h, T/t$) 로 스케일링되어 고해상도 잠재 그리드에 매핑됩니다.
• 학습 전략: 모델은 720P 데이터에 LoRA(저랭크 적응) 를 사용하여 학습됩니다. 세부 사항 브랜치의 피드포워드 레이어는 사전 학습된 국소 생성 능력을 보존하기 위해 고정된 채로 유지되며, 어텐션 프로젝션과 전역 컨디셔닝 레이어만 적응됩니다. 선택적이며 경량의 정제 단계는 짧은 4K 클립을 사용하여 피드포워드 레이어를 미세 조정할 수 있습니다.

3. 추론 효율성

• 분류기 없는 안내 (CFG) 제거: 전역 프록시가 결정론적 의미론적 목표를 제공하기 때문에, AtlasVid 는 추론 중 CFG 가 필요하지 않게 되어 생성 속도가 크게 향상됩니다.
• 해상도 무관성: 720P 로 학습된 모델은 주요 생성 작업에 대한 네이티브 고해상도 학습 데이터 없이도 4K 및 8K 로 직접 일반화됩니다.

주요 기여

1. 분리된 전역 - 국소 모델링: 전역 의미론적 모델링과 국소 세부 사항 합성을 분리하여 DiT 아키텍처의 이차적 확장 병목 현상을 해결하는 새로운 프레임워크.
2. 해상도 무관 학습: 저자들에 따르면, 거대한 네이티브 4K 학습 데이터셋에 의존하지 않고 공간 해상도 (최대 4K 이상) 와 시간 지속 시간 (최대 321 프레임) 을 함께 확장하는 최초의 방법. 모델은 720P 에서 학습되어 더 높은 해상도로 일반화됩니다.
3. 효율성과 접근성:
   • 4K 에서 Wan2.1-1.3B 베이스라인 대비 60.9 배의 속도 향상을 달성합니다.
   • 8K 생성에 대해 FlashAttention 대비 레이어당 어텐션 FLOPs 를 최대 1208.2 배 줄입니다.
   • 학습에 NVIDIA RTX Pro 6000 GPU 2 개만 필요하며 (다른 방법들은 32~64 개 GPU 필요), 4K 81 프레임 비디오에 대해 단일 GPU 에서 약 29 분 내에 추론이 가능합니다.
4. 국소성 보존 어텐션: 토큰을 재배열하여 기하학적 국소성을 유지하는 메커니즘으로, 비디오의 시공간 구조를 존중하는 효과적인 희소 어텐션을 가능하게 합니다.

실험 결과

• 정성적 성능: AtlasVid 는 안정적인 구조와 정교한 세부 사항을 가진 일관된 장시간 비디오 (예: 8K 29 프레임, 4K 161 프레임, 2K 321 프레임) 를 생성합니다. 이는 T3-Video 나 UltraGen 과 같은 네이티브 4K 생성기들보다 시간적 일관성을 유지하고 장시간 동안 구조적 아티팩트 (예: 변형되는 객체, 색상 변화) 를 방지하는 데에서 더 나은 성능을 보입니다.
• 정량적 지표: VBench 및 고해상도 지표 (HD-FVD, HD-LPIPS) 에서 AtlasVid 는 4K 생성 방법 중 최고의 성능을 달성하며 720P 베이스 모델과 경쟁력을 유지합니다.
  • HD-FVD: 284.71 (낮을수록 좋음), T3-Video(311.29) 와 UltraGen(432.71) 보다 우수합니다.
  • 동작과 의미: 주제 일관성, 배경 일관성, 동작 부드러움에서 높은 점수를 기록합니다.
• 절대 실험:
  • 전역 프록시를 제거하면 일관되지 않은 생성이 발생하여 전역 의미론적 컨디셔닝의 필요성을 확인시켜 줍니다.
  • 국소성 보존 어텐션을 제거하면 모델이 4K 로 확장하는 데 실패하는 반면, 단순한 블록 어텐션은 일반화할 수 없습니다.
  • 선택적 4K 미세 조정은 자연스러움을 개선하지만, 그럴듯한 4K 생성에 필수적이지는 않아 720P 학습 베이스의 견고함을 보여줍니다.

중요성과 주장

이 논문은 AtlasVid 가 사전 학습된 모델이 이미 고해상도 세부 사항에 필요한 국소 시각적 사전 지식을 보유하고 있음을 보여줌으로써 UHR 장시간 비디오 생성의 패러다임을 근본적으로 전환한다고 주장합니다. 주요 과제는 생성 능력의 부족이 아니라 장거리 의존성을 모델링하는 효율성입니다.

이러한 작업을 분리함으로써 AtlasVid 는 다음과 같은 효과를 가집니다:

• 접근성 민주화: 대규모 GPU 클러스터에 접근할 수 없는 학술 그룹과 독립 창작자들에게 UHR 비디오 생성의 진입 장벽을 낮춥니다.
• 환경적 영향 감소: 이차적 어텐션을 선형 복잡도의 국소성 보존 변형으로 대체함으로써 UHR 모델의 학습 및 서비스와 관련된 에너지 및 탄소 발자국을 획기적으로 줄입니다.
• 새로운 응용 가능: 클립 스티칭에 의존하지 않고 높은 공간적 세부 사항과 긴 시간적 일관성이 모두 필요한 영화적 롱테이크, 다큐멘터리 스타일 영상, 전문 콘텐츠의 생성을 가능하게 합니다.

저자들은 한계를 인정하며, 1 단계 의미론적 프록시의 오류가 최종 출력으로 전파될 수 있으며, 이 방법은 증류와 같은 다른 가속화 기법과 직교하여 속도를 더욱 향상시킬 수 있음을 지적합니다.