技术摘要：AtlasVid

问题陈述

近期基于扩散的视频生成器已在高视觉保真度和提示词可控性方面取得显著成果，但将其扩展至超高分辨率（UHR）和长时长视频仍面临高昂的成本。主要瓶颈在于扩散 Transformer（DiT）中全注意力机制的二次方计算复杂度（$O((HWT)^2)$），其中 $H$、$W$ 和 $T$ 分别代表高度、宽度和时间长度。将这些维度加倍会使计算成本增加 64 倍。

现有方法面临显著的权衡：

• 原生高分辨率训练： 需要海量的原生 4K+ 长视频数据集和庞大的计算资源（例如 32–64 个 GPU 集群），这些资源稀缺且昂贵。
• 生成后超分辨率： “伪高分辨率”流程虽能提升清晰度，但往往无法恢复丰富的高频细节或修正语义错误。
• 自回归拼接： 按顺序生成片段通常会导致全局时间连贯性和场景结构的不一致。
• 长单镜头生成： 在不进行片段拼接的情况下，以 4K+ 分辨率生成连续、长时长的视频（例如 >10 秒）目前对大多数模型而言仍难以实现。

方法论：AtlasVid

AtlasVid 提出了一种解耦的全局 - 局部建模框架，将全局语义结构的生成与局部高频细节的生成分离开来。该方法实现了分辨率无关的训练，使得主要在 720P 下训练的模型能够直接泛化至 4K 及更高分辨率。

1. 解耦的两阶段流程

该框架在两个不同的阶段运行：

• 阶段 1：全局语义代理生成。
  • 语义生成器生成一个低分辨率、低帧率的视频，作为全局语义代理。
  • 为了在不增加 token 数量的情况下扩展时间视野，该方法采用时间缩放 RoPE（旋转位置嵌入）。通过将时间索引缩放 $r_t$ 倍（例如 $r_t=4$），模型将相邻帧解释为间隔了更长的时间。这使得短序列（例如 81 帧）能够代表长时长（例如 20 秒），同时保持与较短视频相同的计算成本。
• 阶段 2：高分辨率细节生成。
  • 在全局代理的引导下，细节分支执行联合去噪以生成最终的 UHR 视频。
  • 该阶段利用分层局部保持注意力机制。不同于在展平的 token 序列上应用全注意力或朴素窗口注意力，潜在视频体被划分为时空立方体。Token 被重新排序，使得同一立方体内的 token 保持连续。
  • 局部保持注意力： 对这些重排序后的序列应用窗口注意力，确保注意力窗口对应于时空中的实际几何邻域。这既保留了预训练模型合成精细局部细节的能力，又降低了复杂度。

2. 高效联合去噪

• 非对称分层注意力： 全局代理 token（$X_{global}$）和细节 token（$X_{detail}$）被拼接在一起。注意力掩码设计为非对称：
  • $X_{global}$ 仅关注自身（无限制）。
  • $X_{detail}$ 关注其自身的局部邻域（通过局部保持注意力）以及对齐的全局语义 token。
  • $X_{global}$ 被禁止关注 $X_{detail}$（掩码值为 $-\infty$），强制形成单向的语义引导流。
• 位置对齐： 为确保全局代理能引导正确的时空区域，全局 token 的 RoPE 坐标按分辨率比率（$W/w, H/h, T/t$）进行缩放，将其映射到高分辨率潜在网格。
• 训练策略： 模型使用 LoRA（低秩自适应）在 720P 数据上进行训练。细节分支中的前馈层保持冻结，以保留预训练的局部生成能力，仅对注意力投影和全局条件层进行适配。可选的轻量级细化阶段可使用短 4K 片段对前馈层进行微调。

3. 推理效率

• 移除分类器自由引导（CFG）： 由于全局代理提供了确定性的语义目标，AtlasVid 在推理过程中无需 CFG，显著加快了生成速度。
• 分辨率无关性： 在 720P 下训练的模型可直接泛化至 4K 和 8K，无需针对主要生成任务的原生高分辨率训练数据。

主要贡献

1. 解耦的全局 - 局部建模： 一种新颖的框架，将全局语义建模与局部细节合成分离，解决了 DiT 架构的二次方扩展瓶颈。
2. 分辨率无关的训练： 据作者所知，这是第一种在不依赖海量原生 4K 训练数据集的情况下，联合扩展空间分辨率（高达 4K+）和时间时长（高达 321 帧）的方法。模型在 720P 下训练并泛化至更高分辨率。
3. 效率与可及性：
   • 在 4K 分辨率下，相比 Wan2.1-1.3B 基线实现了 60.9 倍 的加速。
   • 与 FlashAttention 相比，8K 生成的每层注意力 FLOPs 减少了高达 1208.2 倍。
   • 训练仅需 2 块 NVIDIA RTX Pro 6000 GPU（其他方法需 32–64 块 GPU），并能在单块 GPU 上于约 29 分钟内完成 4K 81 帧视频的推理。
4. 局部保持注意力： 一种通过重新排序 token 以保持几何局部性的机制，实现了尊重视频时空结构的有效稀疏注意力。

实验结果

• 定性表现： AtlasVid 生成了连贯的长时长视频（例如 8K 29 帧、4K 161 帧、2K 321 帧），具有稳定的结构和精细的细节。在维持时间一致性和避免长时长下的结构伪影（例如物体形变、色彩偏移）方面，其表现优于原生 4K 生成器（如 T3-Video 和 UltraGen）。
• 定量指标： 在 VBench 和高分辨率指标（HD-FVD, HD-LPIPS）上，AtlasVid 在 4K 生成方法中表现最佳，并与 720P 基线模型保持竞争力。
  • HD-FVD： 284.71（越低越好），优于 T3-Video（311.29）和 UltraGen（432.71）。
  • 运动与语义： 在主体一致性、背景一致性和运动平滑度方面得分较高。
• 消融研究：
  • 移除全局代理会导致生成不一致，证实了全局语义条件的必要性。
  • 移除局部保持注意力会导致模型无法扩展至 4K，而朴素块注意力无法泛化。
  • 可选的 4K 微调提升了自然度，但对于生成合理的 4K 内容并非严格必要，证明了 720P 训练基底的鲁棒性。

意义与主张

该论文声称，AtlasVid 从根本上改变了 UHR 长视频生成的范式，证明了预训练模型已具备高分辨率细节所需的局部视觉先验。主要挑战不在于生成能力的缺乏，而在于建模长程依赖的效率。

通过解耦这些任务，AtlasVid：

• 降低准入门槛： 降低了 UHR 视频生成的门槛，使无法访问大规模 GPU 集群的学术团体和独立创作者也能实现。
• 减少环境影响： 通过将二次方注意力替换为线性复杂度的局部保持变体，大幅降低了训练和部署 UHR 模型相关的能源消耗和碳足迹。
• 启用新应用： 促进了电影级长镜头、纪录片风格素材以及需要高空间细节和长时程连贯性且无需片段拼接的专业内容的生成。

作者承认了局限性，指出阶段 1 语义代理中的错误可能会传播到最终输出，并且该方法与其他加速技术（如蒸馏）是正交的，后者可进一步提升速度。