💻 computer science

DySink: Dynamic Frame Sinks for Autoregressive Long Video Generation

DySink 是一种基于检索的自回归长视频生成框架，它用动态选择的视觉相关历史帧取代静态早期帧锚点，并采用汇点异常门控机制以防止注意力坍塌，从而同时提升动态连贯性与时间质量。

原作者： Bo Ye, Xinyu Cui, Jian Zhao, Tong Wei, Min-Ling Zhang

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Bo Ye, Xinyu Cui, Jian Zhao, Tong Wei, Min-Ling Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图讲述一个长达一小时的故事，却只有一本非常小的笔记本用来书写。每当你写下一句新句子，就必须擦掉一句旧句子以腾出空间。

问题：“旧照片”陷阱
当前的 AI 视频生成器面临类似的问题。为了高效地生成长视频，它们采用了一种技巧：将少数“锚点”帧（例如视频的第一帧）永久保留在内存中，同时不断替换其余部分。

这就像一位导游被困在盯着旅行起点照片的状态。尽管团队已经步行数英里深入丛林，导游却仍指着停车场的照片说：“还记得这个吗？”

结果： 视频陷入停滞。场景变化不足，或者更糟的是，视频突然跳回开头，造成一种怪异的循环故障，使故事重置。论文将这种现象称为“汇点坍塌”（Sink Collapse）。之所以发生，是因为 AI 过度痴迷于那些陈旧、静态的锚点，而忘记了中间发生的有趣内容。

解决方案：DySink（智能图书管理员）
作者提出了一种名为 DySink 的新系统。DySink 不再固守相同的旧照片，而是像一个拥有动态记忆库的智能图书管理员。

动态检索： 当 AI 需要回忆过去以保持故事连贯时，它不会仅仅抓取书本的第一页。相反，它会审视当前的场景，并问道：“过去的哪一部分与此刻发生的最相似？”随后，它会从记忆库中调取那些具体且相关的页面。
- 类比： 如果你此刻正在沙漠中骑马，AI 不会查看视频开头的一张鱼的照片，而是会找到 10 分钟前那张马的照片，以保持故事的流畅。
“异常门控”（安全检查）： 有时，即使是聪明的图书管理员也可能出错，调出一页导致故事循环或故障的页面。论文引入了一种特殊的“安全门”。
- 类比： 想象 AI 拥有一个由 100 名编辑（注意力头）组成的团队。如果这 100 名编辑突然齐声尖叫：“快看那张旧照片！它是最重要的！”安全门就会猛然关闭。它会说：“停下！所有人一致认同某件旧事物，通常意味着我们即将犯错。”随后，它会忽略那张旧照片，转而坚持近期且安全的记忆。

结果
论文在长达一分钟的视频上测试了该方法。

旧方法： 视频经常陷入循环，或看起来像是退回到了开头。
DySink 方法： 视频自然演进。角色和场景随时间变化（更高的“动态度”），同时不失故事的连贯性（更高的“时间质量”）。

总结
DySink 解决了 AI 视频被困在过去的问题。它不再强迫 AI 永远凝视视频的开头，而是让 AI搜索记忆中最相关的时刻以保持故事流畅。它还增加了一个安全开关，防止 AI 过度痴迷于任何单一记忆，从而避免视频出现故障并重置。

技术摘要：DySink——面向自回归长视频生成的动态帧汇点

1. 问题陈述

自回归长视频生成依赖于有界内存流式处理，以管理双向扩散 Transformer 的二次计算成本。当前最先进的方法（例如 LongLive、Rolling-Forcing）通常采用混合注意力机制，结合滑动窗口以维持短期连贯性，并利用静态帧汇点（早期缓存帧）作为长期一致性的全局锚点。

本文指出了这种静态分配策略的两个关键局限性：

上下文失配：随着生成的推进，视觉状态往往与早期帧显著偏离。持续缓存这些过时的锚点会使模型倾向于复现初始视觉线索，而非适应不断演变的场景，从而导致时间停滞。
汇点崩溃：在严重情况下，对静态汇点的依赖会触发一种被称为“汇点崩溃”的故障模式。Cui 等人（2026）将其归因于 RoPE 引起的相位重对齐以及多头注意力的同质化，即大量注意力头同时过度关注汇点帧。这导致生成内容向汇点帧退化，引发突兀的场景重置和循环运动模式。

2. 方法论：DySink 框架

DySink 提出了一种基于检索的框架，用动态帧汇点取代固定的早期帧锚点。该系统维护一个紧凑的内存库，并即时选择视觉上相关的历史帧。该框架包含三个核心组件：

A. 内存库构建

结构：内存库存储历史视频块，其中每个条目由紧凑的视觉描述符（ $f_i$ ）和对应的逐层键值（KV）缓存（ $K_i, V_i$ ）组成。
描述符生成：视觉描述符通过将潜在帧解码至像素空间，经由冻结的视觉编码器进行编码，并通过平均池化和 L2 归一化聚合特征来创建。
新颖性感知更新：为防止冗余，仅当候选块与现有条目的相似度低于阈值（ $\tau_{dedup}$ ）时才予以接纳。若出现近重复项，则保留较早的条目，因为它们受误差累积的污染较少。

B. 自适应检索与注入

检索机制：对于当前生成块，DySink 聚合局部滑动窗口中的描述符以形成查询。它计算与内存库的余弦相似度，以检索前 $k$ 个最相关的历史块。
上下文注入：检索块的 KV 缓存与局部滑动窗口的 KV 缓存连接，形成注意力上下文。这使得模型能够访问长程结构线索，而无需永久依赖固定的早期帧。

C. 汇点异常门控

为了在不修改 RoPE 频率结构（如先前工作通过 RoPE 抖动所实现）的情况下缓解汇点崩溃，DySink 引入了一个轻量级的逐层汇点异常门：

检测逻辑：该门监控多头共识。它计算将更高亲和力分配给检索上下文而非局部窗口的注意力头的比例。
抑制：如果过度关注检索上下文的头比例超过共识阈值（ $\tau_{gate}$ ），该门将抑制该层的检索 KV 状态，迫使模型回退到局部滑动窗口。这防止了导致崩溃的注意力“同质化”。

3. 训练范式

DySink 遵循基于 Wan2.1 架构的两阶段流式微调范式：

短视界蒸馏：使用分布匹配蒸馏（DMD）从教师模型（14B）中蒸馏出学生模型（1.3B），以创建少步因果生成器。
长视界微调：使用 LoRA 在 60 秒的流式滚动生成上对模型进行微调。完整的 DySink 流程（检索 + 门控）在训练期间处于激活状态，以确保训练与推理之间的一致性。

4. 实验结果

实验在分钟级视频生成（50 秒、75 秒和 100 秒）上进行，使用 Wan2.1-T2V-1.3B 骨干网络。

动态程度：DySink 显著优于强大的自回归基线（例如 Self-Forcing++、LongLive）。在 50 秒视频中，其动态程度比 Self-Forcing++ 提高8.16 分，比 LongLive 提高21.12 分。这一趋势在 75 秒和 100 秒生成中同样成立。
时间质量：尽管动态演变增加，DySink 仍实现了比基线更高的时间质量分数，表明动态汇点在允许场景演变的同时保持了连贯性。
消融研究：
- 移除汇点异常门会导致动态程度（从 60.45 降至 37.98）和时间质量急剧下降，证实若无该门，模型会回归到汇点崩溃行为（循环运动、重复结构）。
- 比较静态汇点与DySink显示，虽然静态汇点提供了一定的稳定性，但动态检索在适应不断演变的视觉状态方面具有更优越的适应性。

5. 意义与主张

本文主张，DySink 解决了自回归视频生成中静态内存分配的根本僵化问题。通过从固定锚点转向内容自适应检索，该方法减少了条件失配，并缓解了汇点崩溃这一特定故障模式。

主要主张包括：

适应性：动态汇点使模型能够在保持长程一致性的同时，避免偏向过时的早期帧属性。
崩溃预防：汇点异常门通过检测过度的多头共识，有效抑制了易导致崩溃的注意力模式，提供了一种无需修改底层 RoPE 位置编码的解决方案。
可扩展性：该方法证明，与当前最先进的方法相比，可以生成具有更高动态程度和时间质量的分钟级视频，表明动态内存选择是未来长视界生成的关键组成部分。

作者指出了局限性，承认当前的仅视觉索引可能会遗漏细粒度的语义或对象级线索，并且动态检索的全部潜力在涉及复杂、密集事件或多阶段转换且超出当前 100 秒评估视界的情景中可能更为显著。