💻 computer science

AdaState: Self-Evolving Anchors for Streaming Video Generation

AdaState 引入了一种自进化的自适应潜在锚点，以替代自回归视频扩散模型中的静态首帧参考，通过将时间视为相对概念并将循环机制融入生成过程，从而实现更自然的场景演进和更丰富的运动表现。

原作者： Yusuf Dalva, Pinar Yanardag

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yusuf Dalva, Pinar Yanardag

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向朋友讲述一个漫长而连贯的故事，但你每次只能连续说三句话。每当你开始新一轮的讲述时，你都必须提醒朋友故事最初发生了什么，以免他们感到困惑。

在 AI 视频生成领域，情况正是如此。AI 逐帧（或按小片段）构建视频，为了保持故事的一致性，它严重依赖其生成的第一帧。

问题：“冻结的锚点”

这篇论文将这种对第一帧的依赖称为“静态锚点”。这就像一座永不移动的灯塔。

当前运作方式：AI 将第一帧视为终极真理。无论后续故事如何变化，AI 都会不断回溯第一帧，以此决定下一步该做什么。
故障所在：由于 AI 过于执着于第一帧，它陷入了僵局。如果你让 AI 生成一段摄像机飞越城市的视频，AI 会因过度担心城市外观必须与第一秒完全一致，而拒绝让摄像机移动或让建筑物发生变化。
结果：视频看起来像幻灯片，摄像机仿佛被粘在一个点上；更糟糕的是，AI 开始幻觉般地生成物体的奇怪复制品，因为它试图强行让新场景适应旧的、冻结的布局。这就像只盯着后视镜开车；你无法看到前方的路。

解决方案：AdaState（“自我演进的锚点”）

作者 Yusuf Dalva 和 Pinar Yanardag 提出了一种名为 AdaState 的新方法。他们不再使用一座冻结的灯塔，而是赋予 AI 一个鲜活、有生命的记忆。

以下是 AdaState 的工作原理，使用一个简单的类比：

1. “幽灵”角色
想象 AI 正在写一个故事。通常，它会把主角的照片放在桌上，并拒绝更改。使用 AdaState 时，AI 会创建一个“幽灵角色”（即自适应状态）。

这个幽灵永远不会向观众展示（它不会在最终视频中渲染出来）。
然而，在故事的每一步，AI 都会根据刚刚发生的事件更新这个幽灵。
幽灵将场景的“本质”向前传递。如果故事中太阳落山，幽灵会更新以反映日落，即使幽灵本身不是一个可见的角色。

2. 循环（回路）
在普通的视频 AI 中，“记忆”仅仅是一份过去帧的列表。而在 AdaState 中，记忆是一个过程。

这就像一场接力赛。第一名选手（第一帧）将接力棒交给第二名。但在 AdaState 中，接力棒在奔跑过程中会改变形状。
AI 不仅仅是复制过去；它在每一步都重新构想锚点。它会问：“鉴于我们现在的位置，‘锚点’应该是什么样子，才能让故事自然地继续下去？”
这使得摄像机能够滑行、光线能够变化、场景能够演进，同时仍然感觉像是一个连贯的连续故事。

3. 为长远而训练
论文还发现，在训练这些模型时，AI 往往过于关注视频的开头（因为那部分简单且干净），而忽略了结尾（错误在那里堆积）。

解决方法：他们使用了一种名为“地平线加权 DMD"的特殊训练技术。想象一位给试卷打分的老师，决定给试卷最末尾的答案额外加分。这迫使 AI 关注长期的连贯性，而不仅仅是开头。

结果

当他们测试这种新方法时：

旧 AI：生成的视频要么非常稳定但枯燥（没有运动），要么非常动态但在几秒钟后就会崩溃成 nonsense。
AdaState：生成的视频既稳定又动态。摄像机可以飞越海岸线长达 30 秒，展现新的地形和变化的光线，而视频不会冻结或变成混乱的故障画面。

总结

该论文认为，要制作流畅的长视频，我们需要停止将第一帧视为永久性的规则手册。相反，我们需要一个“自我演进的锚点”，随着故事的进展不断更新自身。AdaState 通过隐藏一个特殊的、不可见的记忆槽来实现这一点，AI 不断刷新该记忆槽，使视频能够自然地向前推进，而不会失去其身份特征。

技术摘要：AdaState——用于流式视频生成的自演进锚点

1. 问题陈述

自回归视频扩散模型通过按顺序生成帧来产生流式视频，将每个新片段基于先前生成的内容进行条件化。这些模型的一个根本性结构局限在于其对静态锚点的依赖：第一帧的键值（KV）表示在注意力缓存中占据特权位置（位置 0）。

由于“注意力汇”（attention-sink）现象，即因果 softmax 将质量集中在初始位置上，这个静态锚点在生成过程中会吸引不成比例的注意力。虽然这确保了静态一致性，但它抑制了视频动态。模型实际上被锁定在初始视角，阻碍了自然场景演变、相机移动和主体进展。随着生成的延伸，模型难以协调不断演变的场景与冻结的参考，导致以下两种情况之一：

时间浅薄性：为了保持与第一帧的一致性，运动和场景进展被抑制。
漂移与伪影：如果启发式地移除或更新锚点，误差会累积，导致视觉崩溃或主体身份丢失。

现有解决方案未能解决这一根本原因。保留静态锚点的方法（如 LongLive、Infinity-RoPE）冻结了场景。使用内容无关更新的方法（如基于 EMA 的方法，例如 Reward Forcing、MemRoPE）收敛到一个无法适应特定场景变化的模糊均值。启发式替换（如 Rolling Sink）使生成偏向于重现过去的帧，而非新颖的延续。

2. 方法论：AdaState

作者提出了AdaState，这是一个用自适应状态替换静态第一帧锚点的框架——这是一种随内容演进的隐藏潜在变量。

核心机制

作为隐藏潜在变量的自适应状态：模型在 KV 缓存的位置 0 维护一个状态 $s$ ，而不是冻结的第一帧。该状态是一个隐藏潜在变量，在每一个片段中与视频内容一起被去噪，但永远不会被渲染到最终视频输出中。
联合去噪与递归：在每一个生成步骤 $n$ $n$ ，生成器 $G_\theta$ $G_{θ}$ 基于 KV 缓存 $h_n$ $h_{n}$ ，从独立的高斯噪声中联合去噪当前内容帧 $x^{(n)}_c$ $x_{c}^{(n)}$ 和状态帧 $s_n$ $s_{n}$ 。
- 干净的内容 KV 进入滑动窗口以提供短期上下文。
- 干净的状态 KV 覆盖缓存中的位置 0，作为下一个片段的场景参考。
相对时间公式：与编码绝对时间的标准生成不同，AdaState 将时间视为相对的。无论展开长度如何，每个生成步骤都看到相同的结构。状态转换在每个片段中都是相同的，将顺序自回归过程转变为递归过程，其中：
- 去噪充当转换函数。
- KV 缓存充当隐藏状态的载体。
- 不需要外部模块、门控机制或独立的记忆单元。

视界加权训练

为了确保模型学会有效利用自适应状态，作者引入了视界加权分布匹配蒸馏（Horizon-Weighted Distribution Matching Distillation, DMD）。

问题：在自回归展开中，误差会在后续帧中累积。标准的均匀损失权重允许优化器专注于干净、早期的帧，而忽视了关键的后期帧，在这些帧中自适应状态必须补偿原始场景内容的缺失。
解决方案：对 DMD 损失应用线性斜坡权重 $w_i$ ，随帧索引 $i$ 增加而增加。这迫使优化器将能力集中在后期帧上，在这些帧中状态介导的连贯性最为关键。
$L = \frac{1}{2} \sum_{i=0}^{N-1} w_i \left\| \hat{x}_i - \left( \hat{x}_i - \frac{S_{fake} - S_{real}}{\gamma} \right)_{sg} \right\|^2, \quad w_i = 1 + \alpha \cdot \frac{i}{N-1}$

3. 主要贡献

结构偏差的识别：本文指出，自回归视频扩散中的静态锚点产生了一种抑制动态的结构化注意力偏差，将场景构图锁定在初始视角。
自适应状态架构：作者提出用通过视界加权 DMD 训练的隐藏自适应状态替换静态锚点。该状态随内容演进，允许模型在每一步生成自己的场景参考。
无需外部模块的递归公式：这项工作表明，去噪本身可以充当递归。自适应状态是由模型自身的迭代细化更新的隐藏变量，并通过 KV 缓存携带，不需要外部记忆或门控机制。

4. 实验结果

该方法在基于 Self-Forcing 蒸馏自 Wan2.1-T2V-1.3B 的模型上进行了评估，在 21 帧展开上训练，并在 5 秒（视界内）和 30 秒（6 倍训练视界）进行测试。

定性性能：
- 静态锚点（如 Infinity-RoPE、Rolling Forcing）：保留身份但冻结场景，不显示相机移动或场景进展。
- 无参考（如 Self-Forcing、Causal Forcing）：初期显示高动态，但随着展开超出训练视界，遭受颜色漂移和视觉伪影。
- AdaState：实现了独特的平衡，在保留主体身份的同时，实现了自然的场景演变、相机滑移和连续运动，即使在 30 秒时也是如此。
定量性能：
- 视界内（5 秒）：AdaState 取得了最高的总 VBench 分数和 VisionReward，其动态程度显著高于静态锚点方法。
- 视界外（30 秒）：AdaState 是唯一一种动态程度不下降的方法。它占据了连贯性 - 动态权衡曲线的“右上”区域，在保持高连贯性的同时，在所有基线中实现了最高的动态程度。
- 用户研究：在 40 名评分者的研究中，AdaState 在“连贯进展”和“提示遵循”方面获得了最高分数，优于无参考、静态参考和 EMA 参考基线。

5. 意义与主张

本文声称，AdaState 从根本上打破了困扰当前流式视频生成的连贯性 - 动态权衡。通过将生成过程视为一种递归，其中模型自身的去噪更新隐藏的场景参考，AdaState 实现了：

更丰富的运动：随时间演变的自然相机运动和主体动作。
长视界稳定性：能够生成远超训练视界的连贯视频，而不会累积漂移或冻结场景。
架构简洁性：该解决方案不需要对骨干 DiT 进行架构更改，不需要辅助损失，也不需要外部记忆模块，仅依赖现有的 KV 缓存和注意力机制。

作者将此定位为迈向自回归生成中自适应递归状态的一步，表明该公式可应用于其他注意力集中在固定过去位置的领域。然而，他们谦逊地指出了局限性，例如状态容量的启发式设置（目前为一帧），以及需要未来工作来为高度复杂的多主体场景构建结构化的外部记忆。