🤖 AI

A $^2$ RD: Agentic Autoregressive Diffusion for Long Video Consistency

本文介绍了 A $^2$ RD，一种代理自回归扩散框架，它通过闭环的检索 - 合成 - 优化 - 更新循环及多模态记忆机制确保长视频的一致性，在一致性方面比最先进的方法高出最多 30%，在叙事连贯性方面高出 20%。

原作者： Do Xuan Long, Yale Song, Min-Yen Kan, Tomas Pfister, Long T. Le

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Do Xuan Long, Yale Song, Min-Yen Kan, Tomas Pfister, Long T. Le

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图用一台魔法相机讲述一个非常漫长且复杂的故事，这台相机能逐帧生成视频画面。当前这些“魔法相机”面临的最大问题是它们患有失忆症和漂移症。如果你让它们制作一部 10 分钟的电影，到了第 5 分钟，主角可能已经换了发色，背景可能已切换到另一座城市，或者故事可能荒谬地循环回自身。它们能拍好最初的几秒，但随着故事变长，它们就会迷失主线。

这篇论文介绍了A2RD（代理自回归扩散），这相当于给那台魔法相机配备了一位超级智能导演、一个记忆库和一位严格的编辑，让他们协同工作。

以下是其工作原理的简单概念拆解：

1. 问题所在：“漂移”的相机

可以将当前的视频生成器想象成一名正在参加漫长考试的学生。他们完美地回答了第一道题。但在回答第二道题时，他们只记得第一题的答案，而忘记了整个考试的指令。等到做到第 50 题时，他们已经忘记了主角是谁、场景是什么样，甚至忘记了剧情。这被称为“语义漂移”。故事因此分崩离析。

2. 解决方案：“代理”导演

A2RD 不仅仅生成视频；它像一个代理（智能助手）那样运作，管理整个过程。它将长电影分解为小块（片段），并在一个循环中管理它们：检索、合成、优化、更新。

这位“导演”使用的三个主要工具如下：

A. “多模态视频记忆”（导演的剧本与相册）

A2RD 不再仅仅依靠最后一帧来猜测接下来会发生什么，而是保留了一个详细的记忆库。

类比：想象一位导演保存着一个巨大的活页夹。里面包含：
- 文字笔记：“克拉拉穿着红裙子，左脸颊有一道伤疤。”
- 照片：角色和房间的高质量参考图。
- 视频片段：角色如何移动的精彩短片。
如何起作用：在生成新场景之前，AI 会查阅这个活页夹。它不只是猜测；它会检索关于克拉拉是谁以及她应该在哪里出现的确切细节。这防止了角色意外变成另一个人，或者房间颜色发生改变。

B. “自适应片段生成”（智能切换）

AI 必须决定如何将一个场景连接到下一个场景。它有两种模式：

外推（向前猜测）：“角色正走出门；让我们猜猜接下来会发生什么。”这适用于自然运动，但风险在于 AI 可能会产生幻觉（编造内容）。
内插（连接要点）：“角色从门口开始，在车旁结束；让我们填补中间部分。”这非常安全且一致，但可能显得生硬。
A2RD 的秘诀：AI 像一位聪明的编辑一样运作。它审视故事，并自动切换这两种模式。如果场景是简单的行走，它就向前猜测；如果场景跳转到新地点，它就严格地连接要点，以确保过渡合理。

C. “分层自我改进”（严格的编辑）

这是最独特的部分。在视频最终完成之前，AI 会批判自己的工作并进行修正。

类比：想象你写了一段文字，然后大声朗读给一位严格的编辑听。编辑说：“等等，你说车是红色的，但图片里它是蓝色的。还有，角色朝向错了。”
过程：
1. 生成：AI 制作一个视频片段。
2. 检查：一个 AI“裁判”查看该片段，并将其与记忆库和故事进行对比。它会对诸如“角色的脸是否相同？”和“物理效果是否真实？”等方面打分。
3. 修正：如果分数较低，AI 会重写自己的指令（提示词）并再次尝试。它对每一个片段都会这样做两次。
4. 学习：它会记住自己犯了什么错误，以便在电影后续部分不再重犯。

3. 新测试：LVbench-C

为了证明这行之有效，作者创建了一个名为LVbench-C的全新且极具挑战性的测试。

类比：大多数视频测试就像让人画一只猫。这很简单。而这个新测试就像让人画一只猫，然后画一只狗，再画一只猫（但这只猫现在戴着帽子且浑身湿透），接着再画一只狗（但这只狗现在又老又累），同时要保持背景一致。
它测试“循环”一致性：AI 能否记住角色在 10 分钟前出现过，消失了一段时间，现在需要带着特定的变化重新出现？

结果

当他们运行测试时：

一致性：与现有最佳方法相比，A2RD 在保持角色和环境在整个视频中外观一致方面，表现高出 30%。
叙事性：它在保持故事逻辑连贯且不重复方面，表现高出 20%。
人类反馈：当人类观看这些视频时，他们对 A2RD 的过渡流畅度和角色一致性给予了更高的评价。

总结

简而言之，A2RD是一个系统，它阻止视频 AI 在故事进行到一半时“遗忘”情节。它通过赋予 AI详细的记忆、让它选择连接场景的最佳方式，并迫使它在展示最终结果之前批判并修正自己的错误来实现这一目标。它将一个混乱、漂移的视频生成器，转变为一位自律的长篇故事讲述者。

技术摘要：A2RD：面向长视频一致性的代理式自回归扩散模型

问题陈述

合成连贯且一致的视频（时长从几分钟到数小时不等）仍是生成式人工智能领域的一项根本性挑战。尽管近期的扩散模型在短片段（秒级）的保真度方面取得了显著成就，但将其扩展至长时域会引入两种关键的失效模式：时间一致性（无法随时间推移追踪并保留实体、环境及运动动态）和叙事连贯性（无法在避免语义漂移或重复的情况下有意义地推进故事）。

现有的最先进方法通常遵循被动的、开环的范式：

基于帧的自回归（FAR）模型按顺序生成帧或片段。虽然它们能保持局部连续性，但会将生成的帧冻结为后续步骤的固定条件。这导致错误无法被修正而持续传播，从而在长时段内引发语义漂移和叙事崩溃。
基于片段的方法（包括并行和自回归方法）提供了更好的叙事控制，但在片段间的一致性方面存在困难。它们通常仅依赖视觉条件，这不足以可靠地跨片段追踪实体身份和叙事状态，导致角色外观、物体状态和环境布局出现持续的不一致。

方法论：A2RD 架构

作者提出了A2RD（代理式自回归扩散），这是一种无需训练的架构，将长视频合成重新定义为闭环、代理式过程。A2RD 将创意合成与一致性约束解耦，通过针对每个视频片段的检索–合成–优化–更新循环进行运作。该系统集成了三个核心组件：

1. 多模态视频记忆（MVMem）

与仅存储视觉参考的先前工作不同，MVMem 显式地跨三种互补模态追踪不断演变的视频世界状态，以强制实现长程依赖：

文本状态（ $T_j$ ）： 一种结构化表示，捕捉视觉弧（实体身份、变化及运动）、空间关系（用于几何布局的主语 - 关系 - 宾语三元组）以及相机状态（视口轨迹）。这些状态从边界帧和完整片段中分层提取。
帧（ $\mathcal{F}_j$ ）： 全局参考帧（用户提供的或合成的）和片段关键帧（开始/结束帧），通过描述文本进行索引，以锚定具体的视觉细节。
视频（ $V_j$ ）： 存储的合成片段，用于运动动态验证和优化。

初始化： 在生成之前，代理为实体和环境规划全局参考，构建依赖图以确定合成顺序，并使用文生图（TI2I）模型合成这些参考。

2. 自适应片段生成

A2RD 根据叙事背景自适应地为每个片段选择生成模式：

外推（Extrapolation）： 当叙事在连续环境中自然推进时使用，从开始帧向前合成。
内插（Interpolation）： 当在不同环境或镜头之间转换时使用，合成一个片段以连接固定的开始帧和结束帧。
代理使用多模态大语言模型（MLLM）推断故事线的时空连续性并选择合适的模式，在自然推进与严格一致性之间取得平衡。

3. 分层测试时自优化（HITS）

为防止错误传播，A2RD 在两个层级上采用闭环优化过程：

边界帧自优化： 合成的开始/结束帧会根据涵盖实体/环境一致性、叙事推进、空间逻辑性和物理合理性的标准进行验证。基于反馈，代理要么编辑该帧，要么使用优化后的提示词重新生成。
视频片段自优化： 合成的片段经历类似的验证。如果无法获得结束帧，系统将协同优化结束帧和视频提示词。
记忆增强提示词优化（MAPO）： 一种新颖算法，利用过去成功和失败优化案例的数据库。通过对比正例和负例，MAPO 推导出可操作的指导方针以优化提示词，从而针对失败的根本原因而非应用通用修正。

主要贡献

A2RD 架构： 首个用于长视频合成的代理式自回归框架，集成了多模态记忆、自适应生成策略和分层自优化。它显著缓解了语义漂移和内容崩溃，可扩展至超长视频（长达 10 分钟），同时保持高一致性。
LVbench-C 基准： 一个新的、具有挑战性的基准，旨在测试长时域一致性。与现有基准不同，LVbench-C 具有非线性转换特征，其中实体和环境出现、消失并再次出现（“循环”），并伴有可选的状态演变（例如更换服装、物体状态或环境状态）。
综合评估： 在公开基准（VBench-Long）和 LVbench-C 上进行了广泛的实验，证明了在自动指标和人工评估中均具有最先进的性能。

结果

实验在 1 分钟（单场景）、3 分钟、5 分钟和 10 分钟（多场景）视频生成任务上进行。

自动指标： 在 VBench-Long（1 分钟）上，A2RD 在叙事连贯性方面比最佳基线（Naive-AR）高出20%（0.90 对比 0.75），在角色一致性方面高出30%（0.74 对比 0.57）。其运动一致性得分为0.9935，表明过渡几乎与单次拍摄生成一样平滑。
长时域性能： 在 LVbench-C（3-5 分钟）上，A2RD 保持了卓越的一致性，在角色一致性方面比最强基线（VideoMemory）高出16%（3 分钟）和13%（5 分钟）。在 5 分钟视频上，其叙事连贯性达到0.95，显著高于基线。
人工评估： 人工评分员（7 名评估者）给 A2RD 的平均分为4.68/5.00，大幅优于最佳基线（VideoMemory 为 3.93）。A2RD 在角色一致性（4.89）、叙事连贯性（4.75）和过渡平滑度（4.34）方面表现优异。
泛化能力： A2RD 在不同的开源视频扩散骨干网络（LTX-Video 和 Wan 2.2）上表现出强大的泛化能力，在不重新训练的情况下持续优于朴素自回归基线。
扩展性： 分析表明，虽然基线随着场景数量的增加而单调退化，但 A2RD 即使在超过 40 个场景的情况下仍能保持高一致性（例如，>96% 的角色一致性）。

意义与主张

本文主张，A2RD 通过解决被动、开环范式的根本局限性，代表了长视频生成领域的重大进步。通过引入代理式、闭环过程，该系统主动强制实施时间一致性和叙事连贯性，防止了困扰现有方法的语义漂移。

作者强调，他们的方法是无需训练的，依赖于通过复杂的记忆和优化机制对现有基础模型（MLLM、TI2I、TI2V）的编排。引入LVbench-C突显了当前评估标准的不足，论证了真正的长时域一致性需要测试非线性、循环状态转换，而不仅仅是简单的线性推进。

虽然承认由于迭代自优化带来的计算开销，但作者认为，鉴于生成产出的显著改善以及无需人工干预即可自主扩展至超长叙事的能力，这一成本是合理的。这项工作表明，长视频合成的未来进展取决于从被动生成向主动、一致性强制的代理式系统的转变。