💻 computer science

Vorch-Director: Interactive World Story Model via Noise-Aware Error Rectification

Vorch-Director 是一种交互式世界故事模型，它通过引入一种噪声感知残差修正策略来减轻误差累积和身份漂移，从而增强长时程视听生成，同时利用任务嵌入和混合任务训练，在 LTX-2 扩散 Transformer 上支持统一的多镜头条件控制。

原作者： Lisai Zhang, Yidi Wu, Qi Liu, Xin Ma, Yang Ding, Gang Yue, Siqian Yang, Jingyuan Chen, Lin Ma, Yaohui Wang

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lisai Zhang, Yidi Wu, Qi Liu, Xin Ma, Yang Ding, Gang Yue, Siqian Yang, Jingyuan Chen, Lin Ma, Yaohui Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人讲故事。你给它几句话，它写下下一句。然后，你把这个新句子重新输入进去，并要求它写出下一句。你不断重复这个过程，希望能构建出一整部小说。这就是许多现代 AI 视频生成器的工作方式：它们创建一个短片，然后利用这个短片作为“记忆”来创建下一个片段，并将它们缝合在一起，形成一部长电影。这个过程被称为自回归续写（autoregressive continuation）。

然而，这种“复制粘贴”的方法存在一个棘手的问题。当机器人学习时，它看到的是人类编写的完美、干净的故事。但当它真正制作电影时，它必须依赖于自己之前的工作，而那份工作从来不是完美的。它可能会有一点模糊的污迹、一张略微变形的脸，或者一个听起来有点不对劲的声音。当机器人使用那个略有瑕疵的片段来制作下一个片段时，错误会不断累积。到了电影播放十分钟时，角色可能看起来像融化的蜡，声音变得支离破碎，故事也可能陷入混乱。这被称为曝光偏差（exposure bias）：机器人在训练时面对的是一个纯净的世界，但在实际运行时却必须生活在一个混乱的世界里。科学家们一直试图解决这个问题，以便生成具有同步声音的长篇、连贯且高质量的视频，但直到现在，现有的解决方案就像是在通过不断舀水来修补一艘漏水的船，而没有去修补那个漏洞本身。

于是，Vorch-Director 登场了，这是一种类似于 AI 视频生成领域“智能编辑”的新方法。研究人员发现，AI 模型犯错的方式并非随机的；它取决于模型在任何给定时刻的“噪声”程度或不确定性。把它想象成画画：当你勾勒粗略轮廓时，你的错误是巨大的、结构性的（比如把头画得太大）；当你添加最终细节时，你的错误是微小的（比如眉毛画歪了一点）。以往的方法试图通过在训练期间随机向 AI 投放“练习性错误”来修复错误，但它们并不在意错误是“哪种类型”的。它们可能会尝试用一个“大头”级别的修正去修复一个“小眉毛”级别的错误，这只会让情况变得更糟。

Vorch-Director 通过实现**噪声感知（noise-aware）**改变了游戏规则。该系统保存了一个 AI 自身错误的库，但它为每个错误都贴上了特定的“噪声水平”标签。当 AI 学习生成一个新场景时，系统会观察 AI 当前的不确定性程度。如果 AI 处于“粗略草图”阶段（高噪声），系统就会给它喂入大型的、结构性的错误来练习修复；如果 AI 处于“精细细节”阶段（低噪声），系统则会喂入微小的、微妙的错误。这确保了 AI 能够在正确的时间学习纠正正确类型的问题。

为了让这套方法适用于长篇故事，团队还引入了一些聪明的技巧。他们为每一个新片段的开头创建了一个“纯净锚点（clean anchor）”——一段完美的短片，AI 可以通过它来记住角色原本的样子，从而防止角色发生形变。他们还给了 AI 特殊的“名字标签”（称为任务嵌入/task embeddings），使 AI 能够准确区分输入的哪些部分是到目前为止的故事，哪些部分是参考照片，以及哪些部分是它需要创建的新场景。这有助于即使在镜头切换到新角度或新位置时，也能保持角色形象的一致性。

结果令人振奋。在旨在衡量 AI 如何随时间保持角色和故事一致性的基准测试中，Vorch-Director 显示出的“漂移”现象明显少于其他顶尖模型。在涉及一分钟长视频及同步音频的测试中，新模型保持了面部可辨识度和声音稳定，而其他模型往往会导致角色变成奇怪的色块，或声音变得无法理解。虽然论文指出仍有改进空间——特别是在匹配纯视觉模型的连贯性方面——但这种新方法表明，通过将“错误类型”与“生成阶段”相匹配，我们可以教会 AI 讲述更长、更连贯、更真实的完整故事，而不至于在过程中“丧失理智”。

技术摘要：Vorch-Director

问题陈述

自回归续写为生成分钟级、多镜头（multi-shot）的视听内容提供了一条路径，即通过不断扩展一个短窗口生成器。然而，一个关键的训练-测试失配（训练-测试偏差/exposure bias）阻碍了这一方法。在训练期间，模型以干净的地面真值历史记录为条件（教师强制/teacher forcing）；而在推理时，它们依赖于自身先前生成的输出。这种对不完美预测的递归复用导致了误差的累积，表现为长时程下的身份漂移（identity drift）、过度平滑、运动不一致以及视听不同步。

现有解决方案试图通过记忆检索（这假设了上下文是干净的）或自我展开训练（self-rollout training，计算成本极高）来缓解这一问题。近期的轻量化方法（如 Matrix-Game）通过将预测残差注入到条件历史中，以模拟推理时的误差。然而，这些方法忽略了扩散模型的一个基本属性：预测残差本质上取决于其生成的流匹配噪声水平（ $\sigma$ ）。高 $\sigma$ 的残差代表粗糙的结构性偏差，而低 $\sigma$ 的残差捕捉精细细节的误差。在不同的噪声区间不加区别地复用残差，会导致历史记录出现过度损坏或损坏不足，无法忠实地复制推理时的分布。

此外，长时程生成引入了**位置外推（positional extrapolation）**问题。标准的续写模型依赖于随生成长度增长的连续位置索引，迫使模型在外推至训练范围之外。这造成了第二个来源的训练-测试偏差。

方法论：Vorch-Director

Vorch-Director 通过构建在 LTX-2 音频-视觉扩散 Transformer (DiT) 之上的噪声感知误差纠正策略来解决这些挑战。

1. $\sigma$ -感知残差注入

其核心创新在于一种使注入误差与去噪过程对齐的策略：

残差收集： 在训练期间，从目标标记（target tokens）中收集重建残差（ $\delta = \hat{x}_0 - x_0$ ）并存储在环形缓冲区中。至关重要的是，每个残差都标记了生成它的噪声水平 $\sigma$ 。
噪声匹配采样： 当为具有特定噪声水平 $\sigma$ 的特定去噪步骤扰动条件历史时，系统会从缓冲区中采样满足 $|\sigma' - \sigma| \leq \tau_\sigma$ 条件的存储噪声水平 $\sigma'$ 的残差。
注入： 这些匹配的残差以强度 $\gamma$ （采样自 $U(0.9, 1.2)$ ）注入到历史标记中。这确保了在训练期间呈现给模型的“受损”历史能够模仿模型当前正在学习去噪的特定误差状态，而不是应用任意噪声。

2. 条件稳定化与任务嵌入

为了防止误差注入导致的完全崩溃并处理多镜头复杂性：

干净条件汇（Clean Conditioning Sink）： 在历史记录末尾附加一段短的、未受损的窗口（1 秒）作为“汇”（ $\tau_{sink}$ ）。这为模型提供了一个稳定的、干净的锚点进行参考，从而在其余历史（ $\tau_{hist}$ ）受到破坏时防止身份漂移。
任务嵌入： 为了解决位置外推问题，模型使用轻量级任务嵌入（ $e_\tau$ ）来区分标记角色（目标、历史、汇、参考图像、参考音频），而不是仅仅依赖于增长的位置索引。这允许在新的片段中重置位置索引，同时保持时间一致性，将语义角色与绝对位置解耦。
统一提示词模板： 一个结构化的提示词模板将主体参考（图像和音频）与镜头描述绑定在一起，使单个模型能够处理文本生成视频、图像生成视频以及视听续写任务。

3. 训练目标

模型在四路混合任务语料库（各占 25%）上进行训练：

视频续写（仅历史记录）。
续写 + 图像（历史记录 + 主体参考）。
主体-IP（由参考图像驱动的生成）。
视听续写（历史视频/音频 + 参考）。

损失函数是仅应用于目标标记的掩码流匹配损失（masked flow-matching loss），确保监督信号保持干净，同时使上下文分布与推理条件相匹配。

核心贡献

$\sigma$ -感知残差注入： 一种将预测残差与相应的流匹配噪声水平匹配的策略，显著减轻了自回归扩散生成中的训练-测试偏差。
统一条件接口： 一个轻量级的任务嵌入系统，用于区分历史视频、参考图像和目标视频，从而实现跨续写步骤的位置编码复用，并消除位置外推偏差。
集成框架： 一个基于 LTX-2 的框架，将所提出的训练策略与混合任务训练相结合，支持单模型下的多镜头、多主体及参考引导的视听生成。
新基准测试： 在 ST-Bench 上的评估以及引入了一个新的长时程视听基准，该基准包含**相对于锚点的一致性（ARC）**和 Reappear 指标，相比于标准的相邻镜头评估，能更好地表征渐进式退化。

结果

广泛的实验表明，Vorch-Director 在稳定性及视听保真度方面优于强基线模型：

ST-Bench（多镜头故事）： Vorch-Director 在四项跨镜头一致性指标上均大幅领先。值得注意的是，它实现了 0.7887 的 ViCLIP 分数，而表现最好的基线（JoyAI-Echo）仅为 0.5900。它在长程身份度量上也显著优于基线（ARC: 0.6570 vs. 0.3961; Reappear: 0.6648 vs. 0.4114）。
UnityShots (T2V & R2V)： 在文本生成视频 (T2V) 设置下，Vorch-Director 在 ViCLIP、ARC 和 Reappear 指标上均处于领先地位。在参考生成视频 (R2V) 设置下，它在所有四项一致性指标上均领先于最强的基线。
长时程视听基准： 在一个 22 镜头、分钟级的同步音频生成任务中：
- 相比于视听基线 JoyAI-Echo，Vorch-Director 提升了每一项跨镜头一致性指标（例如 ViCLIP 为 0.6269 vs. 0.4922）。
- 虽然纯视觉基线（StoryMem, Memento）在某些相似性指标上得分更高，但论文指出这些系统不生成音频（解决了更简单的问题），且帧间运动较少，这夸大了其相似性得分。
- 从定性上看，Vorch-Director 在 22 个镜头中保持了主角的可识别性和场景保真度，而没有出现基线模型（如 Mento 和 StoryMem）所表现出的色彩损坏或身份崩溃现象。

意义与主张

论文声称，分钟级视听生成的主要障碍不是上下文长度本身，而是由训练-测试偏差引起的历史失配。通过利用噪声感知技术将注入误差与去噪过程对齐，Vorch-Director 能够产生更真实的自回归历史，同时保留教师强制训练的高效性。

作者将 Vorch-Director 定位为现有记忆和门控机制的一个正交改进；它不是决定“回忆什么”历史，而是让基础续写模型对被回忆或生成的、不完美的历史具有鲁棒性。这项工作证明了单个模型可以支持复杂的、多镜头、多主体及同步视听生成，解决了目前限制自回归视频生成的漂移和不同步问题。论文也谦虚地指出，在保持同步音频的同时缩小与纯视觉系统的差距仍是一个开放性挑战，但 Vorch-Director 代表了向稳定长时程生成迈出的重要一步。