💻 computer science

InteractiveAvatar: Real-Time Streaming Video Generation for Consistent and Intent-Aware Avatars

InteractiveAvatar是一个实时、无限流视频生成框架，它利用自回归蒸馏、长短期视觉记忆机制以及推理-反应模块，为音频驱动的虚拟数字人实现了最先进的视觉一致性和意图感知交互。

原作者： Quanyue Song, Yishan He, Yanfei Zhang, Shihao Cheng, Zhixiang He, Zhizhi Guo, Chi Zhang, Xuelong Li, Caigui Jiang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Quanyue Song, Yishan He, Yanfei Zhang, Shihao Cheng, Zhixiang He, Zhizhi Guo, Chi Zhang, Xuelong Li, Caigui Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在通过视频通话与一位数字朋友聊天。通常，这些数字朋友有点像坏掉的木偶：它们可能能够完美地根据你的声音对准口型，但如果你和它们聊得太久，它们的脸可能会开始变得奇怪，或者它们可能会忘记五分钟前自己长什么样。此外，如果你让它们“看下时间”，它们可能只会把时间说出来，却依然眼神呆滞地盯着前方，无法真正看向手表。

InteractiveAvatar 这篇论文介绍了一种构建这类数字朋友的新方法，让它们可以与你进行永不间断且不会显得出错的对话，并且能真正执行你要求做的动作。

以下是他们实现这一目标的原理，通过简单的类比来解释：

1. 问题所在：“失忆症”与“机器人”

作者指出，目前的数字分身主要有两个问题：

“漂移”的面部： 如果视频持续运行很长时间，分身的脸会慢慢发生变化。也许眼睛变大了，或者发色发生了偏移。这就像一个画家在不断叠加新的油漆层，却不看原始草图；最终，画出来的东西看起来完全不像最初的那个人。
“盲目”的机器人： 目前的分身大多只是“音频驱动”的。如果你说“看下手表”，它们能听到声音并移动嘴巴，但它们并不理解其中的“含义”。它们不会真的转头去看表，因为它们并不“思考”你的请求。

2. 解决方案：由两部分组成的“大脑”

为了解决这些问题，团队构建了一个拥有两个特殊工具的系统：一个记忆系统和一个思考大脑。

记忆系统：“短期笔记本”与“长期相册”

为了防止分身的脸部发生漂移，他们创建了一个叫做**长短期视觉记忆（LSVM）**的东西。

短期笔记本： 想象分身保留着过去几秒钟视频的笔记。这确保了当它移动头部时，动作看起来是平滑自然的，而不是僵硬跳跃的。
长期相册： 这是聪明之处。分身并没有试图记住每一帧（那会太重、太慢），而是拥有一个记录重要时刻的“相册”。
- 运作方式： 随着视频播放，系统会不断询问：“这一帧重要吗？”如果分身戴上了帽子或拿起了一个咖啡杯，系统就会拍一张“快照”并放入相册。如果分身只是静静坐着说话，它可能会跳过快照。
- 益处： 这起到了锚定的作用。即使在交谈了10分钟后，分身也可以回看它的“相册”并想起：“噢对了，我戴着帽子，”或者“我拿着一个咖啡杯。”这让角色从始至终保持形象的一致性。

思考大脑：“导演”与“场务”

为了让分身理解你的意图，他们添加了一个推理反应模块（RRM）。

导演（LLM）： 当你说话时，一个强大的 AI“导演”会倾听你。它不仅是在听单词，还在理解你的“意图”。如果你说“看下时间”，导演会意识到：“啊，用户希望分身去看手表。”
状态循环： 系统会在两种模式之间切换：
1. 动作模式： 分身正忙于做某事（比如看表或坐下）。
2. 稳定模式： 一旦动作完成，分身会进入一种平静的状态（比如安静地坐着），这样它就不会进行不必要的移动。
快速切换（Cache-Switching）： 通常，当指令发生变化时，计算机必须重新计算所有内容，这需要时间。这个系统使用了一个“快速切换”的小技巧。它保留了当前场景计算的备份。当指令改变时（例如，从“站起来”变为“坐下”），它会瞬间用新的备份替换旧的备份，使反应感觉即时且流畅。

3. 结果：实时的、无限的对话

通过将这些工具与一种特殊的训练方法（称为蒸馏，这就像教学生用一步而不是十步来解决问题）相结合，他们创造了一个系统，它能够：

实时运行： 你可以与分身交谈，它会立即做出响应，而没有漫长的等待时间。
持久运行： 你可以进行长达数小时的对话，分身依然会保持原来的样子，拥有相同的衣服和配饰。
理解你： 如果你要求它执行某个动作，它真的会去做，而不仅仅是口头上说说。

总而言之： InteractiveAvatar 就像是给一个数字木偶赋予了长期记忆，让它不会忘记自己的脸，并赋予它一个能理解你的玩笑和请求的大脑，从而实现一场流畅、无尽且真实的对话。

技术摘要：InteractiveAvatar

问题陈述

近期的基于扩散的模型推动了音频驱动的虚拟人生成技术，实现了逼真的唇形同步和外观表现。然而，现有的方法在实时流式传输场景中面临两个根本性的局限性：

视觉时间不一致性（Visual Temporal Inconsistency）： 当前的方法通常依赖于具有有限感受野（少量前序块和一张参考图像）的因果注意力机制。随着生成的持续时间延长，会导致“时间漂移（temporal drift）”，即相邻视频块之间出现偏差，导致身份、物体和场景稳定性出现不一致。
缺乏意图感知交互（Lack of Intent-Aware Interaction）： 大多数系统遵循简单的音频驱动范式，即由大语言模型（LLM）生成语音，并根据音画相关性驱动虚拟人进行唇动和粗略的手势。这些系统无法显式地感知用户意图，从而无法生成细粒度且语义对齐的动作（例如，当被询问时间时，看向手表），也无法动态调整场景，限制了交互行为的真实感。

方法论

作者提出了 InteractiveAvatar，这是一个旨在解决上述挑战的实时无限流视频生成框架，通过三个核心组件实现：

1. 长短视觉记忆（Long-Short Visual Memory, LSVM）

为了在任意长时间内保持视觉一致性，作者引入了一种能够灵活压缩历史视觉信息的记忆机制：

双重记忆结构： 系统维护一个包含近期帧（例如最近 5 秒）密集表示的短期记忆（ $M_s$ ），以确保局部时间相干性。同时，它还维护一个具有固定容量、由紧凑 Token 组成的长期记忆（ $M_l$ ），代表全局显著的视觉状态。
记忆压缩： 一个轻量级模型将视频潜变量（latents）压缩为紧凑的 Token，且不进行时间下采样，从而保留了在流式传输期间分离和更新潜变量的能力。
动态关键帧选择（Dynamic Key-Frame Selection, DKFS）： 在推理过程中，当一帧离开短期窗口时，系统会评估其是否值得长期保留。系统使用 SigLIP2 提取语义特征并计算全局冗余度得分。只有当候选帧能降低整体语义冗余度时，该帧才会被插入长期记忆，从而确保记忆存储的是多样且具有代表性的关键帧，而非均匀的时间采样帧。

2. 推理-反应模块（Reasoning-Reaction Module, RRM）

为了实现意图感知的交互，该框架集成了一个基于 LLM 的推理中心：

状态循环策略（State-Cycling Strategy）： LLM 处理用户输入和当前稳定状态，输出三个组件：动作提示词（Action Prompt）（引导身体动作/姿态）、响应音频（Response Audio）以及稳定状态提示词（Stable State Prompt）（定义动作结束后的静态视觉条件）。扩散模型在响应期间以动作提示词和音频为条件，并在音频结束时切换到稳定提示词，确保虚拟人在动作结束后返回一致的状态，避免运动漂移。
缓存切换机制（Cache-Switching Mechanism）： 为了减少状态转换期间的延迟，系统会对更新后的文本条件进行重新编码，并重新计算紧接前序块的键值（KV）缓存。这使得模型能够快速与新的动作提示词对齐，而无需等待完整的重新生成。

3. 自回归蒸馏适配（Autoregressive Distillation Adaptation）

为了实现实时性能，作者通过四个阶段的训练流水线对预训练的扩散 Transformer（DiT）骨干网络（Wan 2.2 5B）进行了适配：

AI2V 预训练： 在大规模音视频数据上进行双向注意力训练。
记忆压缩预训练： 在视频重建任务上训练压缩模块。
ODE 初始化： 通过块状因果注意力进行训练，以逼近教师模型的 ODE 轨迹。
自强制 DMD（Self-Forcing DMD）： 应用分布匹配蒸馏（DMD）将扩散模型蒸馏为少步自回归生成器。这最小化了学生模型与教师模型分布之间的反向 KL 散度，从而实现稳定、低步数的推理。

核心贡献

InteractiveAvatar 框架： 一种新型实时流式音频驱动虚拟人生成系统，能够在长时合成中保持强大的视觉一致性和意图感知交互能力。
长短视觉记忆（LSVM）： 一种通过动态关键帧选择来保存历史视觉表示的机制，显著提高了长序列中的视觉连贯性并防止了时间漂移。
推理-反应模块（RRM）： 一个配备了状态循环和缓存切换功能的模块，使虚拟人能够理解用户意图，生成协调的言语与动作，并以较低的延迟执行指令。

实验结果

作者在涉及多种交互场景的 500 个视频测试用例中，将 InteractiveAvatar 与最先进的方法（如 OmniAvatar, WanS2V, LiveAvatar）进行了对比评估。

定量性能： InteractiveAvatar 在物体级一致性（OBJ）（85.2）和文本-视频对齐度（TV）（25.93）方面达到了最先进水平，并在身份保持（ID）方面具有竞争力。虽然视频质量指标（IQA, FID）与基准模型相当，但该方法展示了更优越的时间稳定性。
实时效率： 得益于轻量化 5B 模型和蒸馏技术，该系统实现了 26.68 FPS 的速度，优于所有基准模型（第二快的 LiveAvatar 为 21.94 FPS）。
定性分析： 视觉对比显示，虽然基准模型会出现物体形状/颜色变化、相机剧烈偏移或无法遵循动作指令的情况，但 InteractiveAvatar 能保持一致的物体外观（如手表），并能正确执行与用户意图对齐的复杂动作（如坐下、看表）。
消融实验： 移除 LSVM 模块会导致物体一致性显著下降（OBJ 从 85.2 降至 78.4）。移除 RRM 组件会导致失去意图感知动作，使系统退化为简单的言语响应。移除 DMD 蒸馏则会导致推理速度骤降至 1.27 FPS。

意义

本文声称 InteractiveAvatar 弥合了高质量虚拟人生成与现实交互式数字人之间的鸿沟。通过共同解决长程视觉一致性和意图感知响应能力的挑战，该框架为下一代沉浸式应用提供了实践基础。作者强调，其方法使虚拟人不仅能说话，还能执行符合上下文的动作并维持长时交互中的视觉稳定性，从而从简单的反应式系统迈向完全的意图感知智能体。