StreamChar: Long-Horizon Streaming Character Audio-Video Generation with Decoupled Orchestration
StreamChar 是一个用于长程角色音视频生成的实时流式框架，它将基于大语言模型的编排与联合音视频去噪解耦，并采用包含进度感知对齐和 sink-chunk 记忆的两阶段蒸馏流程，从而在严格的延迟预算内实现高保真度、同步性和稳定性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在执导一场现场互动戏剧：演员必须按照剧本说话、自然移动，并且始终保持原本的面容，而这一切都在观众的实时注视下进行。持续几秒钟做到这些已属不易；若要持续数分钟而不让演员忘词、面容失真或结巴，则是一场噩梦。
本文介绍了StreamChar，这是一个旨在解决上述问题的全新系统：它可根据文本脚本，实时生成角色说话和移动的长时段连续流。
其工作原理可拆解为以下简单概念：
1. 核心问题：“走钢丝”
大多数 AI 视频生成器就像参加考试的学生：若给予充足时间思考，他们能写出优秀的文章（即短视频片段）。但若要求他们逐句完成整部小说（即长视频），他们往往会：
- 遗忘剧情：偏离原始脚本。
- 丧失身份：角色面容开始变形或改变。
- 出现卡顿：音画不同步（口型与台词不匹配）。
- 耗时过长：高质量视频通常需要 AI“思考”较长时间，从而打破“实时”规则。
2. 解决方案：两人团队（解耦编排）
StreamChar 并非强迫一个庞大的 AI 大脑同时处理所有任务，而是将工作拆分为两个专业角色，如同导演与演员。
- 导演（LLM 编排器）：这是一个擅长文本的 AI。其唯一职责是阅读脚本并回顾刚刚发生的内容。它不绘制视频，仅指示下一段故事需要说什么以及如何表达。它充当“帧对齐”的引导者，确保角色严格遵循脚本。
- 演员（DiT）：这是负责生成视频的 AI。它接收导演的指令，专注于即时任务：让角色在接下来几秒内移动嘴唇和身体。由于无需顾虑整部脚本，它能专注于生成高质量、自然的动作。
3. 维持演出运转：“锚点”与“指针”
即便有导演和演员，错误仍可能随时间累积。StreamChar 运用两项巧妙技巧防止演出崩溃：
- Sink-Chunk（锚点）：想象视频最初几秒是沉入海底的重锚。后续生成的每一个视频片段都“系”在这个原始锚点上。这防止了角色面容随视频延长而漂移或改变外观。
- 进度感知指针（指挥棒）：在 AI 生成音频时，该工具如同指挥棒的指挥棒，不断检查：“我们刚完成脚本中的这句话了吗？”它确保 AI 确切知道何时结束当前片段、开始下一片段，使文本与音频完美对齐。
4. 加速机制：“训练营”（两阶段蒸馏）
高质量视频通常生成缓慢（如同缓慢细致的画家）。为实现足以支持实时流媒体的速度，团队采用了两步训练流程：
- 第一阶段（冲刺）：他们训练 AI 仅用 4 步而非 50 步完成画面生成。这使其速度大幅提升，但结果略显僵硬且重复。
- 第二阶段（排练）：他们让 AI 自行练习整场演出（连续生成一个又一个片段）。若它在片段 1 中出现错误，便学会在片段 2 中予以修正。这种“排练”教会了 AI 如何在长时间运行中保持稳定和一致，同时不损失质量。
5. 成果
测试表明，StreamChar 可在单块高性能计算芯片（H100 GPU）上运行，并以人类观看速度（实时）生成视频。
- 严守脚本：角色所说的话与文本完全一致。
- 保持人设：在数分钟的视频中，面容不会变形或漂移。
- 动作自然：不同于其他仅让嘴唇颤动的方法，该系统能自然地带动整个上半身和手部动作。
简而言之：StreamChar 如同聘请了一位专职的剧本监督与一位才华横溢的演员，他们经过充分排练，配合默契，能够实时呈现一场长达数小时、毫无失误、台词不忘、服装不乱的完美演出。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。