Each language version is independently generated for its own context, not a direct translation.
这篇论文介绍了一个名为 Tele-Omni 的超级 AI 框架，你可以把它想象成视频创作领域的“全能瑞士军刀”。
在 Tele-Omni 出现之前，制作和编辑视频就像是在玩一个只有单一功能的玩具：
- 想生成新视频？得用“文字生成器”。
- 想根据图片生成视频？得换“图片生成器”。
- 想给视频里的人换衣服？得用专门的“修图工具”。
- 想改变视频风格？又得找另一个“滤镜工具”。
而且，这些工具通常只能听懂文字，如果你说“把那个穿红衣服的人变成穿蓝衣服，并且让他像图片里那样走路”，它们往往一头雾水。
Tele-Omni 做了什么？
它把这一切都整合进了一个大脑里。它不仅能听懂文字，还能看懂图片、参考视频，甚至能理解“首尾帧”（比如给你第一张和最后一张图，让你补全中间的过程）。
为了让你更直观地理解，我们可以用几个生动的比喻：
1. 它是视频界的“全能导演 + 翻译官”
想象一下，以前拍电影，你需要一个只会听文字指令的导演，如果你给他看一张参考图，他完全看不懂。
Tele-Omni 则像是一个拥有超级大脑的导演：
- 翻译官（MLLM 部分）： 当你给它看一张图、一段视频，再配上文字指令（比如“把这个人的帽子换成草帽，并让他走在雨中”），这个“翻译官”能瞬间理解你的复杂意图，把文字、图片、视频里的信息全部“翻译”成结构化的指令。
- 执行者（扩散模型部分）： 这个“翻译官”把指令交给背后的“执行者”（一个强大的视频生成引擎），让它去画出一帧帧高质量的视频。
关键点： 以前，不同的任务需要不同的“导演团队”；现在，Tele-Omni 是一个团队搞定所有事，而且它不需要你专门告诉它“这是编辑任务”或“这是生成任务”，它自己就能从你的指令里猜出来。
2. 它是视频编辑的“乐高积木”
以前的视频编辑方法像是定制化的流水线：
- 想换背景？走 A 流水线。
- 想换人？走 B 流水线。
- 想加特效？走 C 流水线。
这些流水线互不相通，很难组合使用。
Tele-Omni 像是一套通用的乐高积木：
- 无论你是想“把视频里的猫变成狗”（局部编辑），还是“把整个视频变成油画风格”（风格迁移），或者是“根据首尾两张图生成中间过程”（补全视频），它都用同一套积木搭建。
- 它非常灵活，你可以像搭积木一样，把多个指令组合在一起（比如：既换背景，又加个新角色，还要保持原来的走路姿势），它都能一次性搞定。
3. 它是“时空编织者”
视频最难的是什么？是连贯性。
- 如果你让 AI 生成视频，它可能第一帧很完美，第二帧人物就变形了，或者动作很僵硬。
- Tele-Omni 就像一位精通时空编织的工匠。它不仅能画出漂亮的画面，还能保证人物在每一帧里都保持长相一致，动作流畅自然。
- 例子： 如果你给它一张“人坐着”的图和一张“人站着”的图，让它生成中间的过程，它能完美地计算出人是如何慢慢站起来的，而不是突然瞬移，甚至连光影变化、衣服褶皱都处理得天衣无缝。
4. 它是如何学习的？（数据流水线）
为了让这个“全能导演”学会这么多技能，作者设计了一套特殊的训练方法：
- 他们把各种各样的视频任务（生成、编辑、补全等）都整理成一种统一的“语言格式”。
- 这就好比教一个学生，以前是分开教数学、语文、体育；现在是用一套统一的教材，让学生明白：无论是解方程还是写作文，核心逻辑是相通的。
- 通过这种“任务感知”的数据处理，Tele-Omni 学会了在不同任务之间自由切换，而不会“串台”。
总结
Tele-Omni 的核心突破在于统一和灵活。
它不再把“生成视频”和“编辑视频”看作两码事，也不再只依赖文字。它像一个全能的视频魔法师，你可以给它任何形式的需求（文字、图片、视频片段），它都能理解并生成高质量、连贯、符合你心意的视频。
简单来说：
以前，你想做视频，得去不同的商店买不同的工具，还得学会怎么把它们拼在一起。
现在，Tele-Omni 给了你一个万能工具箱，你只需要对着它说话、展示图片，它就能直接变出你想要的视频，而且效果逼真、动作流畅。这标志着视频 AI 从“单科特长生”进化成了“全能学霸”。
Each language version is independently generated for its own context, not a direct translation.
Tele-Omni 技术总结：统一多模态视频生成与编辑框架
1. 研究背景与问题 (Problem)
尽管基于扩散模型（Diffusion Models）的视频生成技术在视觉保真度和时间连贯性方面取得了显著进展，但现有的方法仍存在以下主要局限性：
- 任务特定性（Task-Specific）： 大多数现有模型仅针对单一任务（如文生视频）设计，缺乏统一框架来处理多样化的生成和编辑场景。
- 多模态输入支持不足： 现有方法主要依赖文本指令，难以有效处理图像、参考视频等多模态输入，限制了用户表达复杂视觉意图（如外观、运动模式、风格偏好）的能力。
- 可扩展性与组合性差： 视频编辑方法通常依赖为特定操作（如物体替换、属性修改）精心设计的独立流水线。这种架构导致不同编辑操作难以整合，且难以支持多操作组合或基于上下文的编辑。
- 数据混合训练困难： 生成任务（强调全局结构和运动合理性）与编辑任务（强调局部修改和上下文保留）在输入条件和目标输出上差异巨大。直接混合异构数据集往往导致训练不稳定和性能下降。
2. 方法论 (Methodology)
Tele-Omni 提出了一种统一的多模态框架，旨在通过单个模型支持文本、图像和参考视频指令驱动的视频生成与编辑。其核心架构包含以下关键组件：
2.1 模型架构
Tele-Omni 采用双模块架构，解耦了指令解析与视频合成：
- 多模态大语言模型 (MLLM) - 理解模块：
- 负责解析异构的多模态指令（文本、图像、视频）。
- 将用户意图转化为结构化的语义条件信号（如外观约束、运动意图、参考输入与目标视频的关系）。
- MLLM 不直接生成视频，而是作为高层控制模块。
- 扩散 Transformer (DiT) - 生成模块：
- 作为统一的视频生成骨干网络，接收 MLLM 输出的语义特征和视觉条件。
- 视觉条件编码： 参考图像、视频或首尾帧通过预训练的 VAE 编码器转化为潜在表示（Latent Representations）。
- 适配器 (Adaptor)： 一个轻量级的可训练模块，将 MLLM 的语义特征投影到 DiT 的条件空间，实现语义与视觉信号的融合。
- 优势： 避免了将长视频序列压缩为少量语义令牌带来的信息瓶颈，保留了密集的空间和时间信息，支持细粒度控制。
2.2 统一任务 formulation
Tele-Omni 将多种任务统一为“多模态指令 + 视觉条件”的形式，无需任务特定的架构分支：
- 文生视频 (Text-to-Video)： 仅输入文本，MLLM 解析生成语义条件。
- 图生视频 (Image-to-Video)： 输入文本 + 参考图，MLLM 联合处理，DiT 以参考图潜变量为视觉条件。
- 上下文视频生成 (In-Context Generation)： 输入文本 + 多视觉条件（图/视频），MLLM 推断意图，所有视觉潜变量在时间维度对齐并拼接。
- 上下文视频编辑 (In-Context Editing)： 输入参考视频 + 编辑指令。MLLM 识别修改目标及时空位置，DiT 在保持全局运动和未编辑区域不变的前提下进行局部或属性级编辑。
- 首尾帧生成 (First-Last-Frame Generation)： 输入首帧、尾帧及可选文本。DiT 在首尾帧的强边界约束下合成中间帧，确保平滑过渡。
2.3 训练策略与数据系统
- 两阶段训练：
- 适配器对齐阶段： 冻结 MLLM 和 DiT，仅训练 Adapter，使其学习将 MLLM 的语义特征映射到视频生成过程（基于图生视频和文生视频数据）。
- 联合微调阶段： 冻结 MLLM，联合优化 Adapter 和 DiT。引入上下文生成、编辑和首尾帧生成任务，提升时间连贯性和指令遵循能力。
- 任务感知数据流水线 (Task-Aware Data Pipeline)：
- 针对不同任务设计专门的数据组织策略，将多模态输入统一为结构化指令格式，同时显式编码任务特定约束。
- 生成任务： 强调帧间运动稳定性和外观一致性。
- 编辑任务： 构建成对数据（原始视频 vs 编辑后视频），使模型学会区分可编辑区域与需保留内容。
- 数据构建： 利用 GPT-4o、FLUX、Wan2.1 等模型构建大规模指令驱动的视频编辑数据集（包括风格迁移、物体插入/移除、属性修改等），并通过多模型（Qwen3-VL, Gemini3-pro）双重验证过滤低质量样本。
2.4 位置编码
针对上下文生成任务，采用了改进的 3D RoPE 位置编码策略：
- 参考图像作为时间条件（时间维度偏移）。
- 条件视频作为空间条件（宽度维度偏移）。
- 这种设计使得模型能区分不同类型的上下文输入，并在统一的时间形状下进行处理。
3. 关键贡献 (Key Contributions)
- 首个统一的多模态视频框架： 提出了 Tele-Omni，能够在单一模型中同时处理文本、图像和视频指令，覆盖从生成到编辑的广泛任务，打破了任务特定的架构限制。
- 解耦的语义 - 视觉控制机制： 利用 MLLM 进行高层意图解析，DiT 进行底层视频合成，既保留了 MLLM 强大的语义理解能力，又避免了视频生成中的信息瓶颈。
- 任务感知的数据设计： 系统性地设计了数据流水线，解决了异构视频任务联合训练的难题，通过结构化指令表示和成对数据构建，实现了生成与编辑行为的统一建模。
- 灵活的多模态控制： 支持无掩码（Mask-free）的上下文编辑、首尾帧约束生成以及多操作组合，显著提升了模型在真实场景中的适用性。
4. 实验结果 (Results)
实验表明 Tele-Omni 在多个任务上均表现出竞争力：
- 图生视频： 生成的视频具有强烈的动作动态（如海浪、雪花、人群），避免了僵硬运动，且视觉伪影少。
- 首尾帧生成： 能够正确理解复杂的运动演变（如飘带运动、人体遮挡关系），在首尾帧约束下生成平滑、自然的中间帧。
- 视频编辑：
- 实体编辑： 修改前景实体时保持身份一致性和场景连贯性。
- 风格编辑： 在改变整体视觉风格（如卡通、赛博朋克）的同时保留实体和场景的身份。
- 物体移除/插入： 移除物体无鬼影，插入物体能与场景自然交互，保持时空稳定性。
- 上下文生成/编辑： 能够根据参考图像和文本指令，在视频中指定位置插入物体或生成新内容，且物体在时间维度上保持稳定，无漂移或变形。
- 文生视频： 在保持现有基础模型文生视频质量的同时，扩展了统一的生成与编辑能力。
5. 意义与展望 (Significance)
Tele-Omni 的工作标志着视频生成领域向通用化、统一化迈出了重要一步。
- 技术突破： 证明了通过解耦语义理解与视频合成，并结合任务感知的数据设计，可以构建出既灵活又高质量的统一视频模型。
- 应用价值： 该框架极大地简化了视频创作流程，用户无需切换不同模型或设计复杂流水线，即可通过自然语言和多模态参考完成复杂的视频生成与编辑任务。
- 未来方向： 为下一代视频合成应用奠定了基础，有望推动更智能、更交互式的视频创作工具的发展，使 AI 视频生成真正走向通用人工智能（AGI）在视觉领域的落地。