🤖 AI

OmniDirector: General Multi-Shot Camera Cloning without Cross-Paired Data

本文介绍了 OmniDirector，这是一个统一的框架，它通过利用一种新颖的基于网格的摄像机表示法和一个用于协调角色、动作和复杂摄像机轨迹的分层提示词扩展代理，实现了无需跨配对数据的通用多镜头摄像机克隆视频生成。

原作者： Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiwen Liu, Shujuan Li, Zhixue Fang, Xiaohan Li, Yan Zhou, Zijie Meng, Zhimin Zhang, Yawen Luo, Guoxin Zhang, Yu-Shen Liu, Pengfei Wan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位电影导演。你的脑海中有一个完美的场景，但你手里只有一张静态照片作为起点。你想讲述一个故事，但摄像机需要移动：向角色的脸部缩放、横移掠过风景，或者在不同的角度之间进行剪辑。

通常情况下，让计算机完成这项工作就像是试图仅通过数学方程来向一个从未见过舞蹈的人解释舞蹈一样。它要么太模糊（仅仅说“移动摄像机”），要么太复杂（给出精确的 3D 坐标，但没人能将其可视化）。

OmniDirector 是一个全新的工具，它通过让你将任何喜欢的视频中的摄像机运动“复制粘贴”到你自己的图像上，解决了这个问题。以下是它的工作原理，通过简单的概念进行了拆解：

1. “幽灵房间”技巧（摄像机网格）

复制摄像机运动的最大问题在于，如果新场景与旧场景看起来不同，计算机就会产生混乱。如果参考视频是一个微型玩具车，而你的图像是一座真实的雄伟山脉，那么直接复制可能会让大山看起来像个玩具。

为了解决这个问题，OmniDirector 使用了一个聪明的技巧，叫做摄像机网格（Camera Grid）。

类比： 想象你想教某人如何驾驶特定的路线。与其给他们看一段法拉利在巴黎行驶的视频（如果他们正开着卡车在纽约行驶，这可能会让他们感到困惑），不如给他们看一个只有地板和墙壁上有网格线的幽灵般的空房间视频。
工作原理： 系统从你的参考视频中提取摄像机运动，并将它们绘制成一个在空 3D 房间内移动的网格。这个网格只展示摄像机的路径和角度，剥离了所有的汽车、人物和风景。
结果： 因为“房间”是空的，计算机可以完美地学习运动，而不会被内容分散注意力。然后，它可以将这种精确的运动应用到你的山脉、你的玩具车或任何其他事物上，无论其大小或形状如何。

2. “导演助理”（提示词智能体）

一旦计算机知道了摄像机如何移动，它就需要知道要展示什么。你可能有一个参考视频、一张起始照片和一个文本描述（例如，“一只坐在篱笆上的猫”）。

问题： 如果你只是把所有这些指令都扔给计算机，它可能会感到困惑。它可能会不小心复制了参考视频里的那只猫，而不是你的照片；或者它可能会把摄像机运动与故事细节混淆。
解决方案： OmniDirector 使用了一个聪明的“助理”（称为分层提示词扩展智能体/Hierarchical Prompt Expansion Agent）。
- 类比： 把这个助理想象成一个既懂“摄像机语言”又懂“故事语言”的翻译员。它会观察参考视频并写下一份特定的剧本：“首先，摄像机向后拉远（镜头 1）。然后，它向左切镜头（镜头 2）。”
- 它仔细地将摄像机运动与故事细节分离。它确保计算机明白：“使用参考视频中的运动，但使用你照片里的那只猫。”这防止了计算机意外地从参考视频中“偷走”错误的物体。

3. “一站式商店”（多镜头克隆）

大多数之前的工具只能处理一段连续的摄像机运动。如果你想要一个包含三个不同镜头的视频（比如一个电影场景），它们会失败或变得混乱。

OmnicDirector 的特别之处在于它可以处理**多镜头（Multi-Shot）**视频。它理解电影不仅仅是一个长镜头，而是一系列剪辑。它可以观察一个包含多次剪辑的参考视频，并在你的图像上复制出完全相同的镜头序列，保持故事逻辑连贯且过渡平滑。

4. 为什么它比以前更好

没有“作弊”： 旧的方法通常尝试通过观察除了摄像机运动外完全相同的视频对来学习。但这类视频很难找到。OmniDirector 不需要它们。它通过将数百万个随机的网络视频转化为那些“幽灵房间”网格，构建了自己的“训练数据”。
没有“泄漏”： 由于使用了空网格和智能助理，它不会意外地复制参考视频中的错误人物或物体。它保持你的图像纯净，只复制运动。
它就是行之有效： 论文表明，即使你输入的是原始视频或简单的线条图（如 Canny 边缘图）而不是完美的网格，系统也足够聪明，能够推断出摄像机的运动。这就像一位音乐家，即使你只是哼唱旋律而不是演奏乐谱，他也能完美地演奏出这首歌。

总结

OmniDirector 就像是一个神奇的摄影师。你给它一张静态照片和一个参考视频。它将参考视频简化为它的“骨架”（空网格运动），使用智能助理编写一份清晰的剧本，然后动画化你的照片，使其运动方式与参考视频完全一致——无论是单个缩放动作，还是带有多个剪辑的复杂电影场景。它在不需要特殊数据或不会被场景差异所困扰的情况下完成了这一切。

技术摘要：OmniDirector

问题陈述

摄像机运动是视频生成中的关键要素，塑造了氛围、情感和叙事深度。然而，现有的摄像机控制方法面临显著局限性：

文本描述： 虽然易于获取，但无法精确定义细微的电影摄影属性。
显式参数化表示： 使用矩阵或普吕克坐标（Plücker coordinates）的方法虽然提供了精度，但设置了极高的用户门槛，且难以处理多镜头生成及镜头转换。
视频参考方法：
- 显式参数提取： 在将摄像机轨迹从参考环境转移到空间尺度不同的生成场景时，存在尺度歧留（scale ambiguities）问题。
- 隐式/端到端学习： 依赖于交叉配对数据（具有相同摄像机运动但不同内容的视频）。此类数据在现实世界中非常稀缺。虽然合成数据可以缓解这一问题，但往往缺乏真实素材的叙事复杂性，导致在处理镜头切换和复杂过渡时表现不佳。此外，现有方法经常遭受“信息泄露”的影响，即模型会无意中复制参考视频中的外观或角色运动，而非仅仅是摄像机轨迹。

目前缺乏一个通用的框架，能够在不需要交叉配对训练数据的情况下，从参考视频中克隆复杂的、多镜头的摄像机运动，且不会产生内容泄露。

方法论

作者提出了 OmniDirector，这是一个专为多模态扩散 Transformer（MMDiT）设计的统一框架，旨在实现通用的多镜头摄像机克隆。该方法由三个核心组件组成：

1. 摄像机网格表示 (Camera Grid Representation)

为了将摄像机运动与场景内容解耦并实现可扩展的训练，作者引入了 摄像机网格（Camera Grid）。

概念： 摄像机运动不再使用原始视频或显式参数，而是被渲染为一个包含空间网格的 3D 空白场景视频。
构建：
- 从参考视频中提取摄像机位姿 ( $R_i, t_i$ )。
- 建模一个空白 3D 场景，通过代表地面、天花板和围绕摄像机轨迹的“隧道壁”的正交网格线来可视化相对运动。
- 通过修改渲染方案（例如使用 Kannala–Brandt 模型进行畸变处理）来支持鱼眼畸变和希区柯克变焦（dolly zoom）等特殊效果。
优势：
- 通用性： 统一了单镜头和多镜头克隆。
- 解耦： 空白场景防止了来自外观或角色运动的干扰。
- 可扩展性： 任何视频都可以转换为摄像机网格，从而允许构建百万规模的训练数据集，而无需手动策划交叉配对数据。

2. OmniDirector 架构与训练

架构： 基于多模态扩散 Transformer (MMDiT) 构建。
输入注入： 摄像机网格 ( $G$ )、参考图像 ( $I$ ) 和噪声视频潜变量 ( $Z_v$ ) 通过 3D VAE 进行编码，并沿帧维度拼接，形成统一的时空表示 ( $z_{vis}$ )。文本条件被单独处理，并通过联合注意力机制与视觉 Token 进行交互。
训练策略：
- 数据集： 在 180 万个互联网规模的视频对（参考视频 + 生成的摄像机网格）上进行训练。
- 自重构目标： 30% 的训练样本使用摄像机网格本身作为目标视频。这迫使模型学习网格的几何结构和时间动态，而非将其视为弱提示，从而防止对伪相关性的过拟合。

3. 分层提示词扩展 (PE) 代理

为了在推理过程中将摄像机控制与其他信号（用户提示词、参考图像）和谐集成，采用了新型的 PE 代理：

摄像机提示词生成： 利用多模态大语言模型 (Qwen3-VL) 生成分解后的摄像机提示词 ( $T_c$ $T_{c}$ )：
- 镜头间 (Inter-shot)： 分析相邻镜头之间的关系，以确保跨越转换时的语义连贯性。
- 镜头内 (Intra-shot)： 基于位姿估计和视觉修正，描述单个镜头内的摄像机运动。
语义融合： 该代理将摄像机提示词、参考图像和用户提示词融合成一个统一、连贯的文本条件，以防止冲突和背景泄露。
自适应分类器自由引导 (CFG)： 使用一种由粗到精的去噪策略。摄像机网格特征在高度噪声阶段注入，以建立全局空间结构；而其他信号则在低噪声阶段引入，以细化局部细节。

核心贡献

OmniDirector 框架： 一个统一的视频生成框架，实现了通用的多镜头摄像机克隆，无需交叉配对数据，为 MMDiT 提供了导演级的控制。
摄像机网格： 一种新型的、通用的摄像机运动视觉表示，它将轨迹与内容解耦，使得构建百万规模训练数据集成为可能。
分层提示词扩展代理： 一种系统集成摄像机运动与多模态信号的机制，确保了多镜头场景下的语义连贯性，并最大限度地减少了信息泄露。

实验结果

该框架在涵盖单/多镜头视频、各种分辨率和复杂效果的 1,094 个多样化样本集上进行了评估。

定量性能： OmniDirector 在所有指标上均优于最先进的基准模型 (CamCloneMaster, Seedance2.0, LTX-LoRA)。
- 摄像机准确度： 实现了 16.84° 的相对平移误差 (RTE) 和 72.74% 的平移精度 (T-Pre)，相比于排名第二的方法，平移精度相对提升了 39.3%。
- 转换准确度： 在镜头转换方面实现了 96.52% 的时间精度 (Tem-Pre) 和 83.79% 的语义精度 (Sem-Pre)。
- 泄露率： 展示了最低的泄露率（帧级 0.51%，镜头级 3.38%），显著优于那些在处理内容泄露方面表现挣扎的基准模型。
定性性能： 该模型能够忠实地克隆复杂轨迹（包括希区柯克变焦和圆弧运动），并在多镜头序列中保持语义连贯性，而基准模型通常在转换处失败或出现运动伪影。
涌现能力： 模型展示了零样本泛化能力，在无需重新训练的情况下，仅通过原始 RGB 视频或 Canny 边缘序列即可成功执行摄像机运动，这表明摄像机网格有效地解锁了对空间动态的理解。

意义

本文声称 OmniDirector 解决了摄像机控制中精度与易用性之间的根本权衡。通过引入摄像机网格，作者绕过了交叉配对数据集的数据稀缺问题以及显式参数提取的尺度歧义问题。该框架能够生成具有导演级控制的高保真多镜头视频，有效弥合了直观的基于参考的控制与专业电影摄影严苛要求之间的差距。这项工作为利用从标准互联网视频中自动策划的大规模数据集来训练视频生成模型建立了新的范式。