🤖 AI

TriMotion: Modality-Agnostic Camera Control for Video Generation

TriMotion 是一个模态无关的框架，通过一个新的数据集和潜在一致性目标，将视频、姿态和文本输入统一到一个共享的运动嵌入空间中，从而实现跨异构用户输入的高质量、灵活且受相机控制的视频生成。

原作者： Seunghyun Shin, Jifei Song, Wooseok Jeon, Hae-Gon Jeon, Jiankang Deng

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Seunghyun Shin, Jifei Song, Wooseok Jeon, Hae-Gon Jeon, Jiankang Deng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位电影导演。你手里有一份剧本（文本描述）、一个分镜脚本（参考视频）和一个技术蓝图（摄像机坐标）。在过去，如果你想让 AI 生成具有特定相机运动（比如平滑的推近或旋转轨道运动）的视频，你必须使用 AI 特有的语言。如果 AI 只理解蓝图，你就无法使用你的分镜脚本；如果它只理解分镜脚本，你就无法使用你的文本剧本。你会被困在“一种工具对应一个任务”的局面中。

TriMotion 是一款全新的 AI 视频生成“通用翻译器”。它允许你通过任何一种工具来控制摄像机：文本、参考视频或技术相机数据。AI 将它们都理解为同一件事。

以下是它的工作原理，通过简单的概念进行拆解：

1. 问题所在：“语言障碍”

目前的 AI 视频工具大多像是只会说一种方言的专家。

蓝图专家： 需要精确的数字（例如“向左移动 5 米”）。这对普通人来说很难编写。
分镜脚本专家： 需要一段视频剪辑来模仿其运动。如果你想改变速度或方向，这种方式缺乏灵活性。
剧本专家： 需要文本描述（例如“相机向左平移”）。但 AI 往往难以将模糊的词汇转化为精确、平滑的物理运动。

2. 解决方案：“共享舞池”

研究人员构建了一个名为 TriMotion 的系统。把 AI 的内部大脑想象成一个巨大的舞池。

以前，如果你给 AI 一个文本描述，它会尝试根据文本跳舞；如果你给它一个视频，它会尝试根据视频跳舞。它们是不同的舞蹈。
TriMotion 教会了 AI 将所有内容都翻译到同一个舞池上。无论你给它的是文本剧本、参考视频还是相机蓝图，AI 都会在它的大脑内部将所有内容转换为完全相同的“舞步”（数学数字）。
因为它们都在同一个舞池里，所以 AI 可以瞬间切换。你可以从文本描述开始，然后将其更换为视频参考，而相机运动会保持完美的一致性。

3. 训练过程：“运动三元组”

为了教会 AI 这种通用语言，研究人员创建了一个特殊的训练数据集，称为 Motion Triplet Dataset（运动三元组数据集）。

想象一组训练卡片。每张卡片上有三样东西：
1. 一段相机运动的视频剪辑。
2. 该相机路径的精确数学坐标。
3. 对相机动作的文字描述（例如“相机在向右转的同时缓慢推近”）。
AI 研究了数百万张这样的卡片。它学习到，数学、视频和文字都在描述完全相同的物理运动。这使得它能够构建出那个“共享舞池”，让三种输入都代表同一种含义。

4. 核心秘诀：“幽灵追踪”

AI 视频面临的最大挑战之一是，AI 可能会抓住了“外观”却搞错了“运动”（相机可能会发生漂移或抖动）。

TriMotion 使用了一个聪明的技巧，称为 Latent Motion Consistency（潜空间运动一致性）。
想象 AI 正在画一幅画。通常情况下，它先画完整幅画，然后检查线条是否笔直。如果不对，它就会擦掉重画。这既慢又容易毁掉画作。
TriMotion 有一个“幽灵追踪器（Ghost Tracker）”。当 AI 在其“草图阶段”（在最终图像完全形成之前）绘制视频时，这个幽璃追踪器会立即检查运动情况。它会向 AI 悄悄提醒：“嘿，相机应该是向左移动的，但你的草图正在向右漂移。现在就修正它。”
这一切都发生在 AI 的“草图”（潜空间）内部，因此它不需要浪费时间去擦除和重画最终的高质量图像。它从第一步起就确保了运动的平滑与准确。

5. 结果：它能做什么？

论文表明，无论使用哪种输入，TriMotion 都能创造出完美遵循相机指令的高质量视频。

文本生成视频： 你输入“一个缓慢推近森林的镜头”，相机就会平滑移动。
视频生成视频： 你展示一段相机旋转的剪辑，AI 就能将那种精确的旋转应用到新的场景中。
“混搭”技巧： 因为一切都在同一个舞池里，你可以做一些酷炫的操作，比如 Motion Composition（运动合成）。你可以告诉 AI “先进行推近动作”（来自文本），然后“切换到旋转动作”（来自视频参考），AI 会将它们无缝融合为一个连续的镜头，而无需重新训练。

总结

TriMotion 就像是给了电影导演一个万能遥控器。无论他们是用语言表达、展示样本剪辑，还是递交技术图表，AI 都会将这些指令理解为完全相同的相机运动。它利用一个特殊的“训练数据集”来学习这种翻译，并使用一个“幽灵追踪器”来确保相机的移动平滑且准确，从而生成完美符合导演构思的专业级视频。

技术摘要：TriMotion

问题陈述

摄像机运动控制是引导视角变化、组织电影空间以及在生成式视频系统中实现用户意图的一项基本技术。虽然最近在条件视频扩散模型方面的进展已经实现了各种调节信号，但现有的摄像机控制方法通常局限于单一的特定输入模态。

基于姿态（Pose-conditioned）的方法需要显式的几何摄像机轨迹，这对于普通用户来说不够直观，且难以精确指定。
基于参考视频（Reference-video-based）的方法隐式地编码了运动模式，但缺乏显式的轨迹控制，且灵活性有限。
文本描述虽然直观，但由于缺乏显式的时序结构和几何约束，在摄像机控制方面的探索仍不够深入，导致难以实现精确且符合物理规律的轨迹执行。

这种模态特定的限制限制了生成系统的灵活性。因此，需要一种共享的运动表示，来桥接异构输入（视频、姿态和文本），从而实现跨不同输入类型的连贯摄像机运动控制。

方法论

作者提出了 TriMotion，一个统一的、模态无关的摄像机控制视频生成框架。该框架将多样化的控制信号——视频、姿态和文本——映射到同一个连续的运动嵌入空间中。

1. 运动三元组数据集 (Motion Triplet Dataset)

为了训练一个需要同步监督的跨模态空间，作者通过扩展 Multi-Cam Video 数据集构建了 运动三元组数据集。

来源： 136K 高保真 Unreal Engine 5 视频，带有准确的地面真值（ground-truth）摄像机外参。
处理： 一个自动化流水线将原始摄像机外参转换为基于几何的自然语言描述。
- 原始姿态序列被转换为以第一帧为锚点的相对轨迹。
- 逐帧平移和旋转变化被计算并映射到规范的摄像机操作（例如：Dolly、Pan、Tilt），以形成紧凑的符号序列。
- 大语言模型（Qwen3-4B-Instruct）生成两个层级的描述：一段短摘要和一段详细段落，用于描述时序转换和速度变化，避免使用显式的度量数值。
结果： 该数据集提供了视频、摄像机轨迹和运动描述之间的对齐监督。

2. 统一运动嵌入空间 (Unified Motion Embedding Space)

TriMotion 学习了一个使视频、文本和姿态输入得以对齐的共享表示。

编码器： 模态特定编码器（ $\Phi_{video}, \Phi_{text}, \Phi_{pose}$ $Φ_{v i d eo}, Φ_{t e x t}, Φ_{p ose}$ ）生成运动标记（motion tokens）序列。
- 视频： 使用基于 VGGT 的特征聚合模块，从多视图几何信息中提取摄像机标记。
- 文本： 使用冻结的 T5 编码器配合可学习的运动查询（motion queries），通过交叉注意力机制关注文本标记以推断时序动态。
- 姿态： 通过逐帧 MLP 将展平的摄像机外参矩阵进行投影。
对齐目标： 编码器通过复合损失函数进行训练，以确保：
- 全局对齐： 使用 InfoNCE 损失对齐不同模态间的全局运动标记。
- 时序同步： 最小化对应时序标记之间的余弦距离。
- 几何保真度： 一个共享的姿态回归器从嵌入中预测摄像机外参，确保该空间保留了物理 3D 几何信息。

3. 潜空间运动一致性 (Latent Motion Consistency)

为了在不产生像素空间解码成本的情况下保证严格的几何一致性，TriMotion 引入了 潜空间运动一致性 目标。

运动嵌入预测器 ( $\mathcal{M}_{pred}$ )： 一个由 3D 卷积和时序 Transformer 组成的模块，用于从干净的潜视频表示（ $z_0$ ）中估计运动嵌入序列。
训练策略： 训练预测器使其输出与源自地面真值视频的目标运动嵌入保持一致。
扩散集成： 在扩散训练期间，模型从噪声输入中重建干净的目标潜变量。该重建的潜变量被输入到冻结的预测器中。随后，预测的运动嵌入通过运动一致性损失与目标运动嵌入进行比较。这强制要求生成的轨迹在潜空间内直接匹配目标。

4. 生成骨干网络 (Generation Backbone)

该框架利用潜视频扩散 Transformer。

调节（Conditioning）： 去噪器受全局外观描述、第一帧源图像以及通过特定块投影 MLP 注入的统一运动嵌入序列的调节。
训练： 该模型通过平衡联合训练支持图像到视频（I2V）和视频到视频（V2V），仅更新注意力层和投影 MLP，以保留预训练的生成先验。

核心贡献

TriMotion 框架： 一种通过将视频、姿态或文本输入映射到共享运动嵌入空间，实现摄像机控制的统一方法。
运动三元组数据集： 一个将多视图视频与基于几何的文本描述配对的新数据集，实现了同步的多模态监督。
潜空间运动一致性： 一种在潜空间内正则化扩散骨干网络的创新目标，确保了轨迹的保真度，且无需重复进行像素空间解码。
跨模态能力： 共享嵌入空间实现了新的应用场景，例如序列运动组合（结合来自不同模态的运动）和跨模态运动插值。

实验结果

在 Koala-36M 和 RealEstate10K 数据集上进行了广泛的 I2V 和 V2V 任务实验。

定量性能： TriMotion 在视觉质量（FVD, FID, CLIP Score）、动态质量（运动平滑度、时序闪烁）和摄像机运动精度（旋转误差、平移误差、CamMC）方面达到了最先进或具有竞争力的水平。值得注意的是，基于姿态的变体在大多数指标上表现最好，而视频和文本变体也保持了极强的竞争力，验证了共享空间的有效性。
定性比较： 与 CamI2V、MotionClone 和 ReCamMaster 等基准方法相比，TriMotion 生成的视频更加清晰、运动更稳定，并且能更忠实地遵循目标轨迹。它避免了依赖显式 3D 点云渲染的方法（如 TrajectoryCrafter）所出现的伪影和纹理退化问题。
消融研究：
- 移除潜空间运动一致性损失会显著降低摄像机精度。
- 仅针对目标进行调节（Target-only conditioning）的效果优于源/目标嵌入的拼接或相减，能提供最纯净的运动信号。
- 统一运动空间展示了强大的跨模态对齐能力（高 Recall@1）和几何保真度（具有竞争力的姿态回归精度）。
用户研究： 人类评估证实，基于几何的标题生成流水线能够产生高质量的描述，且 TriMotion 生成的视频比以往方法更忠实于目标运动，且伪影更少。

意义与主张

本文声称 TriMotion 通过克服模态特定输入的限制，为摄像机可控视频生成建立了新的基准。通过学习共享的运动嵌入空间，该框架实现了跨异构输入的灵活且连贯的摄像机控制。

作者强调，潜空间运动一致性目标 对于提高轨迹保真度至关重要，同时绕过了传统的解码瓶颈。此外，共享空间开创了新的交互范式，成功实现了序列运动组合和跨模态运动插值，而无需重新训练或手动设计轨迹。

论文最后进行了谦逊的总结，承认虽然 TriMotion 能有效传递平滑的摄像机运动，但对于需要大规模未见区域的极端轨迹，仍可能产生边界外扩（outpainting）伪影。未来的工作建议集成显式的 3D 背景外扩，或将框架扩展到共同建模其他电影属性（如调色）。