🤖 AI

Motion Attribution for Video Generation

本文介绍了 Motive，这是一个可扩展的、以运动为中心的数据归因框架，它通过隔离时间动态来识别高影响力训练剪辑，从而实现能够显著提升视频生成模型中运动平滑度和物理合理性的数据策展。

原作者： Xindi Wu, Despoina Paschalidou, Jun Gao, Antonio Torralba, Laura Leal-Taixé, Olga Russakovsky, Sanja Fidler, Jonathan Lorraine

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xindi Wu, Despoina Paschalidou, Jun Gao, Antonio Torralba, Laura Leal-Taixé, Olga Russakovsky, Sanja Fidler, Jonathan Lorraine

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《视频生成中的运动归因》（Motive）的解释，已将其转化为简单易懂、使用日常类比的语言。

核心问题：动态图像的“黑盒”

想象你有一个超级聪明的机器人厨师，它可以烹饪任何你要求的菜肴。如果你要求做一份“香辣咖喱”，它就能做出来；如果你要求做“寿司”，它也能做。但如果你的要求是“跳舞的香蕉”呢？机器人可能会做出一个看起来很像香蕉的东西，但它只是在盘子里滑动，而不是在跳舞。

在 AI 视频生成的领域，我们拥有这些“机器人厨师”（模型）来创造视频。它们在让画面看起来真实方面做得越来越好。然而，科学家们并不真正清楚这个机器人到底是在“品尝”哪些特定的视频片段来学习如何让物体运动的。

问题所在： 如果机器人学会了让球弹跳，是因为它看了一段篮球视频？还是橡胶球的视频？或者是一段房子在弹跳的视频？
旧方法： 以前的方法试图找出哪些训练视频很重要，但它们主要关注的是物体看起来是什么样子的（静态外观）。它们无法区分一段静止画作的视频和一段人跳舞的视频，即使这两者中都有“人”。它们把运动仅仅视为画布上的另一种颜色。

解决方案：Motive（运动侦探）

作者创建了一个名为 Motive（MOTIon attribution for Video gEneration，视频生成中的运动归属）的新工具。把 Motive 想象成一名专门研究运动、而不关心背景的专业侦探。

以下是 Motive 的工作步骤：

1. 忽略背景（“运动掩码”）

想象你在看一部电影，一辆车驶过一座美丽的雪山。

旧侦探： “我看到了车！我也看到了山！两者都很重要！”
Motive： “我不在乎那座山。它只是静止在那里的。我只关心车轮的旋转和汽车的移动。”

Motive 使用一种特殊的“掩码”（就像荧光笔一样），忽略视频中的静态部分（如天空或墙壁），只高亮显示那些真正运动的部分。这使得它能够精确计算出哪些训练视频教会了 AI 如何让物体运动，而不仅仅是如何画出物体。

2. “食谱”审计

AI 模型是在包含数百万个视频的海量库中进行训练的。Motive 遍历这个库并询问：“如果我移除这个特定的视频，AI 是否会忘记如何让球弹跳？”

它给库中的每个视频打分：

高分： 这个视频是运动方面的“大师课”。它教会了 AI 如何让物体漂浮、滚动或爆炸。
低分： 这个视频很乏味或令人困惑。它可能有很多运动，但那只是镜头抖动，或者是某种违反物理规律的卡通运动。

3. “味觉测试”（微调）

研究人员不仅找到了好的视频，还对它们进行了测试。

他们拿了一个标准的 AI 模型。
他们给它提供了一份经过精心挑选的极小量饮食，其中只包含 Motive 认为最适合教学运动的前 10% 的视频。
结果： AI 在制作运动平滑且符合物理定律的视频方面变得更出色了。
- 它击败了“随机饮食”（即 AI 吃到什么就吃什么的模式）。
- 它甚至击败了“全量饮食”（即 AI 吃掉所有视频的模式），而且仅使用了 10% 的数据。

为什么这很重要（“顿悟”时刻）

该论文声称，这是首次有人成功地将视频 AI 中的“运动”与“外观”分离。

之前： 如果你想让 AI 学习水流的效果，你可能会不小心喂给它一些蓝色油漆的视频（看起来像水但没有流动感）。AI 会学到错误的东西。
现在： Motive 可以说：“不，那个蓝色油漆的视频对于教导流动毫无用处。但那个河流的视频？那才是教会 AI 如何让水流动的关键。”

用通俗语言解释结果

团队在名为 VBench（视频 AI 的成绩单）的基准测试上测试了 Motive。

运动平滑度： 视频看起来不再那么抖动，更加流畅。
动态程度： 视频感觉更有生命力和活力。
人类投票： 当真实人类观看由 Motive 训练的 AI 生成的视频时，有 74% 的时间他们更喜欢它，而不是原始的、未经训练的 AI。相比于“全量饮食”训练出的 AI，他们的偏好率也达到了 53%。

总结

把训练视频 AI 比作训练一只狗。

旧方法： 你向狗扔下一百万颗零食，然后祈祷它学会坐下。有些零食是好的，有些是坏的，而你并不知道哪些零食起到了作用。
Motive 方法： 你使用一种特殊工具来识别出那些让狗完美坐下的确切零食。然后，你只喂给狗这些特定的零食。狗学得更快、更好，而且吃得更少。

Motive 证明了质量优于数量。通过找到那些教会 AI 如何运动的特定视频，我们可以在不需要处理整个互联网的情况下，构建出更好的视频生成器。

技术摘要：视频生成中的运动归因 (Motive)

问题陈述

尽管视频生成模型取得了快速进展，但训练数据在塑造运动（时间动态）方面的具体作用仍不为人所知。现有的数据归因方法主要针对图像生成设计，侧重于静态视觉外观。当这些方法被天真地应用于视频时，会将运动坍缩为外观，无法区分静态背景与动态轨迹。这造成了理解上的空白：即哪些训练剪辑影响了时间连贯性、物理合理性以及特定的运动模式（例如速度、加速度、形变）。此外，视频归面临着独特的挑战：处理长序列的高计算成本、由可变剪辑长度引入的偏差，以及将时间关系从空间内容中分离出来的难度。

方法论：Motive 框架

作者引入了 Motive（视频生成中的运动归因），这是一个基于梯度的数据归因框架，旨在将运动特有的影响从静态外观中分离出来。该框架在微调阶段运行，旨在识别哪些训练剪辑对生成的查询视频（query video）的时间动态影响最强。

核心组件

可扩展梯度计算：
- 为了处理数十亿参数的模型和大规模数据集，Motive 避免了精确的 Hessian 矩阵求逆。相反，它通过使用恒等预条件器（identity preconditioner）的梯度相似度来近似影响力。
- 效率策略： 它采用了单样本变体（固定单个时间步 $t_{fix}$ 和噪声抽样 $\epsilon_{fix}$ ）来减少方差并保持排名稳定性。它还利用 Fastfood 投影（Johnson–Lindenstrauss 变换）将高维梯度投影到低维空间（ $D' = 512$ ），然后再计算余弦相似度，从而降低存储成本。
- 帧长偏差校正： 原始梯度量级与视频时长相关。Motive 在投影前根据帧数 ( $F$ ) 对梯度进行归一化，以确保不同长度剪辑之间的公平归因。
运动感知加权（运动掩码）：
- 不同于将视频视为单一单元的标准归因，Motive 根据局部运动对梯度进行重加权。
- 运动检测： 该框架使用 AllTracker 在像素空间提取光流和位移向量。
- 潜空间对齐： 运动量经过下采样，以与计算梯度的模型潜空间网格对齐。
- 运动加权损失： 将运动量大小掩码 ( $W$ ) 应用于损失函数。这会抑制来自静态区域（背景、纹理）的梯度，并强调来自动态区域（移动物体、相机运动）的梯度。最终的影响力得分将生成的运动追溯到贡献了这些特定动态行为的训练剪辑。
数据选择策略：
- 对于给定的查询视频，Motive 计算所有训练样本的运动感知影响力得分。
- 子集选择： 为了选择微调子集，选取得分前 $K$ 的样本。对于多个查询，通过多数投票机制聚合得分，选择在不同运动查询中表现出一致影响力的样本。

核心贡献

可扩展的视频归因： 一种计算高效的基于梯度的归因方法，通过使用单样本估计器和结构化投影，可扩展至现代大规模视频数据集和生成模型。
帧长偏差校正： 一种新颖的归一化技术，纠正了由于累积梯度量级导致长视频在人工上获得更高影响力得分的偏差。
以运动为中心的归因： 第一个通过运动加权损失掩码，显式地将视频生成模型中的时间动态从静态外观中分离出来的框架，实现了将特定运动模式追溯到训练数据的能力。
实证验证： 证明了使用 Motive 筛选的数据（仅为数据集的 10%）可以提高 VBench 上的运动平滑度和动态程度，优于随机选择和非运动感知归因基线。

实验结果

该框架在 Wan2.1-T2V-1.3B 和 Wan2.2-TI2V-5B 以及 LTX-2B 模型上进行了评估，使用了 VIDGEN-1M 和 4DNeX-10M 数据集。

定量性能 (VBench)：
- Motive 获得了最高的动态程度（Dynamic Degree）得分（Wan2.1 为 47.6%，Wan2.2 为 48.3%），显著优于随机选择（约 41.3%）和全视频归因（约 43.8%）。
- 值得注意的是，Motive 在使用仅 10% 数据的情况下，在动态程度指标上超越了全数据集微调。
- 它在运动平滑度、主体一致性和审美质量方面保持了竞争力的得分。
人类评估：
- 在与 17 名标注者的成对比较中，Motive 引导的模型相对于预训练基座模型拥有 74.1% 的胜率，相对于全量微调模型拥有 53.1% 的胜率。
消融实验：
- 投影维度： 投影维度为 512 时提供了最佳的准确性（与全梯度相关性 $\rho \approx 74.7\%$ ）与效率之间的平衡。
- 帧长归一化： 去除此项校正会导致排名与视频长度强相关（ $\rho=78.0\%$ ）而非运动质量。归一化将这种伪长度相关性降低了 54%。
- 运动掩码： 使用运动感知选择进行微调的模型优于使用全视频归因的模型，证实了分离运动信号对于提升时间动态至关重要。

意义与主张

论文声称提出了第一个能够归因视频生成模型中运动而非视觉外观，并利用此归因进行微调数据策划的框架。

作者强调，虽然大规模数据缩放推动了视频生成的进步，但数据对运动的具体影响一直是一个“黑盒”。Motive 提供了一个直接的视角来理解模型为何如此运动。通过分离时间动态，该框架实现了：

针对性数据策划： 选择极小比例的高影响力数据，以显著提升运动质量和物理合理性。
失效模式诊断： 识别哪些训练剪辑导致了特定的运动伪影或不一致性。
效率： 以极小比例的数据实现匹配甚至超过全数据集微调的性能，使高质量运动生成更具普适性。

研究结论认为，随着视频模型的规模扩大，对运动进行数据层面的理解对于构建可控且符合物理规律的生成系统至关重要。