🤖 machine learning

Go-with-the-Track: Video Compositing and Motion Control with Point Tracking

Go-with-the-Track 是一个统一的视频生成框架，它通过引入空间感知的点追踪嵌入和混合训练策略，将点追踪与多张参考图像相结合，从而在整个视频序列中实现精确的运动控制和高保真度的合成。

原作者： Koichi Namekata, Yash Kant, Zhizheng Liu, Ryan D Burgert, Yuancheng Xu, Kuan Heng Lin, Emmett Steven, Julien Philip, Li Ma, Andrea Vedaldi, Paul Debevec, Ning Yu

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Koichi Namekata, Yash Kant, Zhizheng Liu, Ryan D Burgert, Yuancheng Xu, Kuan Heng Lin, Emmett Steven, Julien Philip, Li Ma, Andrea Vedaldi, Paul Debevec, Ning Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在剪辑电影的导演。你有一个明确的构想：你想让一张照片中的角色走进你的场景，与环境互动，并完全按照你的意愿移动。

目前的 AI 视频工具就像是笨拙的助手。它们虽然能让角色动起来，但只能让角色从视频的第一帧就开始出现。如果你想让角色在场景进行到一半时才走进来，AI 就会感到困惑。其他工具虽然可以把一张照片放入视频中，但它们根本不知道如何让这张照片“跳舞”或自然地运动；它只会呆在那里，或者进行一些平庸、机械化的移动。

“Go-with-the-Track” 是一款全新的 AI 工具，它扮演着一位大师级木偶师的角色。它同时解决了这两个问题，其核心在于使用一种被称为**“点追踪”（point-tracks）**的技术。

核心理念：隐形的线

把**“点追踪”**想象成一根系在视频中特定位置（比如鼻尖、汽车轮子或树叶）的隐形线。随着视频播放，这根线会逐帧跟随那个点。

在过去，这些线只能系在第一帧上。如果你想在稍后加入一个新物体，你就无法把它系在线上，因为它当时还不存在。

Go-with-the-Track 改变了规则。它允许你不仅将这些隐形的线系在视频上，还可以系在你的参考照片上。

比喻： 想象你有一张红球的照片。你在照片上的球上画一个点。然后，你在视频中的球上也画一个点。AI 现在明白了：“照片里的红球就是视频里的这个红球，它必须沿着这条特定的路径移动。”

这让你能够告诉 AI：“把这张照片里的红球拿过来，让它完全沿着这条路径在视频中滚动，即使它是在场景进行到一半时才进入的。”

它是如何运作的（魔术技巧）

论文描述了该 AI 实现这一目标的三个主要“技巧”：

1. “智能身份证”（空间感知嵌入）
以前，当 AI 尝试追踪数千个点时，它会给每个点分配一个随机且毫无意义的 ID 数字（比如“ID #492”）。这就像试图通过喊出随机数字来在一群人中寻找朋友。

创新之处： Go-with-the-Track 根据点的实际位置和运动情况，为每个点发放了一张“智能身份证”。这就像是给你的朋友贴上了一个写着“我是那个在树旁走动的人”的名字牌。因为 ID 是基于点的实际位置生成的，所以 AI 能瞬间理解照片中的点与视频中的哪个点相匹配，即使它们相距甚远。这使得追踪变得极其精准。

2. “压缩服”（适配器）
AI 视频模型在一个“压缩”的世界里工作（就像一个低分辨率的草图）以节省能量，但你的点追踪是高分辨率的细节。通常，将高分辨率细节挤进低分辨率的草图中会丢失精细的动作（比如微妙的转头）。

创新之处： 团队构建了一个特殊的“适配器”（一种压缩服），能让高分辨率的点追踪完美地契合进 AI 的低分辨率世界。它保留了所有微小的、重要的运动细节，而不会丢失任何信息，确保角色看起来不会像一个模糊的色块。

3. “训练健身房”（混合数据）
为了学习如何完美地移动物体，AI 需要练习。现实世界的视频是混乱的；“线”（点追踪）经常会断裂或丢失。

创新之处： 团队并没有仅仅在混乱的现实视频上进行练习，而是让 AI 在以下内容的混合体上进行训练：
- 完美的合成数据： 计算机生成的世界，AI 在其中能精确知道每一个点的位置（就像一个拥有完美物理法则的游戏世界）。
- 静态场景： 没有物体移动的房间，让 AI 学习如何处理摄像机的移动。
- 真实视频： 用来学习真实的人和物体看起来是什么样的。
  这种混合训练让 AI 既具备了来自合成数据的精准性，又具备了来自真实数据的真实感。

你究竟可以用它做什么？

论文展示了这项“木偶师”技能可以实现的几种具体应用：

视频风格重塑（Video Restylization）： 你可以拍一段人走路的视频，然后告诉 AI，“让这个人看起来像某张特定照片中的画作”。AI 会保留完全一致的走路动作，但改变其外观以匹配照片。
网格驱动的合成（Mesh-Driven Compositing）： 你可以拿一段 3D 动画（比如机械臂在移动），然后告诉 AI 用照片中的特定角色替换掉机器人，让角色完全模仿机器人的动作。
相机控制（Camera Control）： 你可以拍摄一个静态房间或行驶中的汽车，然后告诉 AI，“将相机移动到一个新的角度”。AI 会利用点追踪来理解 3D 空间，并从新角度生成视频，同时保持物体在正确的位置。
多重参考（Multi-Reference）： 你可以使用多张照片。例如，你可以告诉 AI 使用一张照片作为角色的脸部，另一张照片作为他们的衣服，第三张照片作为背景，然后让它在遵循运动轨迹的同时将它们缝合在一起。

总结

Go-with-the-Track 是一款终于让创作者能够精确控制视频中出现什么以及如何运动的工具。它不再让 AI 去“猜”，而是通过简单的点和照片来引导用户去导演复杂的、具有电影感的视频。

技术摘要：Go-with-the-Track

问题陈述

电影制作和高质量视频生成需要对元素的视觉外观（合成）及其时空演变（运动控制）进行精确控制。现有方法通常将这些能力孤立对待。基于点追踪（point-track）条件的图像转视频模型通常将内容插入限制在第一帧，假设所有可控元素最初都已存在；因此，它们难以自然地合成在任意帧进入或退出场景的元素。相反，参考转视频（reference-to-video）模型允许注入多参考外观，但缺乏细粒度的、可编辑的运动表示，导致难以控制多个参考元素在空间和时间上的移动与交互。此外，先前的方法在处理点追踪条件时通常依赖随机嵌入来区分轨迹，这未能利用空间邻近性线索，导致在处理大量轨迹或参考图像与生成帧之间存在不连续对应关系时，收敛速度慢且泛化能力差。

方法论

作者提出了 Go-with-the-Track，这是一个将视频生成统一地基于多参考图像和以参考为锚点的点追踪进行条件的框架。其核心创新在于扩展了传统的点追踪，使其能够显式地建立生成视频帧与输入参考图像之间的对应关系，从而使模型不仅能决定元素“如何”移动，还能决定特定的参考内容被“锚定”在哪些运动上。

关键技术组件

参考锚定点追踪（Reference-Anchored Point-Tracks）：
不同于仅在视频序列内定义的传统轨迹，作者定义的点追踪跨越了生成的视频帧和输入的参考图像。这种表述显式地将参考图像中的 2D 像素坐标与其在生成视频中的轨迹联系起来，从而实现对可能在不同时间或从不同视角出现的元素的精确合成。
空间感知点追踪嵌入（Spatially-Aware Point-Track Embeddings）：
为了解决先前工作中使用的随机嵌入所带来的局限性，作者引入了一种空间感知嵌入策略。
- 编码： 每个点追踪的 2D 坐标序列（辅以帧索引）通过一个坐标级多层感知机（MLP）处理，随后进行正弦编码。
- 池化： 时间最大池化操作将这些坐标嵌入聚合为每个轨迹的一个单一向量。
- 优势： 这种设计确保了嵌入的相似性与空间邻近性直接相关。在视频中空间位置接近的轨迹会共享相似的嵌入特征，为模型提供了显式的空间先验，使其能够在原始坐标不连续的情况下，依然能够区分并关联跨帧及跨参考图像的轨迹。
轻量级点追踪适配器（Lightweight Point-Track Adapter）：
一个关键挑战是弥合高分辨率像素空间点追踪与视频扩散 Transformer 压缩后的分块潜空间（通常在空间上下采样 16×16，在时间上 4×）之间的分辨率差距。
- 块聚合： 视频体积被划分为 $4 \times 16 \times 16$ 的时空块，每个块对应一个潜标记（latent token）。
- 相对位置注入： 对于每个块，适配器收集落入其中的所有点追踪嵌入。至关重要的是，在池化之前，每个嵌入都会与其在块内的相对位置 $(f', x', y')$ 进行拼接。
- 池化： 一个 MLP 处理这些拼接后的向量，随后进行最大池化，以生成每个块的单个压缩条件向量。这种方法保留了细粒度的运动细节，而朴素的采样或简单的下采样会丢弃这些细节。
混合训练策略：
为了克服现实世界视频中地面真值点追踪标注稀缺的问题，作者采用了包含以下内容的混合训练数据集：
- 合成数据集（如 PointOdyssey）： 提供源自 3D 网格的逐顶点点追踪，为解耦相机和物体运动提供了完美的地面真值。
- 静态场景数据集（如 DL3DV, TartanAir）： 提供精确的深度和相机姿态，以计算精确的点追踪。
- 真实动态视频数据集（如 OpenVidHD, MiraData）： 提供逼真的照片级先验，并使用现成的追踪器（DELTA）进行标注，并通过迭代加密来填充稀疏区域。
  这种混合方式使模型既能从合成数据中学习精确的运动控制，又能保留来自真实数据的强大照片级写实能力。

核心贡献

统一运动控制与合成： 本文引入了一种通过参考锚定点追踪将运动控制与多参考合成统一起来的新范式，实现了基于多参考图像的时空可控视频生成。
空间感知嵌入与适配器： 作者证明了随机嵌入对于参考锚定条件并非最优。他们提出了能够编码空间特征的空间感知嵌入，以及一个能够将像素空间轨迹映射到潜空间且不损失显著运动细节的轻量级适配器。
混合训练数据： 通过结合合成、静态和真实世界数据集，该方法减少了对噪声点追踪器的依赖，使模型在保持照片级写实能力的同时，能够学习精确的运动控制。
广泛的适用性： 该框架支持多种应用，包括运动保持的视频风格迁移、由网格或关键点驱动的合成，以及针对静态和动态场景的相机控制。

结果

在 DAVIS 2017 和 TAPVid3D-ADT 数据集上的广泛实验表明，Go-with-the-Track 在视觉保真度、重建准确性和运动保真度指标方面均优于最先进的基准模型（包括 DiffusionAsShader, Go-with-the-Flow, Tora, ATI 和 Wan-Move）。

定量性能： 该模型在 FID、FVD、LPIPS、PSNR、SSIM 和端点误差（EPE）方面取得了卓越的分数，特别是在基准模型经常失败或需要重度下采样的密集追踪场景中。
消融实验： 去除空间感知嵌入、适配器中的相对位置注入或混合训练数据，都会导致性能显著下降，从而证实了每个组件的必要性。
用户研究： 在一项包含 45 名参与者的研究中，在运动跟随、主体保持和整体质量方面，Go-with-the-Track 被选为首选的比例超过了第二名方法的 2:1。

意义

本文声称 Go-with-the-Track 通过将外观控制和运动控制统一到一个灵活的框架中，解决了视频生成中的一个根本性空白。通过将点追踪扩展为多个参考图像的时空锚点，该方法为电影制作人和创作者解锁了新的能力，例如在任意帧插入角色或道具、在保持复杂运动的同时对视频进行重风格化，以及针对静态和动态场景进行相机运动重定向。这项工作强调，视频生成的精确可控性不仅需要更好的模型，还需要能够尊重生成内容空间和时间连续性的更好条件表示。