💻 computer science

TRACE: Object Motion Editing in Videos with First-Frame Trajectory Guidance

本文提出了名为 TRACE 的框架，通过两阶段流程（跨视角运动变换与运动条件视频重合成），允许用户仅在单帧锚定帧中设计目标物体轨迹，即可在保留原始场景内容的前提下生成具有相机运动适应性且时序一致的视频编辑结果。

原作者： Quynh Phung, Long Mai, Cusuh Ham, Feng Liu, Jia-Bin Huang, Aniruddha Mahapatra

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Quynh Phung, Long Mai, Cusuh Ham, Feng Liu, Jia-Bin Huang, Aniruddha Mahapatra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 TRACE 的新技术，它的核心能力是：让你像导演一样，轻松修改视频里某个物体的运动轨迹，同时保持背景和其他东西完全不变。

为了让你更容易理解，我们可以把视频编辑想象成**“在繁忙的街道上指挥交通”**。

1. 以前的痛点：笨重的“逐帧搬运工”

想象一下，你想让视频里一个正在放风筝的小女孩，把风筝从左边移到右边。

传统方法：就像让你拿着粉笔，在视频的每一帧（比如每秒 24 帧）画框，告诉电脑：“这一帧风筝在这里，下一帧在那里，再下一帧又在这里……"。
问题：如果摄像机还在晃动（比如跟着人跑），你就得一边算摄像机怎么动，一边算风筝怎么动。这就像让一个搬运工在摇晃的船上，还要精准地把箱子从船头搬到船尾，累死人且容易出错。

2. TRACE 的解决方案：聪明的“第一帧指挥官”

TRACE 发明了一种更聪明的方法，它把任务分成了两步，就像**“画草图”和“拍大片”**。

第一步：画草图（第一帧轨迹引导）

怎么做：你只需要在视频的第一帧（静止画面）上，画一条简单的线，或者框出风筝“开始”和“结束”的位置。
比喻：这就像你在一张静止的地图上，用红笔圈出“起点”和“终点”，告诉司机：“我想让车从这儿开到那儿”。你不需要管路上的坑坑洼洼，也不需要管车怎么转弯，你只给一个意图。

第二步：智能翻译与重拍（TRACE 的两大核心模块）

TRACE 内部有两个“超级助手”在帮你干活：

助手 A：跨视角运动翻译官 (Cross-View Motion Transformation)

它的任务：把你画在“静止地图”（第一帧）上的路线，翻译成“动态电影”（整个视频）里的真实路线。
为什么需要它：因为摄像机在动，第一帧看到的“左边”，到了第 10 帧可能因为镜头转动变成了“中间”。
比喻：就像你给司机一张静态地图，但司机开的是自动驾驶汽车，车在高速公路上飞驰且不断变道。这个“翻译官”能看懂摄像机的晃动，自动计算出：“哦，虽然你在第一帧画的是直线，但因为镜头在转，风筝实际上应该走一条弯曲的弧线，才能稳稳地飞到那个红珊瑚旁边。”
效果：它把简单的线条，变成了完美贴合背景运动的复杂轨迹。

助手 B：视频重绘大师 (Video Re-Synthesis)

它的任务：根据翻译官算好的新路线，把视频里的风筝“擦掉”，然后按照新路线“重新画”出来。
比喻：这就像是一个拥有魔法的修图师。他手里拿着橡皮擦，把原来风筝的位置擦干净（露出背景），然后拿着画笔，沿着新路线，一笔一划地把风筝“画”回来。
关键点：他画的时候，会死死记住风筝原来的样子（颜色、形状），并且保证背景里的树、云、人完全不动，就像什么都没发生过一样。

3. 它能做什么？（应用场景）

有了 TRACE，你可以玩出很多花样：

多物体编辑：你可以同时指挥风筝和旁边的鸟，让它们走不同的路线，互不干扰。
物体替换：你可以把视频里的一只鹿，在第一帧改成一只老虎，然后 TRACE 会让这只“新老虎”沿着鹿原来的路线跑，动作自然，毫无违和感。
物体插入：你可以在第一帧画个框，说“这里要加个超人”，TRACE 就会让超人沿着你画的轨迹飞进视频里。

4. 为什么它很厉害？

简单：你不需要懂复杂的 3D 建模，也不需要一帧帧去调。就像在照片上画个箭头一样简单。
精准：以前的方法，一旦摄像机晃动，物体就会“飘”走或者“跳”来跳去。TRACE 能完美处理复杂的镜头运动，让物体像真的在场景里移动一样。
真实：它生成的视频，背景不会乱，物体的光影和质感都和原视频融为一体，看不出是后期做的。

总结

TRACE 就像是一个“视频运动导演助手”。你只需要在第一张图上画出“我想让这个东西怎么动”，它就能自动计算出在晃动的镜头下该怎么走，并把整个视频重新“演”一遍，让物体乖乖听话，而背景则像什么都没发生一样安静地待着。这让视频后期制作变得像画画一样直观和有趣。

TRACE: 基于首帧轨迹引导的视频物体运动编辑技术总结

1. 研究背景与问题定义 (Problem)

核心问题：
现有的视频编辑方法主要集中在外观变换（如风格迁移、局部重绘）或基于点跟踪的轨迹控制。然而，在动态相机运动（Camera Motion）的视频中，用户很难直接提供逐帧的物体轨迹控制信号（如密集的掩码序列或每帧边界框）。现有的方法往往难以在保持背景和其他场景内容不变的前提下，灵活地改变特定目标物体的运动路径。

任务定义：
论文提出了一个新的任务设定：“基于首帧物体运动设计的视频编辑” (Video Editing with First-Frame Object Motion Design)。

目标：允许用户仅在视频的第一帧（Anchor Frame）上通过稀疏的边界框（Bounding Boxes）定义目标物体的期望运动路径。
挑战：由于相机是动态运动的，第一帧上定义的 2D 路径与后续帧中物体在屏幕空间（Screen Space）的实际位置存在严重的跨视角空间错位 (Cross-view Spatial Misalignment)。现代视频生成模型通常需要空间对齐的逐帧引导信号，如何自动将首帧的意图转化为动态视角下的精确轨迹是核心难点。

2. 方法论 (Methodology)

TRACE 框架采用两阶段流水线 (Two-Stage Pipeline) 来解决上述问题，将“运动意图转化”与“视频重合成”解耦。

第一阶段：跨视角运动变换模块 (Cross-View Motion Transformation Module)

该模块负责将用户在首帧定义的静态路径，映射为适应动态相机视角的逐帧边界框序列。

输入：
1. 首帧图像 ( $J_{first}$ )：通过 3DVAE 编码，提供静态场景和相机视角的高保真视觉上下文。
2. 点轨迹网格 ( $P$ )：稀疏的点跟踪数据，用于捕捉相机的运动动态。
3. 首帧边界框序列 ( $B_{ref}$ )：用户定义的稀疏关键帧边界框，经时间插值后形成密集序列。
模型架构：
- 基于 Diffusion Transformer (DiT) 的序列到序列映射模型。
- 不依赖显式的 3D 重建（如深度图或相机位姿估计），因为传统方法（如 MegaSAM, Depth Anything）在噪声累积下会导致轨迹抖动和尺度不一致。
- 模型隐式学习相机动力学，直接预测动态视角下的目标边界框序列 ( $B_{tgt}$ )。
训练策略：
- 使用合成数据流水线（ReCamMaster）生成静态相机和动态相机的配对视频，自动构建对齐的边界框数据。
- 采用流匹配 (Flow-matching) 目标进行训练。

第二阶段：视频重合成模块 (Video Re-Synthesis Module)

该模块利用第一阶段生成的轨迹，重新合成视频，使物体沿新路径运动，同时保留原始场景内容。

输入条件：
1. 原始视频（被掩码处理）。
2. 首帧图像（作为物体外观参考）。
3. 文本提示 (Text Prompt)。
4. 合成掩码 ( $M_{obj}$ )：基于预测的 $B_{tgt}$ ，指定物体生成的区域。
5. 重绘掩码 ( $M_{inpaint}$ )：指定需要擦除原物体并填充背景的区域。
模型架构：
- 基于 Wan 2.1 (1.4B) 视频扩散模型进行微调（LoRA）。
- 采用“擦除 - 重绘”机制：模型被强制无法“看到”原物体像素（在掩码区域），从而防止信息泄露，确保生成的是符合新路径的新物体实例，同时保持外观一致性。
训练策略：
- 使用内部大规模数据集（约 110 万视频），包含长镜头视频。
- 引入边界框平滑和噪声增强以提高鲁棒性。

3. 关键贡献 (Key Contributions)

新任务设定：首次提出并解决了“基于首帧运动设计的视频编辑”问题，使用户能通过单帧交互控制复杂视频中的物体运动，无需逐帧标注。
TRACE 框架：
- 设计了跨视角运动变换模块，利用 DiT 隐式学习相机动态，解决了首帧路径到动态视频视角的映射难题，避免了传统 3D 重建方法的噪声累积问题。
- 设计了条件视频重合成模块，结合外观参考和精确轨迹引导，实现了高保真的物体运动重规划。
数据与评估：构建了大规模合成训练数据集，并在多种真实世界视频和基准测试（DAVIS, VBench）上验证了方法的有效性。

4. 实验结果 (Results)

定量评估

跨视角变换模块：
- 在首帧到视频视角的映射任务中，TRACE 的 IoU 达到 0.80，mAP 达到 0.91，显著优于简单的线性插值（IoU 0.67）和基于 3D 重建的方法（MegaSAM, DA-v3，IoU 约 0.63-0.73）。
- 证明了其能更准确地处理动态相机运动带来的空间错位。
视频重合成模块：
- 在 DAVIS 基准上，TRACE 在 SSIM (0.71)、LPIPS (0.19) 和 Tube IoU (0.49) 等指标上优于现有的 I2V（如 MagicMotion）和 V2V（如 VACE, HunyuanCustom）基线方法。
- 在 VBench 基准的全流程评估中，TRACE 在成像质量 (Imaging Quality)、运动平滑度 (Motion Smoothness) 和 时间闪烁 (Temporal Flickering) 方面取得了最佳或极具竞争力的分数。

定性评估与用户研究

视觉效果：TRACE 生成的视频在物体身份保持（Identity Preservation）、背景一致性以及运动自然度上均优于对比方法。对比方法常出现背景漂移、物体身份丢失（如颜色改变）或轨迹偏离的问题。
用户偏好：在包含 70 个视频的用户研究中，用户在选择视频质量、物体身份保持和运动可控性方面，对 TRACE 的偏好率分别高达 77% - 85%，显著高于所有基线模型。

应用扩展

TRACE 支持多种推理时任务：

多物体编辑：同时编辑多个物体的轨迹。
物体插入：在首帧定义新物体的位置和路径，并生成符合物理规律的运动。
物体编辑与替换：修改物体属性（如颜色、纹理）或替换物体类别（如鹿变老虎），同时保持原运动路径。

5. 意义与影响 (Significance)

TRACE 的工作为视频编辑领域带来了重要的突破：

降低了专业编辑门槛：将复杂的时空运动控制简化为直观的首帧交互，使得非专业用户也能轻松调整视频中的物体运动逻辑。
解决了动态相机下的控制难题：通过隐式学习相机动力学，成功克服了传统方法在动态视角下难以维持轨迹一致性的痛点。
拓展了创意应用场景：为后期制作中的运动重规划（Motion Re-planning）、虚拟物体插入以及复杂的叙事性视频编辑提供了强有力的工具，推动了生成式视频模型从“外观编辑”向“运动逻辑编辑”的演进。

综上所述，TRACE 通过创新的“首帧引导 + 两阶段生成”架构，实现了在动态视频中对物体运动路径的精准、自然且可控的编辑，是目前该领域的 State-of-the-Art 方法。