💻 computer science

Tora3: Trajectory-Guided Audio-Video Generation with Physical Coherence

Tora3 是一个轨迹引导的音视频生成框架，它通过使用物体轨迹作为共同控制视觉运动和声学事件的共享运动学先验，增强了物理连贯性与运动-声音的同步性，并得到了一个名为 PAV 的新策划的大规模数据集的支持。

原作者： Junchao Liao, Zhenghao Zhang, Xiangyu Meng, Litao Li, Ziying Zhang, Siyu Zhu, Long Qin, Weizhi Wang

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Junchao Liao, Zhenghao Zhang, Xiangyu Meng, Litao Li, Ziying Zhang, Siyu Zhu, Long Qin, Weizhi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下正在观看一段锤子敲击钉子的视频。在一个完美的世界里，撞击声发生的时间点应该与金属接触木头的瞬间完全一致，且声音的锐度应与撞击的力量相匹配。多年来，计算机一直难以创造出让动作与声音感觉属于同一个物理现实的视频。虽然人工智能在生成精美的动态图像或根据文本创建逼真的声景方面已经变得非常出色，但将两者结合起来往往会导致脱节。物体可能会以违背重力的方式运动，或者声音可能会晚出现零点几秒，或者对于剧烈的撞击来说声音可能太小了。核心问题在于，生成视频的计算机和生成音频的计算机一直在孤立地工作，它们各自在猜测对方应该做什么，而没有对物体如何在空间中实际移动建立共同的理解。

阿里巴巴集团和复旦大学的研究人员通过一个名为 Tora3 的新系统解决了这一差距。他们的这种方法建立在一个简单而强大的理念之上：将物体所经过的路径作为视频和音频的共享蓝图。与其让计算机去猜测一辆车应该如何行驶或一个球应该如何弹跳，该系统首先定义精确的轨迹（即物体遵循的线条），然后利用这条线来规定视觉运动及其伴随的声音。这种方法不仅将路径视为物体移动的引导，更将其视为一种物理信息源，告诉系统何时发出声音以及声音应该有多大。通过将视觉和听觉都锚定在相同的运动数学描述上，研究人员创造出的视频让物理感显得真实，且音频与动作实现了完美的同步。

研究人员发现，以往的方法之所以失败，是因为它们试图分别生成视频和音频，然后寄希望于它们能匹配起来，或者仅将运动路径作为视频的视觉引导，而忽略了其引导声音的潜力。Tora3 通过将轨迹作为“运动学先验”（kinematic prior）改变了这一点——这是一个技术术语，意指它将路径作为视频和音频生成器都必须遵循的基本规则。当系统看到一个物体沿着特定线条运动时，它会计算每一点的速度和加速度。如果一个物体正在加速，系统就会知道声音应该变大或改变音调。如果一个物体撞击表面，系统就能准确知道何时触发尖锐的撞击声。这种对路径的共同依赖确保了视觉和听觉元素不仅在同一时间发生，而且是在对相同的物理力量做出反应。

为了实现这一点，团队开发了一种将路径信息输入计算机大脑的具体方式。对于视频部分，他们并没有构建一个复杂的新机器来理解运动，而是简单地将视频第一帧的视觉信息沿着物体的路径进行移动。这是一种直接且高效的方式，用来告诉计算机：“这个物体在这里，它正向那里移动”，而无需额外的处理层来干扰系统。对于音频，系统会观察路径并计算物体的速度以及它加速或减速的快慢。这些计算随后被用于塑造声音，确保快速移动的物体产生与慢速移动不同的声音，并且突然停止会产生截然不同的噪音。

团队还开发了一种将这些指令融入最终视频的新方法。他们意识到，视频中的某些部分需要严格遵循路径以确保物体运动正确，而其他部分（如背景）则应该保持灵活性。他们的解决方案是在视频生成过程中使用两条不同的规则：一条规则将物体紧紧绑定在其路径上，另一条规则则允许场景的其他部分自然流动。这种混合方法既能防止视频看起来僵硬或不自然，又能确保主要动作遵循预定的轨迹。

为了训练这个系统，研究人员收集了 46 万个专注于运动的视频片段。他们使用先进工具自动识别这些视频中的物体并绘制出它们的路径，从而创建一个富含运动模式的数据集。这使得系统能够从各种现实世界的运动中学习，从行驶在公路上的汽车到拍打水面的海豹。在与其它领先系统的对比测试中，Tora3 生成的视频不仅视觉上更清晰，而且运动与声音之间的联系也更加紧密。该系统在匹配声音与接触时刻的同步性，以及根据运动强度调整声音音量方面表现得更为出色。

结果表明，赋予人工智能一个共享的物理规则手册（在这种情况下是物体的路径）是提高生成内容真实感的有力手段。该系统不仅让事物看起来很美观，更让它们感觉像是存在于一个受一致物理定律支配的世界中。虽然这项技术仍在不断完善，但这种方法的成功凸显了数字媒体未来一个极具前景的方向，即视觉与听觉之间的界限将变得与现实无法区分。研究人员计划通过探索如何将其他物理因素（例如物体的材质或声音在房间中的传播方式）加入到这个共享框架中，以创造出更加令人信服的体验，从而继续开展这项工作。

技术摘要：Tora3 —— 具有物理一致性的轨迹引导音视频生成

1. 问题陈述

尽管最近的生成模型进展显著提升了文本到音频-视频（T2AV）系统的感知质量和多模态一致性，但在**物理一致性（physical coherence）**方面仍存在关键差距。现有的方法（包括强大的开源模型）生成的物体运动往往在视觉上不稳定（例如：轨迹不一致、加速度不合理），且声音与显著运动或接触事件的对齐也较为松散。

识别出的核心局限在于缺乏一个显式的、共享的运动感知结构来同时约束视频和音频模态。目前的方法通常依赖于语义对齐而非显式的运动-声音建模，这导致了：

视觉不稳定： 生成的物体可能会遵循不一致的路径或破坏时间连续性。
视听失步： 撞击声可能错过接触瞬间，强度可能无法反映交互强度，且连续声音（如滑动声）可能无法随运动动力学而演变。

作者认为，**物体轨迹（object trajectories）**提供了一种天然、轻量且可解释的共享表示，可以弥补这一差距。轨迹紧凑地编码了运动线索（事件时机、运动强度、时间演变），这些线索既能约束视频中的合理运动，又能决定声音的时机和振幅演变。

2. 方法论：Tora3 框架

Tora3 是一个基于双重扩散 Transformer（DiT）架构（遵循 Ovi 基准）的轨迹引导音视频生成框架。它将物体轨迹不仅视为视频的辅助控制信号，更将其视为一种共享的运动学先验（shared kinematic prior），共同引导视觉运动和声学事件。该框架由三个关键技术组件组成：

A. 轨迹对齐运动表示（视频分支）

Tora3 没有使用单独的运动编码器来处理轨迹数据（因为这可能会使优化过程纠缠并削弱稀疏信号），而是直接将运动线索注入视频潜空间：

机制： 系统将特征从第一帧沿预设的物体轨迹传播到后续帧。
实现： 对于潜视频序列 $x_0$ ，系统通过将第 $i$ 帧中轨迹对齐位置处的潜特征替换为来自第一帧（ $z$ ）的对应特征，从而构建轨迹条件的潜变量 $x_{traj}$ 。
优势： 这避免了分布偏移和额外的特征转换，提供了一个直接的条件信号，在强制执行轨迹遵循的同时保留了局部物体线索。

B. 运动学-音频对齐模块（音频分支）

为了解决仅靠语义调节不足的问题，Tora3 引入了源自轨迹的显式运动学调节：

二阶运动学状态： 系统利用中心差分法计算位置（ $\mathbf{r}$ ）、速度（ $\mathbf{v}$ ）和加速度（ $\mathbf{a}$ ）。同时提取速度和加速度的量级（ $\|\mathbf{v}\|, \|\mathbf{a}\|$ ）以将方向与强度解耦。
特征编码： 这些 8 维运动学特征经过符号对数压缩处理，并通过 MLP 编码为潜标记（latent tokens）。
融合： 运动学标记通过交叉注意力机制注入音频 DiT。一个可学习的门控机制（ $\sigma(\gamma)$ ）平衡了这些运动学线索与原始语义文本条件之间的影响，确保音频在保持语义恰当的同时，在运动强度和时机上与物理运动保持一致。

C. 混合流匹配（Hybrid Flow Matching）

意识到不同空间区域在去噪过程中需要不同的处理方式，Tora3 采用了混合流匹配方案：

轨迹区域 ( $\Omega_{traj}$ )： 在由物体轨迹定义的区域内，流匹配目标锚定在轨迹条件的潜变量（ $x_{traj}$ ）上，而非标准的噪声。这确保了对运动先验的忠实遵循。
背景区域： 在轨迹之外，保留标准的流匹配构建方式（目标为高斯噪声），以维持灵活的场景细化和局部一致性。
损失平衡： 使用软掩码（高斯模糊）来创建一个区域平衡的损失目标，防止稀疏的轨迹区域在训练过程中被占据主导地位的背景区域所淹没。

3. 核心贡献

Tora3 框架： 一个统一的 T2AV 生成框架，利用物体轨迹作为共享运动学先验，共同引导视觉运动和声学事件，显著提升了物理一致性。
新颖的架构组件：
- 一种轨迹对齐运动表示，无需显式运动编码器即可将运动直接注入视频潜变量。
- 一个由二阶运动学状态（位置、速度、加速度及其量级）驱动的运动学-音频对齐模块，用于实现声音事件与运动动力学的同步。
- 一种混合流匹配方案，在平衡轨迹区域的运动忠实度与背景区域的局部一致性之间取得平衡。
PAV 数据集： 策划了 PAV，这是一个强调运动相关模式的大规模（46 亿剪辑）音视频数据集。它包含自动提取的运动标注（通过 CoTracker3 获取的轨迹）以及配对的视频/音频描述，专门为轨迹和运动学感知的生成而设计。

4. 实验结果

在 PAV 数据集上的广泛实验表明，Tora3 在多个维度上均优于强大的开源基准模型（包括 LTX-2, Ovi, MOVA 和 AVControl）：

视频质量： Tora3 实现了最低的 Fréchet 视频距离（FVD: 784.1）和最高的审美评分（AS: 4.61），表明其具有卓越的视觉真实感和稳定性。
视听同步： 该模型获得了最高的 FGAS (0.234)，表明视频帧与同步音频特征之间的对齐度更好。
运动-声音一致性：
- 事件时机： Tora3 显示出最低的事件时机误差（ETE: 0.181），意味着撞击声能更精确地与接触事件对齐。
- 强度相关性： 它实现了最高的运动-音频强度相关性（MAIC: 0.63），证明了音频响度能与运动强度保持一致演变（例如：更快的运动产生更大的声音）。
轨迹忠实度： Tora3 保持了最低的轨迹误差（12.13），证实其生成的物体比基准模型能更准确地遵循预设路径。

消融实验证实，将轨迹作为两种模态的共享先验可以获得最佳效果，并且引入二阶运动学特征（加速度和量级）对于生成高保真声音至关重要。

5. 意义与主张

论文声称，Tora3 代表了使多模态生成从仅仅是“语义对齐”迈向“物理一致”的重要一步。通过引入物体轨迹作为共享运动学先验，该框架成功地在统一的结构下将视觉运动与声学生成耦合在一起。

作者强调，这种方法：

解决了“松散”对齐的问题，即声音与物理事件脱节的问题。
提供了一种轻量级、可解释的机制，在不需要复杂物理模拟的情况下，约束合理的运动和声音演变。
证明了显式运动学调节（位置、速度、加速度）对于生成真实的运动依赖型音频是必不可少的。

这项工作将 Tora3 定位为生成高保真音视频内容的实用解决方案，在这些内容中，运动动力学与声音是内在联系的，为物理一致性树立了新标准。未来的工作建议将这种轨迹级的一致性扩展到更丰富的物理因素，如材料属性和 3D 声学传播。