🤖 AI

DiReCT: Disentangled Regularization of Contrastive Trajectories for Physics-Refined Video Generation

本文提出了 DiReCT 框架，通过解耦语义与物理行为并构建宏微观对比轨迹，有效解决了文本条件视频生成中的语义 - 物理纠缠与梯度冲突问题，从而在不增加训练时间的前提下显著提升了生成视频的物理常识性。

原作者： Abolfazl Meyarian, Amin Karimi Monsefi, Rajiv Ramnath, Ser-Nam Lim

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Abolfazl Meyarian, Amin Karimi Monsefi, Rajiv Ramnath, Ser-Nam Lim

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 DiReCT 的新方法，旨在解决当前 AI 视频生成模型中一个非常有趣但棘手的问题：AI 生成的视频看起来很像真的，但动起来却经常违反物理常识。

为了让你轻松理解，我们可以把 AI 视频生成想象成教一个天才画家画画，而这篇论文就是给这位画家请了一位**“物理学家教练”**。

1. 核心问题：画得像，但动得假

现在的 AI（比如 Wan 2.1）非常擅长根据文字描述（比如“一辆车在雨中行驶”）画出每一帧画面，画面很清晰，时间也很连贯。但是，它们不懂物理定律。

例子：如果提示词是“一个球掉在地上”，AI 可能会画出球落地后加速弹起（违反重力），或者两个物体互相穿过（像幽灵一样，违反固体碰撞）。
原因：以前的训练方法就像让画家“死记硬背”每一帧的样子。它只关心“这一帧画得像不像”，而不关心“这一帧的动作合不合理”。它不知道球落地应该减速，也不知道水应该往下流。

2. 之前的尝试：为什么“对比学习”会失效？

为了解决这个问题，研究人员尝试过一种叫“对比学习”的方法。

通俗解释：这就像教学生时，不仅给他看正确的答案（正样本），还故意给他看错误的例子（负样本），让他知道“这个不对，要避开”。
遇到的问题（语义 - 物理纠缠）：在文字描述的世界里，**“内容”和“物理动作”**是绑在一起的。
- 比如，你想教 AI 区分“球弹性地弹起”和“球粘在地上不动”。
- 如果你随机找一个错误的例子（比如“一只猫在跑步”），AI 会发现：“哦，猫和球完全不同，我只要把猫画得不像球就行了。”这没学到物理知识。
- 如果你找一个很相似的错误例子（比如“球粘在地上”），AI 会困惑：“这两个画面太像了，我到底该往哪边改？是改画面内容，还是改物理动作？”
- 结果：这种混乱导致 AI 在训练时“左右互搏”，不仅没学会物理，反而把原本画得很好的画面也搞坏了。

3. DiReCT 的解决方案：分两步走的“物理特训”

DiReCT（Disentangled Regularization of Contrastive Trajectories）就像一位聪明的教练，它把“教物理”这件事拆解成了宏观和微观两个层面，专门解决上面的混乱问题。

第一步：宏观对比（拉开距离）——“别跟不相关的比”

比喻：想象你在教学生区分“苹果”和“汽车”。
做法：如果正样本是“苹果”，负样本就选“汽车”。这两个东西差别巨大，AI 很容易学会“苹果是圆的，汽车是方的”。
作用：这保证了 AI 在大的方向上不会搞混，建立了清晰的“世界地图”。

第二步：微观对比（精准打击）——“只改一点点物理”

比喻：这是 DiReCT 最厉害的地方。它不再随机找错误例子，而是专门制造“高难度陷阱”。
做法：
1. 它保留画面的所有细节（场景、物体、光线都不变）。
2. 它只修改一个物理属性。比如，把“水像蜂蜜一样粘稠地流”改成“水像水一样快速流动”。
3. 它让 AI 去区分这两个极度相似但物理逻辑相反的视频。
作用：这就像让画家在画同一幅画时，必须精确控制笔触的轻重，而不是去改画什么物体。这让 AI 真正学会了物理规律（比如流体力学、碰撞反弹），而不是仅仅学会画不同的东西。

第三步：防止“忘本”（分布锚定）

比喻：就像学新技能时，不能把原本擅长的基本功给忘了。
做法：在训练过程中，时刻提醒 AI：“你原本画得很好的地方（比如光影、纹理）要保持住，只改物理动作。”
作用：确保 AI 在学会物理常识的同时，不会变成“物理很准但画面很丑”的模型。

4. 成果如何？

经过这种特训，AI 的表现有了质的飞跃：

更懂物理：在测试中，AI 生成的视频更符合常识。比如，木头在水里会浮着顺流而下，而不是像石头一样定在原地；冲浪者会保持身体平衡，而不是慢慢融化进海浪里。
以小博大：他们用的模型只有 13 亿参数（1.3B），却打败了那些拥有 50 亿甚至 100 亿参数 的超级大模型。这说明，“懂物理”比“堆参数”更重要。
效率更高：不需要重新训练整个模型，只需要在原有模型上“微调”一下，就像给车换个更好的导航系统，而不是换引擎。

总结

DiReCT 的核心思想就是：不要试图一次性教 AI 学会所有东西，也不要让它面对混乱的对比。

它通过**“宏观拉开距离”和“微观精准修改物理”这两招，巧妙地解开了“画面内容”和“物理动作”纠缠在一起的死结。这就好比给 AI 戴上了一副物理眼镜**，让它不仅能“看”到世界，还能真正“理解”世界是如何运作的。

这是一篇关于视频生成物理一致性优化的技术论文总结。论文提出了一种名为 DiReCT (Disentangled Regularization of Contrastive Trajectories，对比轨迹的解耦正则化) 的新框架，旨在解决基于流匹配（Flow-Matching）的视频生成模型在物理常识方面的缺陷。

以下是该论文的详细技术总结：

1. 研究背景与核心问题 (Problem)

现状与缺陷：基于流匹配（Flow-Matching）的视频生成模型（如 Wan 2.1, CogVideoX 等）在生成高保真、时间连贯的视频方面表现出色。然而，它们生成的视频往往违反基本的物理定律（例如：物体碰撞后不反弹、物体相互穿透、运动方向错误等）。
根本原因：
1. 训练目标的局限性：传统的重建损失（如像素级 $L_2$ 或潜在空间距离）仅惩罚帧间偏差，无法区分“物理一致的动力学”和“不可能的动力学”。
2. 语义 - 物理纠缠 (Semantic-Physics Entanglement)：在文本条件视频生成中，自然语言提示词（Prompt）将场景内容（语义）与物理行为（动力学）紧密耦合。
3. 梯度冲突 (Gradient Conflict)：直接应用对比学习（Contrastive Learning）会失败。当负样本（Negative Sample）与正样本在语义上相似时，它们的速度场（Velocity Field）结构高度重叠。此时，对比梯度（试图推开负样本）会与流匹配梯度（试图拟合正样本）直接对立，导致训练性能下降甚至破坏原有的视觉质量。

2. 方法论：DiReCT 框架 (Methodology)

DiReCT 是一种轻量级的**后训练（Post-training）框架，无需增加额外的推理成本。其核心思想是通过“纠缠感知的多尺度对比学习”**来解决上述梯度冲突问题。

A. 理论分析：梯度冲突的解

作者形式化了梯度冲突问题，推导出对比梯度与流匹配梯度对齐的精确条件。结论是：只有当正负样本的速度场差异（ $\delta$ ）足够大，或者差异集中在特定的物理子空间时，对比学习才有效。

B. 双尺度对比策略

为了解决纠缠问题，DiReCT 将对比目标分解为两个互补的尺度：

宏观对比项 (Macro-Contrastive, MaNS)：
- 目的：实现全局轨迹分离，避免梯度干扰。
- 方法：将文本提示词在语义空间中进行聚类（Partition），对于给定的正样本，仅从语义距离较远的其他簇中采样负样本。
- 效果：确保正负样本的速度场差异巨大（ $\|\delta\|$ 大），从而获得干净的、无干扰的全局分离信号。
微观对比项 (Micro-Contrastive, MiNS)：
- 目的：解决细粒度的物理区分，处理语义相似但物理行为不同的情况。
- 方法：构建“硬负样本”（Hard Negatives）。利用大语言模型（LLM，如 Qwen2.5-7B）对原始提示词进行单轴扰动，仅改变一个物理维度（如：运动学、力、材料属性、交互方式、物理量级），同时严格保持场景语义不变。
- 效果：生成的负样本在语义上与正样本高度相似，但在特定的物理维度上存在明确的违反（例如：水变得像蜂蜜一样粘稠，或者物体不反弹）。这种设计使得速度场差异 $\delta$ 虽然范数小，但集中在物理相关的子空间，从而在语义纠缠的情况下依然能提供有效的物理修正信号。

C. 分布锚定正则化 (Distributional Anchoring)

目的：防止灾难性遗忘（Catastrophic Forgetting），即防止模型在优化物理一致性时丢失预训练模型的视觉质量和时间连贯性。
方法：引入一个冻结的参考模型（ $\theta_{ref}$ ），在速度空间计算 KL 散度（或 $L_2$ 距离）作为正则化项，限制微调后的模型不偏离预训练分布太远。

D. 总损失函数

$\mathcal{L}_{DiReCT} = \mathcal{L}_{FM} - \lambda_{rand}\mathcal{L}_{MaNS} - \lambda_{hard}\mathcal{L}_{MiNS} + \lambda_{anc}\mathcal{L}_{Anchor}$
其中 $\mathcal{L}_{FM}$ 是流匹配重建损失，后三项分别对应宏观对比、微观对比和分布锚定。

3. 关键贡献 (Key Contributions)

形式化梯度冲突：首次明确指出了在文本条件视频生成中，由于语义 - 物理纠缠， naive 的对比学习会导致梯度冲突，并推导了解决该冲突的数学条件。
提出 DiReCT 框架：设计了一种无需额外训练成本的后训练方法，通过宏观（语义距离远）和微观（物理轴扰动）两种对比策略，分别解决全局分离和细粒度物理区分问题。
高效的硬负样本生成：利用 LLM 进行受控的物理属性扰动，生成既保留场景语义又违反特定物理定律的硬负样本，无需昂贵的物理仿真器或人工标注。
全面的实验验证：在多个物理基准测试中证明了该方法的有效性，且在小参数模型上超越了大参数模型。

4. 实验结果 (Results)

实验基于 Wan 2.1-1.3B 模型进行微调，并在 VideoPhy 和 WorldModelBench 基准上进行了评估。

物理常识提升：
- 在 VideoPhy 上，物理常识（Physical Commonsense, PC）得分比基线（Zero-shot）提高了 16.7%，比监督微调（SFT）提高了 11.3%。
- 平均得分（AVG）达到 44.71%。
世界模型能力：
- 在 WorldModelBench 上取得了 5.68 的总分，超越了所有对比模型。
- 超越大模型：DiReCT (1.3B 参数) 的总分超过了 CogVideoX-5B (5.33 分) 和 Mochi (10B 参数，4.91 分)。CogVideoX-5B 的参数量是 DiReCT 的 3.8 倍，Mochi 是 7.7 倍。
消融实验：
- 证明了随机负样本（Random Negatives）会因梯度冲突降低性能。
- 证明了 MaNS 和 MiNS 是互补的：MaNS 主要提升物理遵循度（如质量守恒、穿透性），MiNS 主要提升时间常识。
- 证明了分布锚定（Anchoring）对于防止视觉质量下降至关重要。
训练动态：
- 传统的 SFT 在 5000 步后性能饱和，而 DiReCT 在 15000 步内持续改进，且物理常识（PC）的差距随训练步数扩大。

5. 意义与影响 (Significance)

打破“大即正义”的迷思：证明了通过针对性的物理感知微调（Physics-aware fine-tuning），小参数模型（1.3B）可以在物理合理性上超越参数量大得多的模型。
解决对比学习在文本视频生成中的痛点：为在连续、纠缠的文本条件空间应用对比学习提供了一套通用的解决方案（解耦语义与物理），不仅适用于视频生成，也可能启发其他多模态生成任务。
低成本高效益：该方法不需要复杂的物理仿真器、不需要大规模的人工偏好数据（RLHF/DPO 通常需要），仅需少量的硬负样本生成和标准的微调流程，即可显著提升模型的“世界模型”能力。
实际应用价值：生成的视频更符合物理规律，对于需要物理预测的应用场景（如自动驾驶模拟、机器人规划、科学可视化）具有重要的实用价值。

总结：DiReCT 通过解耦语义与物理的纠缠，巧妙地利用多尺度对比学习，在不牺牲视觉质量的前提下，显著提升了流匹配视频生成模型的物理常识推理能力，是迈向更可靠、更智能的“世界模型”的重要一步。