💻 computer science

When Physical Preferences Meet Semantic Constraints: Physical and Semantic Direct Preference Optimization for Text-to-Video Generation

本文介绍了物理与语义直接偏好优化（PSDPO），这是一种通过根据信号一致性调节偏好对的贡献，从而在不牺牲语义保真度的前提下提高物理真实感的创新方法，解决了文本生成视频中物理合理性与语义一致性之间的权衡问题。

原作者： Siwei Meng, Yawei Luo, Shu Zhang, Ping Liu

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Siwei Meng, Yawei Luo, Shu Zhang, Ping Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人根据你的口头描述来画画。你告诉它：“画一只正在追逐激光笔的猫。”于是它创作出了一件杰作。但随后你要求它画一些稍微复杂一点的东西，比如“一只从桌子上跳下的猫”。机器人可能会画出一只违背重力的猫，像幽灵一样悬浮在半空中，或者一只融化进地板里的猫。这就是**文本生成视频（Text-to-Video generation）**的现状。这些人工智能模型在让画面看起来真实以及匹配你输入的文字方面表现得非常出色，但它们往往难以理解我们宇宙中那些无形的规则：物理规律。它们并不总是理解物体具有重量、液体会溅起，或者物体之间不能互相穿透。

为了解决这个问题，研究人员一直在使用一种叫做**直接偏好优化（Direct Preference Optimization, DPO）**的技术。你可以把它想象成一位严厉的美术老师。你给老师看两个视频：一个是球在真实地弹跳，另一个是球在漂浮。老师说：“我更喜欢弹跳的那一个。”人工智能通过这种反馈学习，从而生成更多的弹跳球。然而，这里有一个陷阱。有时，对于物理规律而言“更好”的视频，对于故事本身却是一场灾难。那个弹跳球的视频在物理上可能完美无瑕，但如果你要求的是蓝色的球，它却画成了一个红色的球；或者它把猫画成了狗。人工智能为了取悦老师的物理课，开始完全忽略你最初的要求。它成为了物理学大师，却成了一个糟糕的讲故事的人。

这正是内华达大学里诺分校和浙江大学的研究人员所解决的难题。他们注意到，当人工智能试图通过这些“这个比那个好”的比较来学习物理知识时，它经常会感到困惑，并开始产生幻觉，即为了专注于动作而丢掉了语义含义（即故事）。他们将此称为“物理-语义冲突（physical-semantic conflict）”。

研究人员提出了一种聪明的解决方案，称为 PSDPO（物理与语义直接偏好优化）。PSDPO 不再盲目地听从每一条反馈，而是充当一个智能过滤器。它会在让人工智能学习之前先检查反馈。如果展示给人工智能的视频在物理上是完美的但在语义上是错误的（比如你要蓝色的球，它却给了红色的球），PSDPO 会说：“等等，这个教训太令人困惑了，我们现在先不要学习这个。”它会对教训进行加权：对于那些既符合物理规律又符合故事内容的视频，给予全额认可；而对于那些虽然物理正确但搞砸了故事的视频，则降低其权重。

为了实现这一点，他们构建了一个特殊的“评委”系统，称为物理常识评估（Physical Commonsense Evaluation, PCE）。这个系统不仅仅是观察视频，它还会将场景分解为多个步骤，检查物理是否合理（例如：水是否向下流动？）以及故事是否匹配（例如：它真的是一杯水吗？）。他们发现，这种相对比较（视频 A 对比视频 B）比尝试单独对单个视频进行评分要可靠得多。

结果令人振奋。当他们测试这种新方法时，人工智能生成的视频在遵循物理定律方面比标准方法提高了多达 2 倍，同时还能完全按照用户的要求讲述故事。他们还发现，人工智能学习的顺序至关重要。如果过早地教授那些困难且令人困惑的教训，它就会迷失方向。但如果从清晰、简单的教训（即物理与故事一致的教训）开始，并在稍后才引入那些棘手的、冲突的教训，人工智能的学习速度会更快，且能保持不偏离轨道。

简而言之，这篇论文表明，通过对人工智能学习的教训进行更有选择性的筛选——并通过正确的顺序进行教学——我们可以创造出既能生成物理真实的视频，又能忠实于我们所讲述的故事的视频生成器。这是迈向人工智能理解“事物如何运动”以及“事物究竟是什么”的一步，确保在追求真实感的过程中，故事的魔力不会丢失。

技术摘要：用于文本生成视频的物理与语义直接偏好优化

1. 问题陈述

文本生成视频（T2V）模型已经取得了显著的视觉真实感，但经常违反基本的物理原理。虽然基于偏好的对齐方法（特别是直接偏好优化，DPO）已成为通过成对比较来提高物理合理性的有效途径，但它们引入了一个关键的失效模式：语义漂移（semantic drift）。

核心问题源于监督信号中的结构性不对称：

物理合理性（Physical Plausibility）： 通常通过相对比较进行评估（即判断两个视频中哪一个更符合物理定律）。这一过程本质上并不验证其中是否准确地描绘了提示词中的特定物体或场景。
语义一致性（Semantic Consistency）： 自然地被视为单样本评估（检查视频是否符合文本描述）。

标准的 DPO 假设物理上更优的样本同时也是语义有效的。然而，实证分析表明，在超过 50% 的物理偏好对中，被认为“物理上更好”的视频实际上违反了提示词的语义约束（例如，即使运动轨迹物理准确，但将柠檬片描绘成了完整的柠檬）。当标准 DPO 在这些“冲突对”上进行优化时，会驱动模型走向物理上合理但语义不一致的解，从而导致训练不稳定和文本-视频对齐能力的退化。

2. 方法论：PSDPO

作者提出了物理与语义直接偏好优化（PSDPO），这是一个将物理对齐视为约束优化问题的框架。PSDPO 完全在标准的 DPO 框架内运行，不需要辅助模型、额外的损失项或架构更改。

2.1 约束公式化

该方法将目标公式化为：在满足语义可行性约束的情况下最小化 DPO 损失；即物理上更优的视频（ $y_w$ ）必须保持大于或等于被拒绝视频（ $y_l$ ）的语义对齐得分（ $S_{sem}$ ）。
$\min_{\theta} L_{DPO}(\theta) \quad \text{s.t.} \quad S_{sem}(y_w, x) \geq S_{sem}(y_l, x)$

2.2 非对称调制

PSDPO 并没有采用硬性过滤掉违规对的方法（因为这会丢弃宝贵的物理监督信号），而是引入了一个平滑且严格正值的调制函数 $\mathcal{W}(\Delta S)$ ，其中 $\Delta S = S_{sem}(y_w, x) - S_{sem}(y_l, x)$ 。

匹配对（Match Pairs, $\Delta S \geq 0$ ）： 权重为 1.0，恢复标准 DPO 的行为。
冲突对（Conflict Pairs, $\Delta S < 0$ ）： 权重通过一个非对称指数函数进行衰减： $\mathcal{W}(\Delta S) = \exp(\Delta S / \tau)$ 。

这种机制按比例抑制了那些物理偏好与语义一致性发生冲突的样本对所产生的梯度贡献，其程度受温度参数 $\tau$ 控制。

2.3 梯度分析与漂移控制

梯度层面的分析表明，不受约束的 DPO 会由于冲突对的存在而引入系统性的方向偏差（漂移）。PSDPO 将这种漂移限制在一个可控的残差范围内。为了进一步减轻训练过程中的累积漂移，作者推导出了一个阶段性优化协议：

第一阶段： 仅在“匹配对”（ $D_{match}$ ）上进行训练，以建立一个零漂移累积的稳定偏好表示。
第二阶段： 引入带有调制权重的“冲突对”（ $D_{conf}$ ），以受控的方式提取残余的物理信号。

2.4 物理常识评估（PCE）系统

为了生成必要的偏好数据，作者开发了一个基于层次化推理流水线（使用 Qwen3-VL）的 PCE 系统。它结合了：

物理现象解析器（Physical Phenomena Parser）： 从文本中识别核心物理事件。
辅助几何指标： 使用 Depth Anything 和 RAFT 等工具估计流场强度（flow magnitude）和深度不稳定性。
层次化推理： 一个 MLLM 评判器，用于在不产生幻觉的情况下验证物理定律和指标，在相对物理合理性方面与人类判断的一致性达到 75.54%。

3. 核心贡献

识别结构性失效： 本文指出，物理-语义冲突是基于偏好的 T2V 对齐中的一种系统性倾向，而非仅仅是数据伪影，其根源在于依赖相对物理比较而缺乏语义保真度检查。
PSDPO 框架： 一种新型的约束偏好优化方法，通过调制机制将语义可行性集成到学习目标中，无需辅助模型。
理论保证： 通过梯度级分析证明了 PSDPO 能限制来自冲突对的语义漂移，并推导出了一个能有效减少累积漂移的阶段性协议。
PCE 系统： 一个鲁棒的物理偏好数据集构建系统，在与人类判断的一致性方面优于绝对评分法和独立的 MLLM。

4. 实验结果

实验在 VBench、VideoPhy-2 和 PhyGenBench 上针对 Wan-1.3B 模型进行。

物理合理性： 在 VideoPhy-2 上，PSDPO 的物理合理性比基线提升高达 2 倍（例如，将“困难”子集的得分从 0.039 提升至 0.078）。
语义一致性： 与会导致语义保真度下降的 Vanilla DPO 不同，PSDPO 在 VBench 上保持或提高了语义得分（总分：84.13 对比 Vanilla DPO 的 82.79）。
与 SOTA 对比： PSDPO 在多个基准测试中优于现有的基于偏好的方法（VideoDPO, PhysHPO, RDPO）以及专门的物理感知方法（PhysGen, PhyMAGIC），实现了物理真实感与语义对齐之间更好的平衡。
消融实验：
- 调制尺度 ( $\tau$ )： $\tau=0.02$ 提供了最佳平衡，在显著恢复语义遵循能力的同时保留了物理学习能力。
- 阶段性训练： 在 3k 总步数的调度中，切换步数（ $T_s$ ）设为 1000 步时效果最好，平衡了早期稳定性与后期的物理信号提取。

5. 意义与主张

本文主张，PSDPO 证明了原则性的公式化可以同时带来理论上的严谨性和实践上的简洁性。通过解决物理与语义监督之间的结构性不对称，该方法实现了比现有方法更可靠的平衡。

作者强调，其方法具有以下特点：

完全在标准的 DPO 框架内运行。
不需要辅助模型、额外的损失项或对基础架构进行更改。
不依赖于外部物理模拟器或推理过程中的思维链（CoT）推理（与某些竞争方法不同）。
成功解决了提高物理合理性与维持语义一致性之间的张力，这是生成具有物理依据的视频内容的关键一步。