💻 computer science

Epipolar Geometry Improves Video Generation Models

本文证明，通过基于偏好的优化集成经典对极几何约束，可以显著增强现代视频扩散模型的几何一致性和运动稳定性，在不损害视觉质量的前提下，将对极误差降低了31%，并将人类评分的一致性提升至72%。

原作者： Orest Kupyn, Théo Uscidda, Marta Tintore Gazulla, Fabian Manhardt, Federico Tombari, Christian Rupprecht

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Orest Kupyn, Théo Uscidda, Marta Tintore Gazulla, Fabian Manhardt, Federico Tombari, Christian Rupprecht

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常有才华但有点笨拙的艺术家。这位艺术家可以根据你的描述，画出美丽且动人的画面（视频）。他知道如何画一辆汽车、一棵树或一个人。但当他尝试让摄像机围绕这些物体移动时，情况就变得奇怪了。汽车可能会突然像拉面一样被拉长，背景可能会扭曲，或者摄像机的抖动方式在物理上显得完全不可能。这位艺术家知道事物“看起来”是什么样的，但他并不太理解 3D 空间运作的“规则”。

这篇论文介绍了一种方法，教给这位艺术家关于 3D 空间的“交通规则”，使用的是一套非常古老且可靠的指令，叫做极线几何学（Epipolar Geometry）。

以下是他们做法的简单拆解：

1. 问题所在：“摇晃的摄像机”

尽管现代 AI 视频模型已经接受了数百万个视频的训练，但它们仍然在 3D 一致性方面存在困难。

问题： 如果你观看一段摄像机移动的视频，场景中的物体应该相对于彼此以一种可预测的、数学化的方式移动。如果它们没有这样做，视频看起来就会显得虚假、有故障感，或者呈现出一种糟糕的“梦幻感”。
类比： 想象你在看一部电影，演员们在舞台上行走，但舞台地板却像水面一样起伏。这破坏了你正在观看一个真实场所的错觉。

2. 解决方案：“老派的直尺”

研究人员并没有试图从头开始教 AI 一种全新的、复杂的 3D 空间理解方式，而是使用了一个来自 1980 年代的经典工具——极线几何学。

它是什么？ 可以把它看作是一套严格的几何规则手册。如果你从不同的角度拍摄同一个场景的两张照片，任何匹配的点都必须遵循一条数学上的直线（即“极线”）。
隐喻： 想象你正在玩一个由两张不同照片组成的“连点成线”游戏。如果这些点没有根据透视的严格规则对齐，那么这张画就是破碎的。这篇论文就是利用这种严格的规则手册作为一名裁判。

3. 方法论：“择优录取，忽略其余”

研究人员并没有试图强迫 AI 直接学习数学（因为这很难，因为数学是“不可微的”，这意味着这就像是试图仅通过软件代码来教计算机理解一把物理直尺）。相反，他们使用了一种叫做**偏好优化（Preference Optimization）**的技术。

以下是训练循环的工作原理：

提示词： 他们给 AI 一个提示词（例如，“摄像机飞越城市”）。
批次： AI 为同一个提示词生成了三个不同的视频。
裁判： 他们通过“老派的直尺”（极线几何检查）对视频进行检测。
- 视频 A：摄像机移动平滑，建筑物保持刚性。（通过测试）。
- 视频 B：建筑物扭曲，摄像机抖动。（未通过测试）。
教训： AI 被告知：“你在视频 A 上的表现比视频 B 好。记住那种感觉。”
结果： 随着时间的推移，AI 学会了生成更多像 A 那样的视频，并减少像 B 那样的视频，仅仅是通过尝试去满足几何规则。

4. 棘手之处：静态 vs 动态

这里有一个陷阱。当摄像机移动而物体保持静止（如城市景观）时，几何规则运作得非常完美。但如果视频中有跑动的狗或飞行的鸟怎么办？由于狗在自主移动，规则就会变得混乱。

为了解决这个问题，研究人员使用了一个聪明的技巧：

训练： 他们只在摄像机移动但世界保持静止的视频上训练 AI。
魔力： 尽管他们只教授了关于静态世界的知识，但 AI 还是学会了摄像机应该如何移动的通用原则。当他们把这个 AI 用于有移动物体（如人在奔跑）的视频时，AI 仍然能应用那些平滑、稳定的摄像机规则。
类比： 这就像是在一条笔直、空旷的高速公路上教一个人如何完美驾驶。当你在车流中放入他们时，他们仍然知道如何平稳地转向，因为他们学到的是转向的基本技能，而不只是如何避开其他车辆。

5. 结果：更平滑、更真实、更好

论文声称，通过使用这些简单的几何规则而不是复杂的、基于“人类感知”的分数，他们得到了更好的结果：

更少闪烁： “摇晃”的伪影显著减少。
更好的 3D 感： 视频看起来更像真实的 3D 空间。
人类认可： 当人类观看这些视频时，他们更喜欢新版本（一致性为 72%），而旧版本（一致性仅为 54%）。
没有丧失创造力： AI 并没有停止制作酷炫的视频；它只是让视频在物理上更加合理。

总结

这篇论文的核心观点是：“不要重新发明轮子。”
现代 AI 擅长从数据中学习模式，但有时会忘记基本的物理和几何定律。通过在训练过程中加入一个简单的、具有数学严密性的“裁判”（极线几何学），AI 学会了生成不仅漂亮，而且在几何上稳定且真实的视频，而无需从头学习复杂的 3D 重建。

技术摘要：极线几何提升视频生成模型

问题陈述

现代视频生成模型，特别是基于潜在扩散 Transformer 并采用流向整流（rectified flow）技术训练的模型，在根据文本和图像条件生成逼真内容方面取得了显著进展。然而，这些模型在基本的几何一致性、运动稳定性以及破坏逼真 3D 场景幻觉的视觉伪影方面仍面临困难。尽管这些模型是在本质上具有 3D 一致性的海量数据集上进行训练的，但它们未能捕捉到基本的几何原理，经常产生几何结构不完善和透视缺陷的内容。

现有的增强 3D 一致性的方法面临以下局限性：

噪声优化： 依赖于噪声优化或通过点云进行显式引导的方法会限制生成能力。
潜在空间优化： 在潜在空间中计算直接的几何损失非常困难。
主观对齐： 使用人类偏好数据（例如通过强化学习）进行的后训练对齐会引入噪声信号，收集成本高昂，并且可能无法捕捉到实现 3D 一致性所需的客观几何原理。人类的判断本质上是主观的，并不一定符合数学上的几何约束。

方法论

作者提出了一种将现代视频扩散模型与经典计算机视觉算法相结合的方法。该方法并非在生成过程中引入显式的 3D 引导，也不依赖于主观的人类注释，而是使用成熟的、不可微的几何约束作为偏好优化框架中的奖励信号。

核心方法：极线几何优化

该方法利用**极线几何（epipolar geometry）**来评估视频帧之间的 3D 一致性。其核心逻辑如下：

采样： 在相同的提示词条件下生成多个视频，从而产生具有不同几何连贯程度的多样化相机轨迹。
指标计算： 对于帧对，建立点对应关系（使用 SIFT 或学习到的描述符）。通过 RANSAC 估计基础矩阵（fundamental matrix），并计算 Sampson 误差。该误差量化了对应点满足极线约束（ $x'^\top F x = 0$ ）的程度。较低的 Sampson 误差表示对投影几何的遵循度更高，且 3D 一致性更好。
偏好构建： 根据平均 Sampson 误差对同一提示词生成的视频进行排序。误差较低的视频被指定为优选样本 ( $x_w$ )，误差较高的为次优样本 ( $x_l$ )。
优化 (Flow-DPO)： 使用针对流向整流模型适配的直接偏好优化 (Direct Preference Optimization, DPO) —— 即 Flow-DPO 对模型进行微调。该目标函数仅需要成对的偏好，而不需要绝对的奖励值，从而绕过了需要可微奖励函数的问题。损失函数旨在最小化优选样本相对于次优样本的速率预测误差，并受极线指标的引导。

解决关键挑战

论文识别并解决了两个主要挑战：

运动-一致性权衡： 模型理论上可以通过生成静态视频（重复单个帧）来实现完美的 3D 一致性。为了防止这种退化解，我们在目标函数中添加了一个时间变化惩罚项 ( $L_{temp}$ )。该项会对时间维度上的低方差进行惩罚，从而在提高一致性的同时鼓励模型保持运动。
对动态场景的泛化： 极线约束假设场景是静态的且仅有相机运动；动态物体会违反这一假设。为了确保模型在处理动态内容时仍能保持泛化能力，尽管其是在静态场景上训练的，我们采取了以下措施：
- 低秩自适应 (LoRA)： 仅微调低秩适配器，以保留基础模型的多种动态内容生成能力。
- 隐式 KL 散度： Flow-DPO 目标函数自然地使微调后的模型保持在参考分布附近，防止过拟合到静态场景特征。
- 自适应时间步权重： 损失函数按时间步进行加权，在编码通用场景运动的早期步骤分配较低权重，在生成精细空间细节（以及潜在几何违规）的后期步骤分配较高权重。

核心贡献

极线几何优化： 引入了一种使用极线几何约束（具体为 Sampson 距离）作为奖励信号来微调视频扩散模型的方法。这种方法无需端到端可微性或显式的 3D 监督，即可实现 3D 一致性。
对齐挑战分析： 论文分析了运动与一致性之间的权衡以及向动态场景泛化的挑战。提出了简单的、高效的解决方案（时间惩罚、LoRA、KL 正则化和自适应权重）来应对这些问题。
全面的评估框架： 作者开发了一套广泛的评估协议，衡量感知质量、3D 一致性、运动稳定性和泛化能力。他们发布了一个包含 162,000 个带有几何一致性标注的生成视频数据集，以促进进一步研究。
展示了经典计算机视觉的效用： 该工作证明了基础的几何约束（Sampson, 1982）可以恢复大规模数据驱动模型未能学习到的能力，架起了数据驱动学习与经典计算机视觉之间的桥梁。

结果

所提方法在 Wan-2.1（1.3B 参数）模型上进行了评估，并与基线模型及其他对齐策略进行了对比。

3D 一致性： 经过极线对齐的模型将 Sampson 误差降低了 31%（从 0.190 降至 0.131）。在 3D 场景重建（通过高斯泼溅/Gaussian Splatting）方面，PSNR 提升了 3.6%，SSIM 提升了 3.2%。
人类评估： 人类评分者将 71.8% 的对齐模型视频标记为几何一致，相比基线模型的 54.1% 有显著提升。在成对比较中，对于不一致的内容，对齐模型在 60.4% 的情况下优于基线模型，同时保留了已一致内容的质量。
运动质量： 该模型在人类偏好运动质量方面获得了 53.2% 的胜率，表明运动更加稳定且抖动减少，尽管动态程度略有下降（作者认为这是为了稳定性而进行的必要权衡）。
视觉质量： 该方法提升了美学质量和背景一致性得分。在 VideoReward 视觉质量评估中，它达到了 72.0% 的胜率。
泛化能力： 尽管仅在具有动态相机的静态场景上进行训练，该模型仍能有效地泛化到动态场景（VBench 2.0, MiraData, VideoReward 基准测试），分别取得了 57.9%、58.5% 和 58.5% 的胜率。
与其他方案对比： 该方法优于在多视图数据集上的监督微调以及其他对齐方法（如 Flow-RWR, DRO），后者要么过拟合于特定数据集，要么无法从一致与不一致轨迹之间的差距中学习。

意义

本文声称，与现代学习度量（如来自 VLM 或人类注释的度量，这些度量可能存在噪声或主观性）相比，经典的几何约束提供了更稳定、更可靠的优化信号。通过利用偏好优化将模型与基本几何原理对齐，作者证明了可以在不牺牲创造性灵活性或不需要显式 3D 监督的情况下，显著提高视频生成模型的 3D 一致性和运动稳定性。这项工作强调，简单的、有数学依据的约束可以有效地补充深度学习，解决纯数据驱动方法固有的局限性。