💻 computer science

Unified Camera Positional Encoding for Controlled Video Generation

该论文提出了统一相机位置编码（UCPE），通过引入相对射线编码和绝对方向编码，在仅增加不到 1% 可训练参数的情况下，使预训练视频扩散 Transformer 能够处理包括镜头畸变在内的完整相机几何信息，从而实现了具有最先进水平的相机可控视频生成。

原作者： Cheng Zhang, Boying Li, Meng Wei, Yan-Pei Cao, Camilo Cruz Gambardella, Dinh Phung, Jianfei Cai

发布于 2026-03-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Cheng Zhang, Boying Li, Meng Wei, Yan-Pei Cao, Camilo Cruz Gambardella, Dinh Phung, Jianfei Cai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 UCPE（统一相机位置编码）的新技术，它能让 AI 生成的视频像专业摄影师一样，精准地控制“怎么拍”、“用什么镜头”以及“相机怎么动”。

为了让你更容易理解，我们可以把AI 视频生成想象成让一个从未见过世界的“天才画师”在画画，而这篇论文就是给这位画师配备的一套超级智能的“导演指挥系统”。

以下是用通俗语言和比喻做的详细解读：

1. 以前的痛点：画师只会用“标准镜头”

在 UCPE 出现之前，AI 生成视频就像是一个只会用普通手机摄像头（针孔相机模型）的画师。

问题一：不懂“广角”和“鱼眼”。如果你让 AI 画一个“用鱼眼镜头拍的游乐园”，以前的 AI 要么画不出来，要么画出来的东西很扭曲，因为它不懂鱼眼镜头那种“中间凸出、四周弯曲”的魔法。它只懂平直的视角。
问题二：不懂“上下左右”的绝对方向。如果你让 AI 拍一个“翻滚的过山车”，以前的 AI 可能会画得头脚颠倒，或者不知道哪边是“上”。因为它没有“重力”的概念，不知道世界是上下有别的。
问题三：只能“相对”看世界。以前的 AI 只知道“相机相对于上一帧动了多少”，但不知道相机在地球上的绝对朝向。

2. UCPE 的解决方案：给画师戴上"3D 眼镜”和“指南针”

UCPE 的核心思想是不再把相机当成一个黑盒子，而是把每一帧画面都拆解成无数条“光线”。

A. 相对光线编码 (Relative Ray Encoding) —— “光线翻译官”

比喻：以前的 AI 看世界是看“照片”，UCPE 让 AI 看世界是看“从眼睛里射出的无数条激光”。
作用：不管你是用普通的手机镜头、超广角镜头，还是那种能把世界拍成圆球的鱼眼镜头，UCPE 都能把这些不同镜头的“光线”翻译成 AI 能听懂的统一语言。
效果：现在，你可以对 AI 说：“请用鱼眼镜头（xFoV=180°）拍一只猫”，AI 就能精准地画出那种边缘弯曲、视野极广的逼真效果，而不是画成平直的图。

B. 绝对方向编码 (Absolute Orientation Encoding) —— “重力指南针”

比喻：以前的画师在太空中画画，不知道哪边是地心引力方向。UCPE 给画师装了一个**“重力指南针”**（Lat-Up Map）。
作用：它告诉 AI：“天空在上面，地面在下面”。
效果：当你要求 AI 生成“相机翻滚”或“侧着飞”的视频时，AI 能准确知道天空应该转到哪里，地面应该转到哪里，不会出现“天旋地转”让人晕倒的错误画面。

3. 技术亮点：轻量级“外挂”

比喻：想象一下，你有一个已经练了很久的“大师级画师”（预训练的 AI 模型）。以前要教他新技能，得把他从头到尾重新训练一遍，既费时又费钱。
UCPE 的做法：它不需要重练大师，而是给大师戴了一副**“智能眼镜”**（轻量级注意力适配器）。
优势：这副眼镜非常轻，只增加了不到 1% 的参数（相当于给大象加了一根羽毛的重量），但戴上后，大师立刻就能听懂复杂的镜头指令，画出各种视角的视频。

4. 训练数据：给 AI 造了一个“万能摄影棚”

为了让 AI 学会这些技能，作者们没有去到处找现成的视频（因为很难找到涵盖所有镜头类型的视频），而是自己造了一个巨大的虚拟摄影棚。

方法：他们收集了 360 度的全景视频，然后用数学公式模拟出各种奇怪的镜头（从普通镜头到极端的鱼眼镜头），并让虚拟相机在里面乱飞、翻滚。
结果：AI 在这个“万能摄影棚”里训练了 4.8 万个片段，学会了如何处理各种刁钻的拍摄角度和镜头畸变。

5. 实际应用：它能做什么？

这项技术不仅仅是为了好玩，它在很多领域都有大用处：

自动驾驶模拟：可以生成各种极端天气、各种车载摄像头（包括鱼眼雷达）视角的视频，用来训练自动驾驶汽车，让车学会识别各种路况。
机器人视觉：让机器人学会像人一样，用不同的视角（比如低头看脚、抬头看天）去理解世界。
电影创作：导演可以直接输入文字：“用鱼眼镜头，从低角度快速推进，拍摄一只在花园里睡觉的狗”，AI 就能直接生成符合物理规律的镜头语言，而不需要真人摄影师去扛机器。

总结

UCPE 就像是为 AI 视频生成装上了“物理引擎”和“导演思维”。
它让 AI 不再只是盲目地拼凑像素，而是真正理解了相机是怎么工作的、光线是怎么弯曲的、重力是怎么起作用的。这使得 AI 生成的视频不仅看起来更真实，而且能精准地听从人类关于“怎么拍”的复杂指令。

论文技术总结：Unified Camera Positional Encoding for Controlled Video Generation (UCPE)

1. 研究背景与问题 (Problem)

随着 Transformer 在 3D 感知、视频生成及自动驾驶/具身智能的世界模型中成为核心骨干，理解相机几何结构（Camera Geometry）对于将视觉观测锚定在三维空间中至关重要。然而，现有的相机控制视频生成方法存在以下主要局限性：

针孔假设的局限性：大多数现有方法（如 CameraCtrl, ReCamMaster 等）依赖于简化的针孔相机模型（Pinhole Model）。这导致它们无法有效处理现实世界中广泛使用的鱼眼、全景（360°）或反射镜相机，这些相机具有高度非线性的投影和强烈的镜头畸变。
编码方式的不足：
- 绝对编码（Absolute Encoding）：直接输入相机参数或使用普吕克（Plücker）坐标，这些方法对世界坐标系的选择敏感，泛化能力差。
- 相对编码（Relative Encoding）：如 GTA 或 PRoPE，虽然改进了多视图一致性，但通常仍局限于针孔投影，难以兼容预训练的视频扩散模型，且无法处理镜头畸变。
姿态定义的歧义性：现有 Text-to-Video (T2V) 方法通常仅定义相对于第一帧的相机姿态，导致绝对朝向（Absolute Orientation，即俯仰角 Pitch 和翻滚角 Roll）模糊，无法精确控制初始视角的“向上”方向。
缺乏统一表示：缺乏一种能够统一编码外参（6-DoF 姿态）、内参（焦距）和镜头畸变的通用表示方法，限制了模型在不同相机配置下的泛化能力。

2. 核心方法论 (Methodology)

作者提出了 **UCPE **(Unified Camera Positional Encoding)，一个统一的相机位置编码框架，旨在将完整的相机几何信息注入到 Transformer 的注意力机制中。

2.1 相对射线编码 (Relative Ray Encoding, RRE)

这是 UCPE 的核心创新，旨在解决非线性投影和畸变问题：

从“相机级”到“射线级”：传统方法将整张图像视为一个刚性实体进行编码。RRE 将编码粒度细化到每个图像 Token 对应的视线（Ray）。
局部射线坐标系：对于每个 Token，构建一个以相机中心为原点的局部射线坐标系。该坐标系的 Z 轴为视线方向，X/Y 轴根据相机的“向下”方向确定。
几何变换：通过定义从世界坐标到局部射线坐标的变换矩阵 $T^{rw}_t$ ，将 Token 特征映射到射线空间。这使得注意力机制能够在射线空间（Ray Space）直接进行几何推理，而非在相机层面。
优势：这种表示天然兼容任意相机模型（包括鱼眼、全景），能够精确建模空间变化的投影行为（如镜头畸变），实现了模型无关的几何一致性。

2.2 绝对朝向编码 (Absolute Orientation Encoding, AOE)

为了解决初始视角朝向模糊的问题：

重力对齐：引入“纬度 - 向上”图（Lat-Up Map），将相机与重力定义的“向上”方向对齐。
Lat-Up Map 构成：
- **纬度图 **(Latitude Map)：编码每条射线相对于水平面的仰角。
- **向上图 **(Up Map)：通过在世界空间中对射线施加微小的“向上”扰动，计算其在图像平面上的位移向量。
作用：显式提供绝对 Pitch 和 Roll 角度信息，使模型能够精确控制和复现初始视角的绝对朝向，同时为广角镜头提供畸变感知线索。

2.3 空间注意力适配器 (Spatial Attention Adapter)

为了将 UCPE 高效集成到预训练的 Diffusion Transformer（如 Wan）中：

轻量级注入：设计了一个并行的轻量级分支，在自注意力层中注入 UCPE 编码。
参数效率：通过压缩 Token 维度（如 1/8 压缩）和零初始化线性层，仅增加**不到 1%**的可训练参数（约 35.5M，相对于 7.3B 基座模型），即可实现相机感知，同时保留预训练模型的视觉保真度。
混合编码：将相对射线编码与 RoPE（旋转位置编码）结合，同时支持射线空间推理和图像空间推理。

3. 关键贡献 (Key Contributions)

UCPE 框架：提出了首个统一编码 6-DoF 姿态、内参和镜头畸变的框架，结合了相对射线编码（处理非线性投影）和绝对朝向编码（处理重力对齐）。
高效适配器：开发了一种轻量级的注意力注入方法，仅需微调极少量参数即可让预训练视频扩散模型具备精确的相机控制能力。
大规模数据集构建：构建了一个包含约 4.8 万条视频片段的大规模合成数据集，覆盖了从针孔到极端鱼眼的多种内参、畸变曲线和相机运动轨迹，填补了现有基准的空白。
SOTA 性能：实验证明 UCPE 在镜头控制、朝向精度和姿态保真度上均优于现有方法，且具备极强的泛化能力（在未见过的 RealEstate10K 数据集上无需微调即可表现优异）。

4. 实验结果 (Results)

定量评估：
- 在合成数据集上，UCPE 在镜头控制（FoV、畸变系数 $k_1, k_2$ ）、绝对朝向（Pitch/Roll 误差）和相对姿态（旋转/平移误差）上均显著优于 ReCamMaster、Wan CameraCtrl 等基线。
- 在 RealEstate10K 数据集上（未进行微调），UCPE 在相对姿态控制指标（RotErr, TransErr, CamMC）上达到最佳，且视频质量（Q-Align 分数）优于 CameraCtrl 和 AC3D。
定性评估：
- 镜头畸变：UCPE 能准确生成鱼眼、广角等镜头的畸变效果，而基线方法往往无法复现或产生伪影。
- 运动一致性：生成的视频能严格遵循指定的相机轨迹，且画面稳定。
- 绝对朝向：能够精确控制初始视角的翻滚和俯仰，解决了传统方法中视角“漂浮”的问题。
泛化性：UCPE 能够泛化到训练集中未见的相机模型（如 Brown-Conrady 模型），只需在推理时替换射线映射函数即可。

5. 意义与影响 (Significance)

统一了相机表示：UCPE 打破了针孔模型的束缚，为 Transformer 提供了一种通用的、几何一致的相机表示方法，使其能够处理从针孔到全景鱼眼的各种真实相机几何。
推动世界模型发展：精确的相机几何控制是构建高质量世界模型（World Models）的关键，UCPE 为自动驾驶、具身智能等领域的视频生成和模拟提供了更物理真实的工具。
高效微调范式：证明了通过极少量的参数调整（<1%），即可赋予大型预训练视频模型复杂的几何控制能力，为未来的可控生成研究提供了高效的范式。
应用广泛：不仅适用于 T2V 生成，还可扩展至 I2V（图像转视频）和 V2V（视频转视频）任务，支持电影级内容创作、自动驾驶仿真等场景。

总结：UCPE 通过引入“相对射线编码”和“绝对朝向编码”，成功解决了视频生成中相机几何控制不统一、不精确的问题，实现了在极低参数成本下对复杂镜头和姿态的精准控制，是视频生成领域向物理真实世界迈进的重要一步。