💻 computer science

Lighting-grounded Video Generation with Renderer-based Agent Reasoning

本文提出了 LiVER 框架，通过引入大规模 3D 场景标注数据集、基于渲染的控制信号解耦机制以及将用户指令自动转化为 3D 控制信号的智能体，实现了在保持高保真度和时间一致性的同时，对视频生成中的布局、光照和相机轨迹等关键场景因素进行精确且解耦的可控生成。

原作者： Ziqi Cai, Taoyu Yang, Zheng Chang, Si Li, Han Jiang, Shuchen Weng, Boxin Shi

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ziqi Cai, Taoyu Yang, Zheng Chang, Si Li, Han Jiang, Shuchen Weng, Boxin Shi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位电影导演，想要用 AI 生成一段视频。以前的 AI 就像是一个**“凭感觉画画”的艺术家**：你给它一个指令“夕阳下的海边”，它确实能画出一张很美的图，但如果你说“让太阳慢慢落山，影子要变长”，它可能就会画错，或者让太阳突然瞬移，影子也不对劲。它不懂物理规律，光线和物体之间的关系是混乱的。

这篇论文提出的 LiVER，就是为了解决这个问题。它给 AI 装上了一个**“懂物理的灯光师”和一个“严谨的 3D 导演”**。

我们可以把 LiVER 的工作流程想象成拍摄一部好莱坞大片的三个步骤：

1. 第一步：组建“虚拟剧组” (Agent Reasoning)

以前，你直接给 AI 写剧本（文字提示），AI 就瞎猜怎么拍。
LiVER 不一样，它先派出一个**“智能导演助手” (Agent)**。

它的任务：当你输入“夕阳下的海边”时，这个助手不会直接开始画，而是先像个真正的导演一样思考：
- 场景搭建：海边有什么？沙滩、礁石、椰子树。它们摆在哪里？（布局）
- 灯光设计：夕阳是什么颜色的？光线从哪个角度照过来？影子有多长？（光照）
- 运镜规划：摄像机怎么动？是慢慢推进，还是绕着转圈？（相机轨迹）
成果：它不直接生成视频，而是先画出了一套**“施工图纸”**（3D 场景、光照地图、摄像机路径）。这就像在拍电影前，先搭好了一个精确的 3D 模型布景。

2. 第二步：制作“物理光效参考图” (Renderer-based Scene Proxy)

有了“施工图纸”后，LiVER 不会直接让 AI 去猜光影，而是用专业的3D 渲染引擎（就像 Blender 这种软件）先算一遍。

它做了什么：它根据刚才的图纸，生成了一组**“光效参考图”**。这组图非常特别，它把光线拆解成了三层：
1. 漫反射层：物体本身的颜色（比如沙滩是黄的）。
2. 粗糙层：物体表面粗糙的地方怎么反光（比如石头怎么漫反射）。
3. 高光层：物体光滑的地方怎么反光（比如水面或玻璃的反光）。
比喻：这就好比在拍电影前，灯光师先给每个物体贴上了**“反光贴纸”。AI 在生成视频时，不是靠猜“这里应该有光”，而是看着这些贴纸，“照着做”**。这样，光线打在玻璃杯上会有真实的反光，打在皮肤上会有柔和的阴影，完全符合物理规律。

3. 第三步：AI 演员“按图索骥” (Video Synthesis)

最后，真正的 AI 视频生成模型（大导演）登场了。

它的任务：它手里拿着刚才那套“光效参考图”和“施工图纸”。
怎么拍：它不再瞎猜了。它看着参考图，知道哪里该亮、哪里该暗、影子该往哪边倒。它只需要负责把画面画得**“像真的一样”（比如让海浪动起来，让树叶摇曳），而“光线和位置”**这些硬指标，完全由前面的图纸决定。
结果：生成的视频里，太阳移动时，影子会平滑地拉长；摄像机旋转时，物体的反光会自然地变化。一切都**“严丝合缝”**。

为什么这很厉害？（核心创新）

把“乱炖”变成了“分步走”：
以前的 AI 是把“光线”、“物体”、“摄像机”混在一起学，容易学糊涂。LiVER 把它们拆开：先算好物理光线，再让 AI 去画。就像学做菜，先准备好切好的菜和调好的料，厨师（AI）只需要负责炒，味道（物理效果）就不会出错。
造了一个“超级题库” (LiVERSet)：
为了让 AI 学会这些物理规律，作者们自己造了一个包含1.1 万条视频的数据库。
- 一部分是真实世界的视频（去分析真实的光影）。
- 一部分是电脑合成的视频（专门设计各种奇怪、复杂的光照场景，让 AI 见多识广）。
  这就好比让 AI 看了无数部“物理光学教科书”，它自然就懂了。
像玩游戏一样“可编辑”：
因为视频是基于 3D 图纸生成的，所以你可以随时修改。
- 觉得光线太暗？改一下“灯光图纸”，视频里的光线立马变亮，而且影子方向完全正确。
- 觉得摄像机角度不对？改一下“运镜图纸”，视频里的镜头就跟着变。
  这就像是在玩一个**“可无限重来的 3D 电影模拟器”**。

总结

简单来说，LiVER 就是给 AI 视频生成加了一个**“物理引擎”和“专业导演组”**。它不再让 AI 靠“猜”来生成光影，而是先算好物理规律，再让 AI 去执行。

这就好比以前 AI 画画是**“蒙眼摸象”，现在 LiVER 是“拿着蓝图施工”。生成的视频不仅画面漂亮，而且光影、影子、反光都符合物理常识**，真正做到了“所见即所得”，让普通人也能像专业电影人一样控制视频里的每一束光。

LiVER：基于渲染器代理推理的 grounded 视频生成技术总结

1. 研究背景与问题 (Problem)

尽管扩散模型在视频生成领域取得了显著进展，但其可控性仍是主要瓶颈。现有的数据驱动方法在处理复杂物理交互（如物体遮挡、动态场景中的光照变化）时存在困难，导致生成的视频在以下关键场景因素上往往纠缠不清或建模薄弱：

布局 (Layout)：物体空间关系难以精确控制。
光照 (Lighting)：缺乏物理准确的光照模拟（如阴影、反射、环境光遮蔽），导致材质（皮肤、金属、玻璃）表现不真实。
相机轨迹 (Camera Trajectory)：相机运动与场景内容往往不匹配。

现有的 3D 感知方法虽然提供了几何基础，但大多忽略了物理准确的光照计算（如考虑 BRDF 材质属性），导致生成的视频在真实材质表现上出现光照不匹配的问题。

2. 方法论 (Methodology)

论文提出了 LiVER (Lighting-grounded Video genERation)，这是一个基于扩散模型的框架，旨在通过显式的 3D 场景属性实现可控的视频生成。其核心流程分为三个主要部分：

2.1 基于渲染器的代理推理 (Renderer-based Agent Reasoning)

为了将高层用户指令转化为结构化的 3D 控制信号，作者设计了一个智能代理系统：

场景构建：解析文本描述，构建包含物体类别、材质属性和空间关系的场景图 (Scene Graph)，并从资产库检索 3D 网格。
光照设置：根据文本中的光照描述（如“温暖的氛围”），从 Poly Haven 库选择或生成 HDR 环境贴图。
相机规划：解析电影运镜提示（如“环绕”、“推拉”），生成平滑的相机轨迹。
代理渲染：利用 3D 引擎（Blender）将上述信息渲染为光照 grounded 的场景代理 (Scene Proxy)。该代理并非完整的 3D 模型，而是一组堆叠的 2D 渲染通道：
- Diffuse：漫反射通道（低频环境光）。
- Rough GGX：高粗糙度通道（中频漫反射/宽反射）。
- Glossy GGX：低粗糙度通道（高频镜面高光）。
- 这些通道共同编码了物理光照线索（材质响应、阴影、反射）。

2.2 光照 grounded 视频生成 (Lighting-grounded Video Generation)

骨干网络：基于预训练的 Wan2.2-5B 视频扩散模型。
条件注入：
- 代理编码器 (Proxy Encoder)：一个轻量级的 2D 卷积网络，将场景代理（9 通道输入）映射为紧凑的特征表示。
- 适配器 (Adapter)：将编码后的场景特征直接叠加到视频潜在空间 (Latent Space) 中，通过可学习的标量权重 $\alpha$ 逐步引导生成过程，确保在训练初期不破坏预训练模型的生成先验。
训练策略：采用三阶段训练方案以平衡控制力与生成质量：
1. 条件路径训练：冻结骨干网络，仅训练编码器和适配器，学习将代理转化为控制信号。
2. 联合 LoRA 微调：解冻骨干网络中的 LoRA 层，联合微调以优化语义对齐。
3. 光照多样性扩展：混合真实数据与合成数据，增强模型对多样化光照现象的适应能力。

2.3 数据集 (LiVERSet)

为了支持模型训练，作者构建了包含 1.1 万条视频的大规模数据集 LiVERSet：

LiVER-Real：真实世界视频，通过 VGGT、Grounding-DINO、SAM 2 和 DiffusionLight-Turbo 等工具重建 3D 几何和 HDR 环境贴图，并生成对应的场景代理。
LiVER-Syn：合成视频，基于 Objaverse-XL 资产和 Poly Haven 光照库，通过程序化生成动态光照变化（如旋转环境贴图），提供比真实数据更丰富的光照多样性。

3. 关键贡献 (Key Contributions)

首个物理光照 grounded 的视频生成框架：提出 LiVER，通过显式建模光照、布局和相机，实现了物理真实的光照效果（阴影、反射等）。
渲染器代理与解耦控制：设计了基于渲染器的代理系统，将文本转化为可编辑的 3D 场景代理（2D 渲染通道堆栈），实现了光照与场景结构的解耦控制。
大规模光照感知数据集：构建了 LiVERSet，包含真实与合成数据，提供了密集的物理属性标注（几何、光照、相机、文本）。
三阶段训练策略：提出了一种渐进式训练方案，有效解决了在保持基础模型视觉质量的同时引入复杂物理控制信号的难题。

4. 实验结果 (Results)

定量评估：在 LiVER-Real 测试集上，LiVER 在 Fréchet Video Distance (FVD)、Fréchet Inception Distance (FID) 和 CLIP 分数上均优于 SOTA 方法（如 CameraCtrl, MotionCtrl, VideoFrom3D）。
控制精度：在相机姿态误差 (ATE, RPE)、光照误差 (Lighting Error) 和布局保持 (mIoU) 方面表现最佳，证明了其对场景因素的高精度控制能力。
定性评估：生成的视频在光照真实性、材质表现（如金属反光、玻璃折射）以及相机运动的一致性上显著优于基线模型。
用户研究：在视频质量、场景控制、相机控制和光照控制四个维度上，LiVER 的偏好率均超过 59%，在视频质量和场景控制上更是高达 83% 以上。
消融实验：证明了合成数据（LiVER-Syn）对于学习多样化光照至关重要，且三阶段训练策略比端到端训练更能保证收敛稳定性和生成质量。

5. 意义与影响 (Significance)

填补物理真实性的空白：LiVER 解决了现有视频生成模型在物理光照模拟（特别是复杂材质反射和阴影）方面的不足，为电影制作、虚拟制片等需要高保真物理效果的领域提供了新工具。
提升可控性与可编辑性：通过引入“场景代理”作为中间表示，用户不仅可以输入文本，还可以利用标准 3D 软件对生成的代理进行编辑（移动物体、调整光照、修改相机路径），实现了自动化与人工创意的灵活结合。
推动生成式 AI 向物理世界迈进：该方法展示了如何将物理渲染引擎与生成式扩散模型有效结合，为未来构建完全符合物理规律的沉浸式内容生成系统奠定了基础。

总结：LiVER 通过引入基于渲染器的代理推理机制和物理光照感知的训练数据，成功实现了视频生成中光照、布局和相机的解耦与精确控制，显著提升了生成内容的物理真实性和可控性，是可控视频生成领域的一项重要突破。