Taming Video Models for 3D and 4D Generation via Zero-Shot Camera Control

本文提出了名为 WorldForge 的无需训练框架，通过步内细化、光流通道解耦及双路径引导策略，在推理阶段实现了对视频生成模型的精确相机控制，从而在无需微调的情况下解决了时空不一致问题并实现了高质量的零样本 3D/4D 生成。

要点

这篇论文介绍了一个名为 WorldForge 的新工具。简单来说，它是一个能让现有的“视频生成 AI"变得听话、能精准控制镜头的“魔法指挥棒”。

为了让你更容易理解，我们可以把现在的视频生成 AI 想象成一位才华横溢但有点“疯癫”的画家。

1. 现状：天才画家的烦恼

这位画家（现有的视频扩散模型）脑子里装满了全世界的知识，画出来的东西非常逼真。但是，如果你让他画“镜头绕着一个人转一圈”，他往往画不好：

• 不听指挥：你让他往左转，他可能往右转，或者画着画着人变形了。
• 时空错乱：画到一半，背景里的树突然消失了，或者人的脸变得扭曲。
• 动景不分：他想让镜头动，结果把画面里的人也跟着“甩”变形了。

以前的解决办法要么是把画家关起来重新训练（微调），这既费钱又容易让他忘了原本的知识；要么是画完后再用软件强行把画面“扭”成你想要的样子（后期修补），但这往往会产生很多奇怪的噪点和裂痕。

2. 解决方案：WorldForge（世界锻造者）

WorldForge 不需要重新训练画家，它是在画家画画的过程中（推理阶段），通过三个巧妙的步骤来“引导”他，让他既听话又画得好。

第一步：步步为营的“纠错 loop" (Intra-Step Recursive Refinement)

• 比喻：想象画家在画每一笔的时候，你手里拿着一张标准的参考图。
• 做法：在画家刚画完一笔（去噪过程），你立刻把画里“应该看到”的部分（比如参考图里的背景）覆盖上去，告诉画家：“这里必须长这样，不能乱画”。
• 效果：这就像是一个实时的 GPS 导航，每走一步都纠正一次方向，确保镜头的轨迹（比如绕圈、推拉）严格符合你的要求，不会跑偏。

第二步：给画面“分门别类” (Flow-Gated Latent Fusion)

• 比喻：画家的画布其实是由很多层“透明胶片”叠起来的。有些胶片专门负责画物体的样子（颜色、纹理），有些胶片专门负责画物体的运动（怎么动、往哪动）。
• 问题：以前如果强行修改，可能会把“物体的样子”也改坏了，导致人长得像外星人。
• 做法：WorldForge 会先分析哪层胶片在负责“运动”，哪层在负责“长相”。它只修改负责“运动”的那几层胶片，而把负责“长相”的胶片原封不动地保留下来。
• 效果：这就像只指挥交通，不指挥汽车的颜色。镜头可以随意旋转、移动，但画面里的人脸、衣服纹理依然清晰自然，不会变形。

第三步：双路并行的“自我修正” (Dual-Path Self-Corrective Guidance)

• 比喻：想象画家在画画时，脑子里有两个声音：
  1. 自由派声音：“我想怎么画就怎么画，画得最漂亮，但可能不听话。”
  2. 指令派声音：“必须按我说的路线画，但可能画得有点歪歪扭扭。”
• 做法：WorldForge 让画家同时听这两个声音。它把“指令派”画出的路线，和“自由派”画出的漂亮画面进行对比。如果“指令派”画得太丑（有噪点），它就悄悄把“自由派”的漂亮细节补进去；如果“自由派”跑偏了，就用“指令派”把它拉回来。
• 效果：这就像是一个高明的编辑，既保留了画面的艺术美感，又确保了镜头运动的精准度，消除了因为强行修改带来的画面瑕疵。

3. 这个工具能干什么？

因为不需要重新训练，WorldForge 就像一个万能插件，可以插在任何现有的视频 AI 模型上：

• 单图变 3D 视频：给一张照片，让它变成可以 360 度环绕观看的 3D 场景。
• 视频重拍：给一段视频，告诉 AI“把镜头拉近”或者“绕着主角转”，AI 就能生成全新的视角，而不用重新拍摄。
• 视频编辑：可以像变魔术一样，把视频里的物体移走、换掉，或者让镜头稳定下来。

总结

WorldForge 就像给那些“才华横溢但有点任性”的视频 AI 画家，配了一位懂艺术又懂指挥的导演。它不需要把画家重新培养一遍，而是通过巧妙的“实时导航”、“分路指挥”和“自我修正”，让 AI 在保持高质量画质的同时，精准地按照你的想法去运镜。

这就意味着，未来我们只需要输入一段文字或一张图片，就能轻松生成好莱坞级别的、镜头运动精准的 3D 和 4D 视频，而且成本更低、速度更快。

技术摘要

这篇论文提出了一种名为 WorldForge 的创新框架，旨在解决视频扩散模型（Video Diffusion Models, VDMs）在 3D 和 4D 生成任务中面临的控制力差、时空不一致以及场景与相机运动纠缠等问题。WorldForge 是一个**完全无需训练（Training-free）**的推理时引导框架，能够利用预训练视频模型的丰富先验知识，实现精确的零样本（Zero-Shot）相机轨迹控制。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

尽管视频扩散模型在空间智能任务（如 3D/4D 理解、重建和生成）中表现出色，但在实际应用中存在以下核心瓶颈：

• 控制力不足：难以遵循精确的 6-DoF 相机轨迹，导致新视角合成或轨迹控制任务中的空间一致性差。
• 时空不一致：场景内容与相机运动纠缠（Entanglement），改变视角时往往导致物体变形或场景不稳定。
• 现有方法的局限性：
  • 微调（Fine-tuning）：计算成本高，泛化能力差，且可能破坏预训练模型的先验知识。
  • 后处理扭曲与重绘（Warping-and-repainting）：虽然灵活，但直接对预训练模型输入扭曲后的帧（Out-of-Distribution, OOD）会导致伪影、几何破碎和幻觉运动。

2. 核心方法论 (Methodology)

WorldForge 提出了一种统一的推理时引导范式，通过三个协同组件解决上述问题，无需对模型进行任何重新训练或微调。其核心流程基于“扭曲 - 重绘”（Warp-and-Repaint）管线，但在推理过程中引入了精细的引导机制：

A. 步骤内递归细化 (Intra-Step Recursive Refinement, IRR)

• 目的：确保生成内容严格遵循目标轨迹。
• 机制：在去噪过程的每一步（timestep）中，引入一个微型的“预测 - 校正”循环。
  • 在生成中间变量 $\hat{x}_0$ 后，利用基于深度图渲染得到的目标轨迹潜在变量（$x_{traj}$）和掩码（Mask），将可观测区域的预测内容替换为对应的地面真值（GT）观测内容。
  • 随后对融合后的潜在变量重新加噪（Re-noise），使其重新进入去噪调度。
• 作用：在每一步都注入轨迹控制信号，实现细粒度的轨迹对齐。

B. 流门控潜在融合 (Flow-Gated Latent Fusion, FLF)

• 目的：解耦运动（Motion）与外观（Appearance），防止在注入轨迹信号时破坏视觉细节。
• 发现：VAE 编码的潜在空间（Latent Space）中，不同通道编码的信息不同，部分通道主要编码运动，部分编码外观。直接覆盖所有通道会损害画质。
• 机制：
  • 利用**光流（Optical Flow）**相似度作为评分标准，计算每个通道在目标轨迹下的运动相关性。
  • 根据动态阈值，仅选择与运动高度相关的通道注入轨迹信息，保留外观相关通道不变。
  • 采用“由松到紧”的策略：早期步骤（结构生成）使用所有通道，后期步骤（细节生成）仅使用高运动相关性通道。
• 作用：在保持模型先验和视觉保真度的同时，实现精确的视角操纵。

C. 双路径自校正引导 (Dual-Path Self-Corrective Guidance, DSG)

• 目的：解决基于扭曲的渲染引入的噪声和伪影，平衡控制力与生成质量。
• 机制：受 Classifier-Free Guidance (CFG) 启发，但在推理时并行运行两条路径：
  1. 无引导路径：依赖模型先验，生成高质量但无轨迹控制的结果。
  2. 有引导路径：遵循扭曲轨迹，确保控制但可能引入伪影。
  • DSG 计算两条路径速度场（Velocity Fields）的差异。由于轨迹引导导致的路径角度差异远大于传统 CFG 中的提示词差异，作者提出了一种自适应余弦加权策略。
  • 仅提取“好方向”（引导路径）中垂直于“坏方向”（无引导路径）的分量进行校正，避免大角度差异带来的严重伪影。
• 作用：自适应地抑制由扭曲轨迹引起的伪影，同时维持相机控制，提升整体结构和视觉质量。

3. 主要贡献 (Key Contributions)

1. WorldForge 框架：首个完全无需训练的 3D/4D 轨迹控制范式，利用预训练 VDM 先验，实现了精确且稳定的轨迹控制。
2. 协同推理引导机制：
   • IRR：实现细粒度的轨迹注入。
   • FLF：通过光流门控解耦运动与内容，解决 OOD 输入导致的画质下降。
   • DSG：通过双路径自校正机制，在不引入辅助网络的情况下消除伪影并增强空间对齐。
3. 广泛的适用性：作为即插即用（Plug-and-play）且模型无关的解决方案，成功适配了 Wan 2.1、SVD、LongCat-Video 等多种主流视频扩散模型。
4. 多任务支持：不仅支持单图 3D 场景生成和动态 4D 场景重渲染，还能扩展至视频编辑、稳定、虚拟试穿等下游任务。

4. 实验结果 (Results)

• 基准测试：在 3D 静态场景生成和 4D 动态视频控制任务上，WorldForge 在多个数据集（如 LLFF, Tanks and Temples, DAVIS 等）上均取得了**SOTA（State-of-the-Art）**性能。
• 指标表现：
  • 轨迹精度：在 ATE（绝对轨迹误差）、RPE-T（相对平移误差）和 RPE-R（相对旋转误差）等指标上显著优于现有方法（包括训练依赖型方法如 ReCamMaster, TrajectoryCrafter 等）。
  • 生成质量：在 FID（图像质量）、FVD（视频质量）和 CLIP 相似度上表现优异，特别是在处理复杂场景（如人脸、大角度旋转）时，能有效避免伪影和结构扭曲。
• 消融实验：证明了 IRR、FLF 和 DSG 三个组件缺一不可。移除任一组件都会导致轨迹失控、画质下降或伪影增加。
• 鲁棒性：对不同深度估计模型（UniDepth, VGGT 等）和不同光流算法（Farneback, RAFT）表现出良好的兼容性。

5. 意义与影响 (Significance)

• 范式转变：WorldForge 证明了无需昂贵的微调或重新训练，仅通过推理时的精细引导即可解锁预训练视频模型的强大 3D/4D 生成能力。
• 解决 OOD 难题：通过 FLF 和 DSG 机制，有效解决了将扭曲后的 OOD 输入直接送入预训练模型导致的伪影问题，为基于生成式模型的 3D/4D 重建提供了新的思路。
• 实际应用价值：为视频编辑、虚拟试穿、游戏资产生成、具身智能（Embodied AI）的世界模型构建等应用提供了低成本、高质量的解决方案。
• 未来方向：虽然目前推理速度受限于迭代引导，但该方法为未来蒸馏到更快速的生成模型奠定了基础，有望实现实时的高分辨率轨迹控制视频生成。

总结来说，WorldForge 通过巧妙的推理时引导策略，成功“驯服”了视频扩散模型，使其能够在保持高质量生成的同时，严格遵循用户定义的相机轨迹，是空间智能和生成式 AI 领域的一项重要突破。