💻 computer science

One View Is Enough! Monocular Training for In-the-Wild Novel View Generation

该论文提出了 OVIE 模型，通过利用单目深度估计器作为训练时的几何脚手架并结合掩码训练策略，实现了仅使用 3000 万张无配对网络图像进行训练，从而在无需深度估计器或 3D 表示的情况下，实现了零-shot 设置下性能超越现有方法且速度快 600 倍的野外单目新视图生成。

原作者： Adrien Ramanana Rahary, Nicolas Dufour, Patrick Perez, David Picard

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Adrien Ramanana Rahary, Nicolas Dufour, Patrick Perez, David Picard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 OVIE 的新技术，它的核心思想非常大胆且简单：“一张照片就够了！”

以前，如果你想让电脑根据一张照片“脑补”出从其他角度看到的画面（比如你拍了一张房子的照片，想让电脑生成你走到房子侧面看到的画面），电脑通常需要很多张从不同角度拍摄的照片作为“老师”来教它。这就像学画画，以前老师必须给你看一堆参考图，你才能学会怎么画侧面。

但 OVIE 说：不需要那么多参考图，一张图就足够了。

下面我用几个生活中的比喻来解释它是如何做到的：

1. 核心魔法：用“深度眼镜”当临时拐杖

想象一下，你只有一张平面的照片（比如一张风景照）。

以前的做法：需要很多张照片来拼凑出 3D 模型。
OVIE 的做法：它戴上了一副现成的“深度眼镜”（这是一个已经训练好的深度估计 AI）。
- 当 OVIE 看到这张照片时，它先让这副眼镜帮它把照片“变厚”，想象出照片里每个物体离镜头有多远，从而在脑海里构建出一个粗糙的 3D 模型（点云）。
- 然后，它在脑海里把这个 3D 模型“转个身”，模拟走到旁边去看的视角。
- 最后，它把这个转好身的 3D 模型“拍”成一张新照片。

关键点来了：这张新照片（我们叫它“伪目标”）并不完美。因为原来的照片是平面的，转个身后，有些原本被挡住的地方（比如桌子底下）现在露出来了，但原来的照片里并没有这些信息，所以新照片上会有“空洞”或“马赛克”。

2. 聪明的“填空题”老师

既然新照片有漏洞，怎么训练 AI 呢？
OVIE 发明了一种聪明的训练方法：

只学看得见的地方：在训练时，AI 只对比那些“有内容”的地方。如果新照片上某个地方是“空洞”的（因为原图没拍到），AI 就忽略那里，不强迫它去猜。
只学纹理和感觉：对于那些看不见的地方（比如桌子底下露出的地板），AI 会学习“这种地板通常长什么样”，而不是死记硬背具体的像素。它通过一种“对抗训练”（就像让 AI 和裁判玩捉迷藏），让 AI 学会画出逼真的纹理，哪怕那里原本没有数据。

比喻：这就像你让一个画家临摹一张照片，然后让他想象自己走到旁边去画。如果画到被遮挡的墙根，画家不知道墙根长啥样，但他知道“墙根通常是灰色的”，于是他就凭经验填上灰色。OVIE 就是在这个过程中，学会了如何“凭经验”填补空白，而且填得非常逼真。

3. 为什么它这么厉害？

海量“野”数据：以前的方法需要专门拍摄的、排列整齐的多角度照片（就像教科书里的标准图）。OVIE 直接在互联网上抓取了 3000 万张 乱七八糟的照片（有室内的、室外的、甚至画作的）。它不需要这些照片是成对出现的，只要有一张图，它就能自己生成“练习题”。
不用 3D 建模，速度极快：
- 以前的方法在生成新视角时，往往需要先构建复杂的 3D 模型，再渲染，这很慢，就像用泥巴捏个模型再拍照。
- OVIE 在“考试”（实际应用）时，完全不需要 那个“深度眼镜”，也不需要构建 3D 模型。它就像是一个经验丰富的老画家，看一眼照片，脑子里直接“唰”地一下画出新视角。
- 速度对比：它比目前第二快的方法快 600 倍！这意味着它可以实现实时互动。你拿着手机拍张照，就能像在玩游戏一样，随意拖动鼠标，360 度无死角地“走进”照片里。

4. 它能做什么？

老照片复活：给一张历史建筑的老照片，让你能“走”进去看看侧面。
艺术创作：给一幅油画，让你能换个角度欣赏画中的世界。
机器人导航：机器人只看到障碍物的一面，就能脑补出绕过障碍物的路径。

总结

OVIE 就像是一个拥有超强空间想象力的天才画家。
以前，要教它画画，必须给它看一堆参考图（多视图数据）。
现在，OVIE 学会了自己给自己出题：它利用现有的深度技术把照片“立”起来，自己转个身，虽然转出来的图有瑕疵，但它通过观察海量的互联网图片，学会了如何完美地修补这些瑕疵。

最终，它不需要任何辅助工具，就能单凭一张照片，瞬间生成任何角度的逼真画面，而且速度快到可以实时互动。这标志着我们离“从单张照片理解整个 3D 世界”的目标又近了一大步。

OVIE 技术总结：基于单目训练的野外新视角生成

1. 研究背景与问题定义 (Problem)

核心问题：单目新视角合成（Monocular Novel View Synthesis, NVS）旨在仅根据单张输入图像和目标相机姿态，生成该场景在其他视角的逼真图像。

现有挑战：

数据依赖性强：现有的主流方法（如 SynSin, NViST, ZeroNVS 等）严重依赖多视图成对数据（posed multi-view pairs）进行监督训练。这些数据集（如 RealEstate10K, DL3DV）规模小、覆盖场景有限（主要是室内或特定物体），且难以获取。
泛化能力差：由于训练数据局限于特定领域，模型在“野外”（In-the-Wild，即互联网上的任意图像，包括绘画、非自然场景、动态物体等）表现不佳。
推理效率低：基于扩散模型（Diffusion Models）或需要迭代优化的方法推理速度极慢，难以实现实时交互。
尺度模糊：许多基于 SLAM 或相对姿态的方法缺乏真实的物理尺度感知。

核心洞察：作者提出，单张图像本身足以进行训练。利用成熟的单目深度估计技术，可以将单张图像“提升”为 3D 点云，通过相机变换重投影生成“伪目标视图”（Pseudo-target views）。这种伪视图虽然存在遮挡区域（Disocclusions），但足以作为监督信号，从而摆脱对多视图成对数据的依赖。

2. 方法论 (Methodology)

OVIE (One View Is Enough) 是一个完全基于非配对互联网图像训练的几何无关（Geometry-free）前馈模型。

2.1 训练阶段：伪成对数据构建 (Pseudo-Pair Construction)

训练过程不依赖任何真实的多视图数据，而是利用预训练的单目深度估计器（Metric Depth Estimator，如 MoGe-2）在线构建训练样本：

3D 提升 (Lifting)：输入源图像 $I_0$ ，通过冻结的深度估计器预测深度图 $D$ 和法线图 $N$ ，将其反投影为 3D 点云 $P$ 。
姿态采样与重投影：从合理的分布中采样一个相对相机变换 $T_{0 \to 1}$ （包含旋转和平移）。将点云 $P$ 变换到新视角并重投影到图像平面。
生成伪目标与掩码：
- 生成伪目标图像 $I^*_1$ （包含可见区域的颜色）。
- 生成二值掩码 $M$ ：标记有效像素（重投影可见）和无效像素（遮挡、背面剔除、超出画面）。
- 关键点：由于使用了度量深度（Metric Depth），生成的伪变换具有真实的物理尺度（米），使模型具备尺度感知能力。

2.2 模型架构 (Model Architecture)

输入：源图像 $I_0$ + 目标相机相对变换 $T_{0 \to 1}$ （编码为 7 维向量：3D 平移 + 单位四元数）。
输出：直接生成像素空间的目标图像 $\hat{I}_1$ 。
结构：
- 编码器：卷积网络将图像下采样为特征图。
- 骨干网络：基于 ViT-B 的 Pose-Conditioned Transformer 块。相机姿态通过 AdaLN (Adaptive Layer Normalization) 注入到 Transformer 中，调节特征。
- 解码器：对称的卷积网络将特征上采样回原始分辨率。
特点：推理时完全不需要深度估计器、3D 表示或点云，仅是一次前向传播。

2.3 训练目标 (Training Objective)

为了处理伪目标中的缺失区域（由掩码 $M$ 定义），损失函数仅在有效区域计算：

几何一致性损失 ( $L_{recon}$ )：
- 使用 L2 (MSE) 损失（实验表明比 L1 或 Charbonnier 更稳定且保留高频细节更好）。
- 公式： $L_{recon} = \frac{\|M \odot (\hat{I}_1 - I^*_1)\|_2^2}{\|M\|_1}$ 。
语义感知损失 ( $L_{perc}$ )：
- 结合 LPIPS 和 P-DINO（基于 DINO 模型的 Patch 级特征匹配）。
- 在特征提取前对预测图和伪目标图进行掩码处理，防止无效区域产生错误梯度。
对抗损失 ( $L_{adv}$ )：
- 使用 PatchGAN 判别器。
- 创新点：由于伪目标 $I^*_1$ 不完整，判别器将源图像 $I_0$ 视为“真实”分布，将生成图像 $\hat{I}_1$ 视为“生成”分布。这迫使模型在未见区域（遮挡区）生成符合源图像纹理统计规律的逼真内容。
- 使用 VQ-GAN 的自适应权重机制平衡重建与对抗损失。

3. 关键贡献 (Key Contributions)

数据可扩展、领域无关的训练范式：
- 首次证明仅利用单目深度估计生成的伪视图，即可在 3000 万张 非配对的互联网图像（ImageNet, Open Images, Places, OpenStreetView）上训练出强大的 NVS 模型。
- 彻底摆脱了对多视图数据集的依赖，实现了真正的“单图训练”。
- 引入度量深度估计，使模型具备物理尺度感知能力（Metric Scale Awareness）。
高效的几何无关模型设计：
- 纯前馈架构，推理时无需 3D 重建、点云或迭代优化。
- 速度极快：在单张 H100 GPU 上达到 116 FPS，比次优基线（VIVID）快 600 倍，支持实时交互式导航。
强大的跨域泛化能力：
- 在未见过的基准测试（RealEstate10K, DL3DV）上，表现优于或持平于在特定领域数据上训练的 SOTA 方法。
- 能够处理非自然图像（如油画、插画），这是传统多视图方法无法做到的。

4. 实验结果 (Results)

4.1 定量评估

RealEstate10K (领域内测试)：尽管 OVIE 未在该数据集上训练（Out-of-Domain），其性能（PSNR 18.8, LPIPS 0.279）与在域内训练的 VIVID (PSNR 20.5, LPIPS 0.241) 相当，并显著优于 GeoGPT 和 PhotoNVS。
DL3DV (领域外测试)：在所有方法均处于领域外设置下，OVIE 在所有指标（PSNR, SSIM, LPIPS, FID）上均超越所有基线方法。这证明了大规模多样化数据带来的鲁棒性。
消融实验：
- 移除感知损失（LPIPS/P-DINO）会导致 FID 显著恶化，证明感知损失对生成质量至关重要。
- 使用 L2 损失优于 L1 或 Charbonnier。
- 数据规模（30M vs 3K）是性能提升的主要驱动力，数据多样性带来额外增益。

4.2 定性评估

几何一致性：生成的视图结构清晰，透视关系正确。
遮挡处理：能够合理补全被遮挡区域（如门后的空间、物体背面），且纹理连贯。
尺度感知：当相机平移相同物理距离时，近处物体的视差大，远处物体视差小，符合物理规律。
非自然图像：在梵高、莫奈等画作上也能生成合理的新视角，展示了极强的泛化性。

4.3 推理速度

OVIE: 116 FPS (8.6ms)
VIVID: 0.19 FPS (50 步扩散)
GeoGPT: 0.17 FPS (自回归)
PhotoNVS: 0.024 FPS (2000 步扩散)
结论：OVIE 实现了从“离线生成”到“实时交互”的跨越。

5. 意义与影响 (Significance)

打破数据瓶颈：证明了互联网规模的单目图像足以学习复杂的 3D 几何先验，无需昂贵的多视图采集或标注。这使得 3D 理解技术可以扩展到历史档案、艺术品、网络图片等任何拥有单张图像的场景。
重新定义 NVS 范式：从“依赖多视图监督”转向“利用深度估计作为自监督信号”，为未来的自监督 3D 视觉研究提供了新方向。
实时应用潜力：极高的推理速度使得基于单张图像的实时 3D 导航、VR/AR 内容生成、游戏场景探索等应用成为可能。
通用几何先验：模型展示了从 2D 互联网数据中学习通用 3D 几何能力的可行性，为构建通用的世界模型奠定了基础。

总结：OVIE 通过巧妙的伪数据构建策略和高效的网络设计，成功解决了单目新视角合成中的数据稀缺和泛化难题，实现了在大规模野外数据上的训练，并在性能、速度和泛化性上均达到了新的 SOTA 水平。