Neural Radiance Fields for the Real World: A Survey
本综述对神经辐射场（NeRFs）进行了全面的回顾，涵盖了其理论进展、场景表示、在计算机视觉与机器人领域的应用、可用的数据集与工具包，以及当前的挑战与未来的研究方向。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正拿着相机，从各个能捕捉到的角度为一座美丽而复杂的雕塑拍摄照片。现在，想象一个魔术：计算机将这些扁平的、二维的快照瞬间重构成你脑海中的三维世界，而且不仅仅是一个静态的雕像，它还重建出了一个生动、呼吸着的3D世界。你可以绕着它走动，窥探幕布后的景象，并从那些你从未拍摄过的角度观察光线是如何落在曲线上的。这并非科幻小说；这是计算机视觉领域的尖端技术，在这个领域中，机器正在学习如何“看见”并理解三维世界。长期以来，计算机在这一领域一直举步维艰，往往依赖于僵硬的网格或看起来像数字尘埃般杂乱无章的点云。但随后，一个新想法诞生了：神经辐射场，或者叫作 NeRFs。不要把 NeRF 仅仅看作是砖块的集合，而要把它想象成充盈在房间里的一种神奇的、隐形的雾气。这种雾气知道根据你站立的位置和观察的方向，它会阻挡多少光线以及发出什么颜色的光芒。通过训练一个“计算机大脑”（神经网络）来理解这种雾气，我们可以将几张照片转化为一个照片级真实的3D宇宙。为什么人们会关心这个？因为这项技术可能会彻底改变一切，从机器人如何在凌乱的客厅中导航，到医生如何可视化人体内部结构，再到我们如何在不花费数年时间去建模每一棵树的情况下，创造出沉浸式的游戏世界。
这篇题为《面向现实世界的神经辐射场：综述》的论文，为任何试图在 NeRFs 这个爆发式增长的领域中航行的人提供了一份宏大且友好的地图。作者们是一支来自澳大利亚的研究团队，他们注意到，虽然 NeRFs 在受控实验室中表现得极其强大，但现实世界是混乱、不可预测且充满惊喜的。他们致力于收集所有最新的研究成果，将其组织成一个清晰的故事，并向我们展示这项技术在何处闪耀，又在何处依然蹒跚。
论文首先解释了标准 NeRF 的“配方”。想象一下，你想从一个新的角度绘制一幅场景图。计算机从你的眼睛通过屏幕射出一道虚拟的激光束（射线）。当这束光穿过场景中那层隐形的雾气时，它会撞击到不同的点。NeRF 会询问计算机大脑：“在这个特定位置，雾气的密度是多少，它发出的光是什么颜色？”计算机给出答案，系统将这些答案融合在一起，从而创建出最终的像素颜色。这就像是一个超级智能版的射线追踪视频游戏，只不过这个世界是从照片中学习而来的，而不是手工构建的。
然而，作者指出原始的配方存在一些缺陷。它可能很慢，就像试图通过一次次提问来完成一幅杰作。为了解决这个问题，研究人员开发了更快的采样雾气的方法、更智能的颜色编码方式以避免模糊，以及让计算机大脑变得更小、更快速的新技巧。有些研究人员甚至完全放弃了“雾气”的概念，转而使用显式的3D云团（如 3D 高斯泼溅/3D Gaussian Splatting），这类方法可以实现瞬时渲染，尽管论文指出这些属于不同的范畴，并主要侧重于讨论原始的 NeRF 家族。
该综述的核心在于应对标题中所说的“现实世界”部分。在完美的实验室里，你有完美的照片和完美的相机位置。但在现实世界中呢？情况并非如此。作者们拆解了这些混乱：
- 糟糕的照片： 如果你的照片因为走动而模糊，或者因为雾气而显得朦胧，或者光线太暗怎么办？论文回顾了教导 NeRF 进行“去模糊”或“去雾”处理的方法，本质上是在构建3D模型之前先清理这些混乱。
- 缺失的角度： 如果你只有很少的照片怎么办？论文探讨了 NeRF 如何利用巧妙的技巧来“幻觉”（或猜测）场景中缺失的部分，尽管论文也警告说，这些猜测有时会显得有些模糊。
- 移动的目标： 如果场景不是静止的怎么办？如果一个人正在走动或一辆车正在行驶，那么雾气需要随之移动。该综述详细介绍了研究人员如何教导 NeRF 处理时间问题，从而创造出场景流动且变化的 4D 电影。
- 复杂的照明： 现实中的光线会产生复杂的反射、折射和阴影。论文研究了 NeRF 如何升级以理解物理特性，例如一辆闪亮的汽车如何反射周围环境，或者光线在水下是如何散射的。
除了构建模型之外，论文还展示了 NeRFs 实际的应用领域。它们通过为机器人提供更好的周围环境 3D 地图，帮助其进行导航，使其能够更安全地避开障碍物。它们被用于医学领域，通过 2D 扫描重建器官的 3D 模型，帮助医生以新的方式观察人体内部。它们甚至被用于根据文本描述生成新的 3D 物体，将诸如“一个红色机器人”之类的句子转化为你可以环绕观察的 3D 模型。
作者们非常谨慎且诚实地指出了局限性。他们承认，虽然 NeRFs 非常惊人，但它们的训练仍然可能很慢，尤其是在处理城市规模的大型场景时。他们指出，处理“野外”（in-the-wild）照片——比如由不同相机和光照条件组成的杂乱游客快照——仍然是一个巨大的挑战。他们还强调，尽管我们可以让 NeRFs 运行得更快，但如何在没有超级计算机的情况下让其在手机上实现实时运行，仍然是一个活跃的研究领域。
最后，这份综述不仅仅是列举事实，它还提供了一个决策指南。它帮助读者思考：“我需要最高的质量，还是我需要它运行得快？”“我拥有完美的照片，还是拥有一堆杂乱的快照？”通过将数百篇新论文归类到清晰的类别中，作者们为未来提供了指南针。他们认为，下一个重大飞跃将来自于将 NeRFs 与其他技术相结合，例如利用 AI 来猜测缺失的细节，或者利用物理学来使光照更加真实。论文总结道，虽然 NeRFs 已经改变了我们看待 3D 世界的方式，但要使它们变得鲁棒、快速并准备好进入现实世界的每一个角落，这段旅程才刚刚开始。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。