360Anything: Geometry-Free Lifting of Images and Videos to 360°
360Anything 是一个无几何约束的框架，它利用预训练的扩散 Transformer，以纯数据驱动的方式将透视图图像和视频提升为 360° 全景图，在无需相机元数据的情况下实现了最先进的性能，并通过一种新颖的循环潜变量编码技术解决了边界伪影问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一张用普通相机拍摄的照片。它捕捉到了世界的一个狭窄切片，就像通过钥匙孔在看世界。现在，想象你想把这张单一、扁平的照片变成一个完整的 360 度全景视图，让你能够向左、向右、向上和向下观察，仿佛你就站在那个场景之中。
这就是名为 360Anything 的论文所做的工作。它将一张普通的照片或视频“提升”为一个完整的、沉浸式的 360 度世界。以下是它的工作原理，通过简单的解释说明：
1. 旧方法：试图把方榫头塞进圆卯眼
以前，计算机尝试通过使用严格的数学映射来完成这项工作。它们会获取那张狭窄的照片，并尝试将其在数学上拉伸和扭曲到一个巨大的、平坦的世界地图（称为“等距柱状投影”）上。
为了做到这一点，计算机需要知道拍摄该照片的相机的精确细节：镜头的宽度是多少？相机是否倾斜了？它朝向哪里？
- 问题在于： 互联网上（或来自你的手机）的大多数照片并不具备这些信息。如果计算机猜错了，结果就会看起来破碎或扭曲。这就像是在没有盒子上的图片参考的情况下，仅凭一份你并不拥有的说明书来组装拼图。
2. 新方法：通过范例学习（“360Anything”法）
该论文的作者说：“让我们停止手动进行数学计算。”相反，他们构建了一个名为 360Anything 的系统，它仅仅通过观察成千上万个范例，就能学习狭窄照片与完整全景图之间的关系。
- 类比： 想象你在教一个孩子根据一张小草图画出一个完整的房间。与其给他们一把尺子和量角器（相机数学），不如给他们展示成千上万对“小草图”和“完整房间”的绘画。最终，这个孩子会直觉地学会这种模式。他们不需要知道相机的确切角度，他们只需要知道：“如果我在小草图中看到这里有一扇门，那么剩下的墙壁必然会像这样延续。”
- 结果： 360Anything 可以处理“野外”（in-the-wild）数据——即任何人、在任何地方、使用任何设备拍摄的照片和视频。它能自动识别出相机的角度和位置。
3. 解决“接缝”问题
当你将一张扁平图像包裹在一个球体上以制作 360 度视图时，左边缘和右边缘必须完美对接。如果它们不匹配，你会看到一个难看的“接缝”或裂缝，就像一张缝合拙劣的毯子。
- 旧的修复方式： 以前的方法尝试在图像生成之后来修复这个问题，使用一些技巧来模糊接缝或在生成过程中旋转图像。
- 360Anything 的修复方式： 作者意识到问题在图像被制造出来之前就已经存在了。计算机的内部“翻译器”（称为 VAE）将图像边缘视为一堵墙，并在其旁边放置了一个“零”（空白空间）。这产生了一个故障。
- 解决方案： 他们将翻译器改为使用 “循环填充”（Circular Padding）。想象图像是一个皮带环。与其在末端放一堵空白墙，不如让计算机在处理之前就将右边缘直接与左边缘连接起来。这确保了从一开始就是一个平滑、无缝的圆圈。
4. 它能做什么？
论文展示了这种方法极其强大的功能：
- 针对照片： 它可以将单张照片生成为完整的 360 度图像，即使原始照片是在奇怪的角度或使用广角镜头拍摄的，看起来依然非常逼真。
- 针对视频： 它可以将一段短视频转化为完整的 360 度视频。如果你在视频中向前走，系统会生成你前方的世界；如果你向上看，它会生成天空。
- 3D 重建： 由于生成的 360 度视频具有高度的一致性，你可以利用它们来构建房间或街道的 3D 模型。然后你可以在计算机中“穿梭”于场景中，从原始视频中未曾展示的角度进行探索。
5. 为什么这意义重大
论文声称 360Anything 比以往的方法更出色，即使是那些确实拥有完美相机信息的模型也是如此。通过消除对相机数据的需求并从根源上解决接缝问题，它能从简单的、日常的照片和视频中创造出更清晰、更准确且更具沉浸感的 3D 世界。
简而言之：它将一个扁平、受限的世界视角，转变为一个完整的、可探索的 360 度体验，而且无需依赖任何手册或地图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。