One2Scene: Geometric Consistent Explorable 3D Scene Generation from a Single Image

One2Scene 提出了一种从单张图像生成可探索 3D 场景的新框架,通过将问题分解为全景锚点生成、基于高斯泼溅的多视图几何脚手架构建以及条件化新视图合成三个步骤,有效解决了现有方法在大幅视角移动时几何失真和伪影严重的问题,实现了稳定且沉浸式的场景探索。

Pengfei Wang, Liyi Chen, Zhiyuan Ma, Yanjun Guo, Guowen Zhang, Lei Zhang

发布于 2026-03-02
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一个名为 One2Scene 的新技术,它的核心目标是:只给你一张普通的照片,就能让你“走进”照片里,自由地探索一个完整的 3D 世界。

想象一下,你手里有一张风景照。以前的技术要么只能让你围着照片转圈(但转远了画面就变形、崩坏),要么只能让你看到照片里原本有的东西,看不到照片背后的世界。而 One2Scene 就像是一个神奇的“造梦师”,能根据这一张图,瞬间构建出一个真实、立体、你可以随意穿梭的虚拟空间。

为了让你更容易理解,我们可以把这个过程比作**“盖房子”**,分为三个步骤:

第一步:画一张“全景地图”(生成锚点视图)

比喻: 就像你要盖一座房子,但手里只有一张客厅的局部照片。首先,你需要一位神笔马良,根据这张局部照片,脑补并画出一张360 度的全景地图,把房子前后左右上下都补全了。

  • 技术原理: 系统先利用一个强大的 AI 模型,把单张输入图片“脑补”成一张 360 度的全景图。这解决了“信息太少”的问题,让系统知道周围大概长什么样。

第二步:搭建“钢筋骨架”(构建 3D 几何脚手架)

比喻: 光有画出来的全景图还不够,那只是平面的画。如果你想在里面走路,你需要一个真实的 3D 钢筋骨架

  • 难点: 以前的方法试图直接从一张图猜出 3D 结构,就像试图只凭一张平面图就猜出整栋楼的承重墙在哪里,很容易猜错,导致你走进“墙”里或者看到扭曲的地板。
  • One2Scene 的妙招: 它把那张 360 度的全景图,像切蛋糕一样切成6 块(就像正方体的 6 个面)。然后,它把这 6 块图当成“多张不同角度的照片”,利用一种叫“多视角立体匹配”的技术(就像人用两只眼睛看东西产生立体感),快速搭建出一个精确的 3D 几何骨架
  • 创新点: 这个骨架是在 0.5 秒内“瞬间”搭建好的,而且非常稳固。它确保了当你在这个空间里移动时,墙壁不会突然消失,地板不会扭曲。

第三步:精装修与自由漫游(引导式新视角合成)

比喻: 现在房子有了坚固的骨架,但里面还是毛坯房。最后一步,系统利用这个骨架作为“导航仪”,指导 AI 进行“精装修”。

  • 如何工作: 当你想看向一个新的角度(比如走到窗户边看外面),AI 会先看看骨架告诉你:“那边有一堵墙,距离是 5 米”。然后,AI 再根据这个距离和位置,画出逼真的墙壁纹理和窗外的风景。
  • 双保险策略(Dual-LoRA): 系统同时参考两种信息:
    1. 原始照片(保证颜色和细节好看,像精装修)。
    2. 3D 骨架渲染图(保证位置对,不会穿模,像结构图)。
      系统把这两者完美融合,让你无论走到哪里,看到的画面既真实又符合物理规律。

为什么它比以前的方法好?

以前的方法(如 WonderJourney 或 DreamScene360)就像是在**“走钢丝”**:

  • 它们试图直接生成连续的图像,走几步就发现“路”歪了,导致画面出现严重的几何扭曲(比如人变胖了、墙变弯了)或者逻辑错误(比如穿墙而过)。
  • 这就好比没有地基直接盖楼,盖得越高越容易塌。

One2Scene 则是**“先打地基,再盖楼”**:

  1. 先造骨架: 它先花极短的时间建立一个绝对稳固的 3D 几何骨架。
  2. 再填内容: 所有的画面生成都严格遵循这个骨架的指引。

结果就是: 即使你在这个 3D 世界里走很远、转很大的圈,画面依然清晰、稳定,不会出现那种“恐怖谷”式的扭曲变形。

总结

One2Scene 就像是一位高明的建筑师:

  1. 它先脑补出全景(解决信息缺失)。
  2. 快速搭建一个坚不可摧的 3D 骨架(解决几何失真)。
  3. 最后引导AI 在骨架上画出逼真的细节(解决漫游时的画质问题)。

这项技术让从“一张照片”到“一个可探索的 3D 世界”变得既快又稳,为未来的 VR 游戏、元宇宙和虚拟旅游带来了巨大的潜力。

在收件箱中获取类似论文

根据您的兴趣定制的每日或每周摘要。Gist或技术摘要,使用您的语言。

试用 Digest →