SRUG: Shadow-Guided Relightable Urban Scene with Generation Model
本文提出了 SRUG，这是一个新颖的框架，它通过利用阴影引导三维几何补全，并采用迭代式大材质模型进行鲁棒的材质分解，从而解决了无界城市场景重光照的挑战，最终实现了符合物理规律的重光照和新视角合成。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一本繁忙城市街道的相册。你希望从这些照片中创作一部 3D 电影，在其中你可以改变一天中的时间、移动太阳，或将晴朗的天空替换为暴风雨的天空。这被称为“重光照”。
然而，构建一个 3D 城市，就像试图在只看到几棵树的情况下建造一个森林模型。你无法看到前方树木后面的树，但这些被遮挡的树仍然会投下阴影，影响你能看到的树木。如果你不考虑这些看不见的树，你的阴影就会显得错误，你的 3D 城市也会显得虚假。
本文介绍了SRUG，这是一个旨在解决这一特定问题的新系统。可以将 SRUG 想象为一位“智能城市建造者”，它利用三个主要技巧，使城市在任何光照条件下都显得真实。
1. “阴影侦探”（阴影引导的补全）
问题： 在真实城市中，建筑物和汽车会遮挡你的视线。计算机无法看到街道的“不可见”部分，但这些不可见部分会在可见部分上投下阴影。如果计算机不知道墙后隐藏着什么，就无法正确计算阴影。
SRUG 的解决方案： SRUG 像一位侦探，利用阴影作为线索。
- 比喻： 想象你身处一个黑暗的房间，看到墙上有一个影子。即使你看不到投下影子的物体，影子的形状也能确切地告诉你该物体长什么样。
- 工作原理： SRUG 使用一种特殊的"3D 补全模型”（一种用于推测缺失 3D 形状的人工智能）来填充城市的不可见部分。但它并非随机猜测，而是利用阴影作为引导。它会问：“如果这个阴影存在，那么必须有什么不可见的建筑物在投下它？”这确保了城市隐藏部分的构建符合物理逻辑，因此当太阳移动时，阴影看起来是真实的。
2. “迭代艺术评论家”（迭代材质分解）
问题： 要改变光照，计算机需要将城市的“颜料”（材质，如红砖或闪亮玻璃）与照射在其上的“光”分离开来。
- 难点： 如果你只看一张阳光下红砖墙的照片，计算机可能会认为墙壁实际上因阳光而发出橙色光芒，而不仅仅是红色的砖块。这被称为“光照烘焙”。
- SRUG 的解决方案： SRUG 使用一种“大型材质模型”（LMM），这就像一位受过数百万张图片训练、深知材质外观的超级聪明的艺术评论家。
- 比喻： 想象这位艺术评论家试图猜测墙壁的颜色，但墙壁被一层奇怪的滤镜覆盖。
- 第一步： 评论家根据经过滤镜处理的照片做出猜测。
- 第二步： 计算机基于该猜测构建 3D 模型。
- 第三步： 计算机向评论家展示新的 3D 模型。
- 第四步： 评论家说：“啊，现在看到了 3D 形状，我意识到我最初的猜测有点偏差。让我修正我的猜测。”
- 重复： 他们来回进行几次。这种“迭代”过程帮助计算机弥合了 AI 训练（主要基于虚假的计算机生成图像）与真实城市街道的混乱现实之间的差距。结果是墙壁的真实颜色与阳光得到了清晰的分离。
3. “物理引擎”（基于物理的光照）
问题： 真实城市拥有复杂的光线：直射的阳光、来自天空的柔和光线，以及从其他建筑物反射的光线。
SRUG 的解决方案： SRUG 不仅仅是猜测颜色；它使用基于物理的公式。它计算三种特定类型的光：
- 阳光： 来自太阳的直接、强烈的光束。
- 天光： 来自天空的柔和、偏蓝的光线（会被建筑物遮挡，形成“环境光遮蔽”）。
- 间接光： 从其他表面反射的光线。
通过分别计算这些光线，SRUG 可以将太阳移动到新位置，阴影会现实地发生偏移，而从建筑物反射的光线也会自动更新。
结果
当你将这三个技巧结合在一起时，SRUG 可以将一组城市照片或视频转化为一个 3D 世界，其中：
- 阴影是真实的： 即使是原始照片中看不到的物体所投下的阴影，也能被正确计算。
- 材质是准确的： 即使你将太阳改为日落，红砖墙依然保持红色。
- 没有“漂浮”的伪影： 3D 模型不会出现奇怪的漂浮尘埃或几何碎片，因为阴影引导使几何结构保持了稳固。
简而言之，SRUG 是一个利用阴影来“看见”城市不可见部分的工具，并利用一种智能的、循环往复的反馈回路来精确判断城市的构成，从而让你能够以符合物理现实的方式改变天气和一天中的时间。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。