MeSS: City Mesh-Guided Outdoor Scene Generation with Cross-View Consistent Diffusion
本文介绍了 MeSS，这是一个利用城市网格模型作为几何先验，并采用具有跨视图一致性模块的多阶段图像扩散流水线，来为虚拟导航和自动驾驶生成高质量、风格一致的室外场景的新型框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图构建一个完美的、可步行的现实城市数字孪生体。你拥有蓝图——每栋建筑、道路和树木的3D形状——但它们都被涂上了一层平淡、乏味的灰色。它们看起来就像是等待上色的粘土模型。这就是“网格模型”（mesh models）的世界，它们在城市建模中变得越来越普遍，但却缺乏让城市充满生命力的真实纹理（如砖块、玻璃和涂鸦）。没有这些纹理，你就无法将它们用于虚拟现实导览，或用于训练自动驾驶汽车，因为这些系统需要看到的是世界原本的样子，而不仅仅是一堆形状的集合。
为了解决这个问题，科学家们尝试使用“生成式人工智能”，特别是被称为“扩散模型”（diffusion model）的一种类型。你可以把这些模型想象成极其出色的艺术家，能够根据简单的描述画出一幅画。然而，当你要求这些艺术家在你行走时画出整个城市街道时，他们经常会感到困惑。他们可能会在下一帧画面中，把原本在左侧建筑上的门画到了右侧，或者在你前进时改变天空的颜色。这被称为“漂移”（drift）。另一个大问题是，这些艺术家经常忽略蓝图，画出的建筑要么悬浮在空中，要么与城市的实际形状不符。因此，目标在于教导一位AI艺术家去绘制一幅既看起来真实、在行走过程中保持一致，又能完美贴合建筑物3D形状的城市图像。
于是有了 MeSS（网格引导的场景合成，Mesh-Guided Scene Synthesis），这是一种由华为、慕尼黑工业大学及其他机构的研究人员开发的新方法。把 MeSS 想象成一支超级聪明的施工队，它不仅仅是在画一幅画，它还在构建一个你可以真正步入其中的3D世界。MeSS 不会去猜测建筑物的位置，而是从城市的“骨架”——即无纹理的网格模型——开始，并将其作为严格的引导。
MeSS 的秘诀在于作者称之为“控制分布匹配”（control-distribution match）的概念。想象一下你在教一个机器人画画。如果你用真实城市的照片来训练这个机器人，它会学习如何根据真实相机的视角来绘画。但如果你随后要求它根据计算机生成的3D模型进行绘画，它会感到困惑，因为“深度”和“阴影”看起来完全不同。MeSS 通过直接在城市网格的计算机生成深度和形状上训练其“ControlNet”（机器人的说明书）解决了这个问题。这意味着该机器人成为了阅读特定3D蓝图语言的专家。当它开始绘画时，它不会靠猜；它准确地知道墙壁和窗户应该在哪里，因为它接受的训练正是使用与它绘图时完全相同类型的数据。
为了让城市在长距离行走时看起来保持一致（避免“漂移”问题），MeSS 使用了一个巧妙的两步法。首先，它扮演一位创作一系列“关键帧”（key frames）的大师画家——即每隔20米拍摄一张重要的街景快照。它逐一绘制这些快照，并以之前的绘画作为参考，以确保风格不会发生变化。然后，它利用一种称为“外观引导修复”（Appearance Guided Inpainting）的技术来填充这些快照之间的间隙。想象一下你有一张模糊的街角照片；这个工具会观察照片中清晰的部分，并利用它们来修复模糊的部分，从而确保纹理（例如砖墙上的图案）能够完美匹配。
最后，团队加入了一个“全局一致性对齐”（Global-Consistency Alignment）步骤。有时，即使有了良好的规划，街道的一部分可能看起来比另一部分稍亮或稍暗，就像一张分段编辑过的照片。这一步就像电影制片厂的调色师，通过平滑这些差异，使整个旅程感觉像一段连续、无缝的视频。
结果令人印象深刻。在一项针对200米城市路径的大规模测试中，与现有最优秀的方法相比，MeSS 将视觉不一致性降低了31%，并显著提升了生成图像的整体质量。更令人兴奋的是，研究人员在没有重新训练AI的情况下，将 MeSS 应用于一个真实的慕尼黑城市模型（“LoD3”网格）。系统成功绘制了逼真的建筑立面，且完美地与真实建筑的门窗对齐，证明了这种“网格引导”的方法即使在处理真实城市而非计算机模拟时也同样有效。
简而言之，MeSS 表明，如果你给一位 AI 艺术家提供正确的蓝图，并教会它如何阅读这些蓝图，它就能构建出一个不仅美丽，而且几何结构完美且具有一致性的虚拟城市，这为更好的虚拟导览和更安全的自动驾驶训练打开了大门。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。