Enhancing In-context Panoramic Generation via Geometric-aware Pretraining
本文介绍了 Canvas360，这是一个通过利用新创建的 100 万样本数据集和几何感知预训练技术，在多种上下文全景生成任务中实现最先进性能，同时确保卓越的几何一致性和全局连贯性的两阶段框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图在一张平整的纸上绘制一幅完美的 360 度全景房间图。问题在于？当你把一张平面地图包裹在球体上时，顶部和底部会被挤压和拉伸，就像一个奇怪的、融化的奶酪披萨。大多数 AI 艺术生成器试图通过使用特殊的“立方体”映射或 3D 技巧来解决这个问题，但这篇文章的作者们——Canvas360——认为这些方法仍然会让几何结构看起来有些扭曲。他们认为，如果你想要一个真正无缝且无畸变的泛全景世界，你不能仅仅观察图像；你需要理解空间的深度和形状本身。
那么，他们是如何修复它的呢？他们构建了一个两阶段训练流水线，其作用就像一位大师级的建筑师，随后又化身为一位多才多艺的画家。
第一阶段：几何训练营
首先，团队教会了他们的 AI 模型以 3D 而非 2D 的方式观察世界。他们不仅仅是给模型看图片；他们将每一张图像都与一张深度图（一份显示每个物体距离有多远的蓝图）配对。他们向模型输入了 100,000 个这样的配对样本。
为了确保模型不会混淆图片和蓝图，他们使用了一个聪明的技巧：他们给深度图添加了一个“位置偏移”，就像给它一个不同的剧院座位号，这样它就知道自己不是旁边那张图片的副本。他们还添加了一个名为“相似性损失”（similarity loss）的特殊规则，这基本上是在责备模型，如果图片和深度图看起来太像，就会惩罚它，从而迫使它们保持截然不同。
最酷的部分是，他们引入了速度循环填充（velocity circular padding）。想象一个视频游戏世界，如果你从屏幕右侧走出去，你会立即出现在左侧。作者们确保 AI 理解全景图的左右边缘实际上是球体上的邻居。他们不仅仅是简单地复制粘贴边缘；他们教会了模型，边缘处的“速度”（变化的趋势）必须完美地流动到另一侧。这有助于模型学习如何保持接缝隐形。
第二阶段：多才多艺的画家
一旦模型理解了几何结构，他们就进入了第二个阶段，即教它如何成为**上下文生成（in-context generation）**的大师。这意味着 AI 现在可以根据现有的图像和文本提示进行各种魔术表演，而不再需要深度图。他们在名为 Canvas360Dataset 的大规模新数据集上对其进行了训练，该数据集包含 100 万个高质量样本。
这个数据集是通过合成 900,000 个涵盖四个特定任务的新示例构建而成的：
- 风格迁移（Style Transfer）： 将照片变成铅笔素描或绘画（200,000 个样本）。
- 外绘（Outpainting）： 将视野扩展到原始边界之外（250,000 个样本）。
- 内绘（Inpainting）： 填补图像中的缺失部分（250,000 个样本）。
- 编辑（Editing）： 删除物体（如沙发）或添加新物体（200,000 个样本）。
作者们明确反对为每个任务训练单独模型的观点，也反对依赖旧有的“立方体映射”方法。相反，他们建议，一个经过几何预训练的统一模型可以更好地处理所有这些工作。
效果如何？
结果表明了显著的提升。当他们测试该模型时，它在名为 FAED 的特定指标（衡量全景图对几何结构的忠实度）上得分最高，并在其他质量检查中表现出色。在一次由 71 人参与、观察 10 张图像的用户研究中，Canvas360 因拥有最无缝的边界和最佳的整体质量而成为了最受欢迎的选择。
作者指出，虽然以往的方法在编辑全景图时经常留下模糊的边缘或扭曲的物体，但 Canvas360 成功地保持了 3D 结构的完整。他们并没有声称解决了宇宙中的所有问题，但他们的实验表明，通过从一开始就教 AI 尊重世界的球面形状，他们创造了一个能够生成更加一致且真实的全景图像的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。