🤖 AI

InfiniteDiffusion: Bridging Learned Fidelity and Procedural Utility for Open-World Terrain Generation

本文介绍了 InfiniteDiffusion，这是一种无需训练的算法，通过重构扩散采样过程，将学习模型的保真度与传统程序化噪声的无限实用性相结合，从而实现实时、无限且种子一致的地形生成。

原作者： Alexander Goslin

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexander Goslin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试构建一个真正无限的游戏世界——比整个地球还要大，且没有边界。几十年来，开发者一直使用一种称为“程序化噪声”（如柏林噪声）的“数学配方”来实现这一点。这就像拥有一种可以无限流淌的魔法墨水，能瞬间创造出山丘和山谷。它速度快，永不耗尽内存，而且如果你输入特定的代码（即“种子”），每次都能生成完全相同的山脉。

问题一： 虽然这种魔法墨水在速度上表现出色，但它所创造的地形看起来有些虚假。它们过于平滑且重复，缺乏真实山脉、河流盆地和侵蚀峡谷那种混乱而逼真的细节。

问题二： 最近，AI 图像生成器（称为扩散模型）在生成超逼真图像方面变得令人惊叹。它们能让一座山看起来完全像一张照片。但这些 AI 模型就像只拥有小画布的画家。它们无法绘制无限的世界；如果你要求它们无限延续，它们就会陷入混乱，而且通常需要在向你展示之前将整个图像保存在内存中。

解决方案：InfiniteDiffusion
由 Alexander Goslin 领导的这篇论文的作者们创造了一种名为InfiniteDiffusion的新方法。你可以把它想象成一位翻译，教会那位超逼真的 AI 画家如何使用无限的魔法墨水。

以下是其工作原理，使用简单的类比来说明：

1. “懒惰的画家”（惰性求值）

通常，要生成一张巨大的图像，你必须一次性绘制整个画面。但 InfiniteDiffusion 是一位“懒惰”的画家。它只绘制你此刻正在观察的那个特定方格区域。

类比： 想象你正在穿过一片森林。你不需要一次性看到整片森林。你只需要看到周围眼前的树木。如果你向左转，画家会瞬间绘制出左侧的树木；如果你向右转，它也会绘制出右侧的树木。它从不绘制你未看到的树木，因此永远不会耗尽内存。

2. “重叠的模板”（滑动窗口）

为了确保世界看起来无缝衔接（这样你就不会看到一块画布结束、下一块开始的生硬分界线），AI 使用了一种称为“滑动窗口”的技术。

类比： 想象你试图用一个小模板在墙上绘制壁画。你画完一个部分，然后将模板稍微滑动，使其与上一部分重叠。你在重叠处混合颜料，以确保没有接缝。InfiniteDiffusion 在无限的网格上以数学方式执行这一操作，将数百万个微小的重叠预测融合成一个巨大且无缝的世界。

3. “艺术家团队”（分层建模）

为整个星球建模对单个 AI 模型来说太难了。因此，作者们组建了一个由三位艺术家协作的团队：

架构师（粗略模型）： 这位艺术家首先绘制大轮廓。他们决定大陆和海洋的位置，使用简单的草图或用户的绘图。
雕塑家（核心模型）： 这位艺术家接过大草图，添加主要特征：巨大的山脉、深邃的山谷和河流系统。
细节师（解码器）： 这位艺术家放大画面，添加微小而逼真的细节：岩石的纹理、悬崖的具体形状以及山顶的积雪。
结果： 这种团队方法确保了世界在近距离观察时显得逼真，同时在太空中看依然合乎逻辑。

4. “魔法种子”（种子一致性）

最重要的特性之一是这个世界是确定性的。

类比： 如果你给 AI 相同的“种子”（一个起始数字），无论何时请求，它都会在完全相同的位置生成完全相同的山脉。你可以瞬移到海洋中央的一座山上，AI 会瞬间生成它，而且它看起来会与你上次造访时一模一样。这对于电子游戏至关重要，这样玩家离开再回来时，就不会看到世界发生变化。

5. “速度恶魔”（性能）

该论文声称，该系统速度快得惊人。

声明： 在标准的消费级显卡（就像你可能为游戏电脑购买的那种）上，该系统生成地形的速度比战斗机飞行的速度快9 倍。
这意味着： 如果你驾驶飞机飞越这个世界，计算机生成你前方地面的速度比你飞越它的速度还要快。这允许对星球大小的世界进行实时探索，而没有任何延迟。

总结

这篇论文介绍了InfiniteDiffusion，一种将现代 AI 的逼真度与旧式游戏数学的无限、快速且一致的特性相结合的方法。他们通过构建Terrain Diffusion（地形扩散）系统对此进行了测试，该系统能够实时生成逼真的无限星球。他们甚至将其接入游戏《Minecraft》，用他们的 AI 替换了游戏原生的世界生成器，让玩家能够探索一个看起来像照片但行为模式像电子游戏的程序化生成世界。

关键要点是，他们解决了 AI 的“无限画布”问题，使我们能够拥有既无限又照片级逼真的世界。

技术摘要：InfiniteDiffusion

问题陈述

程序化地形生成长期以来依赖于噪声函数（如 Perlin、Simplex），因为它们能够提供无缝的无限范围、种子一致性和常数时间的随机访问能力。然而，这些方法在真实感方面存在根本性局限，缺乏自然地理的层次化、多尺度组织（如大陆、流域、侵蚀）。相反，现代扩散模型提供了前所未有的保真度和控制力，但通常局限于有边界的画布。现有将扩散扩展到无限域的尝试往往牺牲了核心程序化属性（如种子一致性或随机访问），或无法在大规模上保持全局连贯性。本文旨在解决弥合学习生成模型的高保真度与程序化噪声的功能实用性之间的挑战，以用于开放世界生成。

方法论

1. InfiniteDiffusion 算法

核心贡献是InfiniteDiffusion，这是一种专为惰性、无界生成而设计的 MultiDiffusion 的免训练泛化方法。

重构：与假设固定画布上有限窗口集合的标准 MultiDiffusion 不同，InfiniteDiffusion 将采样过程重构为在无限域（ $\mathbb{Z}^2$ ）上进行。它定义了一种惰性评估策略，仅计算与查询区域 $R$ 相交的窗口。
惰性评估与缓存：该算法维护两个稀疏无限张量， $A_t$ （累积分子）和 $B_t$ （累积权重），用于存储窗口贡献。当查询某个区域时，系统仅递归评估必要的窗口，并缓存结果以避免重复计算。
截断 $T$ ：为了使查询可行，作者将扩散模型 $\Phi$ 重新定义为任意去噪函数（例如，几步一致性模型），而非单一原子步骤。这允许将扩散调度（ $T$ ）截断为 1 或 2 步，而不会显著损失连贯性，从而将推理步数与内部扩散调度解耦。
属性：该算法保证：
- 种子一致性：整个无限输出由单一种子确定性决定，独立于查询顺序。
- 常数时间随机访问：查询任何固定大小的区域均为 $O(1)$ ，独立于位置或先前的查询。
- 并行化：固定时间步长的窗口更新是独立的，可以并行执行。

2. 无限张量框架

为了支持在不超过内存限制的情况下存储和操作无限张量，作者引入了一个开源的无限张量框架。这个 Python 库抽象了滑动窗口计算，允许模型使用有界的瞬态缓存和分块磁盘存储，在隐式无限图像上运行。

3. 地形扩散框架

作者应用 InfiniteDiffusion 创建了Terrain Diffusion，一种学习式的程序化地形生成器。

数据：一个全球数据集，合并了 MERIT DEM（陆地）和 ETOPO1（海洋）以及 WorldClim 气候数据，处理为等面积的 2048×2048 瓦片，以最小化极地畸变。
预处理：
- 有符号平方根变换：应用于高程数据，以压缩高起伏值并使方差分布更均匀，从而提高训练稳定性。
- 拉普拉斯编码：为了处理地球高程的巨大动态范围，模型预测低频分量（模糊/下采样）和高频残差。去噪步骤从噪声输出中重新提取低频通道，以消除低频误差，同时保留高频细节。
分层架构：
- 粗略模型：根据用户草图或程序化噪声生成基本的大陆结构（23 公里/像素）。
- 核心潜在模型：一个潜在扩散模型（EDM2 + sCM 骨干），在潜在空间中将粗略结构细化为 46 公里瓦片，预测低频高程通道和残差潜在变量。
- 一致性解码器：一个扩散解码器，将潜在变量扩展为高保真度高程图。
- 条件控制：核心模型以粗略高程块和气候变量（温度、降水）为条件，以确保全局连贯性。

关键结果

视觉保真度：在消费级 GPU（RTX 3090 Ti）上，该系统生成具有清晰山脊、连贯流域和平滑过渡的真实感地形。
- FID 分数： $T=2$ 的 InfiniteDiffusion 在分块生成中实现了 14.78 的 FID，几乎与非分块的基础一致性模型（12.72）相当，并显著优于 Perlin 混合（186.70）和朴素分块（74.44）。
- 伪影减少：将 $T$ 从 1 增加到 2 有效地消除了无限分块过程引入的大部分伪影。
性能与延迟：
- 速度：该系统以交互式速率生成地形。在 512×512 瓦片（90 米分辨率）上，首瓦片时间（TTFT）约为 1.72 秒，第二瓦片时间（TTST）约为 0.66 秒。
- 遍历速度：生成速度超过轨道速度（约 7,700 米/秒）9 倍。以高速公路速度行驶的车辆拥有 170 倍的性能缓冲。
- 可扩展性：分层方法允许无限缩放进入无限世界，其摊销成本保持为 $O(S^2)$ ，与级联深度无关。
集成：该框架已成功集成到 Minecraft 引擎中，取代了原生世界生成器，以流式传输实时、生物群落一致的地形。

意义与主张

本文声称，InfiniteDiffusion 成功弥合了扩散模型的高保真度与程序化噪声的功能实用性之间的差距。通过保留种子一致性和常数时间随机访问，它使得创建既真实又互动的“实用无限虚拟世界”成为可能。

作者将Terrain Diffusion定位为第一个实用的学习式程序化地形生成器，能够在消费级硬件上实时流式传输整个星球。他们认为，这种方法超越了基于噪声的方法（缺乏结构）和有界扩散方法（缺乏规模）的局限性，为下一代开放世界生成奠定了基础。本文谦逊地指出了局限性，例如分散点查询的低效率（由于基于窗口的生成）以及获取层次结构最底层训练数据的挑战，并建议合成数据作为一种潜在的解决方案。