Why we should condition denoising diffusion generative models on windows of past observations

预测天气是一场与时间及混沌的持续赛跑。气象学家依赖于一种被称为“数据同化”的过程，将来自卫星和地面站的新测量数据与大气计算机模型融合在一起。可以将这个过程想象成一名跑步者，在奔跑时必须不断对照地图检查自己的位置；如果停止检查，就会偏离航线。在传统的天气预报中，这种检查是在一个严格的循环中进行的：做出预测，新数据到达，修正预测，然后为下一时刻生成新的预测。这个循环之所以有效，是因为计算机模型记得自上次检查以来发生的所有事情，并利用这些历史记录来构建对未来的更好推测。然而，新一代的人工智能工具，特别是被称为“扩散模型”的一种类型，在跟上这一循环方面遇到了困难。这些人工智能工具擅长从大量的历史数据中学习模式，但它们通常将这些数据视为静态的快照。它们并不自然地记住导致当前时刻的一系列事件，这导致它们产生的误差比传统方法更大。

研究人员马蒂亚斯·莫茨费尔德（Matthias Morzfeld）和丹尼尔·霍迪斯（Daniel Hodyss）发现了一种解决这种记忆问题的方法，而无需每次在需要新预测时都强迫人工智能从头开始重新学习。他们发现，通过训练这些人工智能模型去观察一段短期的过去观测窗口（而不是仅仅看最近的一个观测值），这些模型可以达到与当今复杂的循环系统同样的高精度。他们的研究是在一个简化的、代表大气的数学模型上进行的，结果表明，人工智能不需要记住天气的整个历史。相反，它只需要记住最近的几个步骤。这一洞察使得人工智能能够高效运行，既避免了频繁重新训练的高昂计算成本，又能捕捉到进行准确预测所需的关键信息。

核心挑战在于这些人工智能模型是如何构建的。标准的扩散模型通过学习海量数据集来工作，本质上是在记忆典型的天气模式是什么样子的。一旦训练完成，它们就可以生成新的、真实的场景。然而，在用于预测时，这些模型通常依赖于一个“先验”（prior），即在看到最新数据之前对天气应有状态的普遍预期。在传统的循环系统中，这种预期会被不断更新；昨天的最佳猜测成为了今天的起点。在标准的人工智能设置中，这种预期是固定的，基于数十年的平均天气。这种静态的视角忽略了导致当前风暴或热浪发生的特定事件链，从而导致结果不够准确。研究人员意识到，要让这些人工智能模型适用于预测，就需要给它们一种短期记忆。

为了测试这个想法，作者创建了一个简化的、线性的模型来模拟大气。这是一个数学上的“玩具版本”现实世界，旨在易于分析，但又足够复杂以展示信息是如何流动的。他们设置了两类不同的人工智能系统。第一类旨在根据一组观测值来估计大气的当前状态，这项任务被称为“数据同化”。第二类旨在预测下一个观测值将会是什么，这项任务被称为“直接观测预测”。在这两种情况下，他们都以两种方式训练模型：一种是人工智能仅观察最新的观测值，另一种是人工智能观察包含前几个观测值的滑动窗口。

结果清晰且具有决定性。当人工智能模型被训练为仅观察最近的一个数据点时，它们的预测准确度显著降低。它们的表现就像忘记了就在刚才发生的一切。然而，当模型被训练去考虑一个过去的观测窗口时，它们的性能得到了极大的提升。在模拟中，一旦过去的观测数据达到一定的长度——在他们的特定设置中约为九个时间步长——误差率就会下降到与一个记得所有内容的完美全循环系统相同的水平。尽管如此，人工智能模型本身在循环之间从未经过重新训练。它只是将过去的观测窗口作为一个固定的输入，有效地模仿了传统系统的记忆功能，而没有承担沉重的计算负担。

研究人员还探索了当这些模型使用神经网络（即通常驱动人工智能的复杂类脑结构）时会发生什么。他们发现，即使存在训练神经网络时固有的缺陷，使用过去观测窗口带来的益处依然存在。拥有记忆窗口的模型始终比没有记忆窗口的模型更准确。这表明，这种改进不仅仅是完美数学设置下的偶然现象，而是这些人工智能工具要做好预测工作的基本要求。研究证实，过去观测值对当前天气状态的影响会迅速消退，就像池塘中的涟漪消散一样。因此，人工智能模型不需要无限的记忆；它只需要记住不久前的过去，就能发挥作用。

这一发现挑战了该领域长期存在的一个假设。几十年来，标准做法一直是坚持一个严格的迭代循环，即通过逐步更新模型，将整个分析过程向前推进。作者认为，对于人工智能驱动的系统，这种严格的坚持可能不再是必要的。通过使用一个固定的过去数据窗口，这些模型可以在无需进行昂贵且频繁的重新训练的情况下，实现近乎最优的准确度。这为更高效、更强大的人工智能天气预报器开启了大门，使它们能够从过去学习，而不被记住每一个细节的计算成本所拖累。

这项研究还涉及了我们如何看待天气预测的更广泛意义。它表明，“循环范式”——统治了气象学界六十多年的范式——是可以被适配到人工智能时代的。虽然传统系统依赖于微小的增量更新来保持准确，但具有完全非线性能力的人工智能系统可以处理更大的信息跳跃。这使得我们可以以一种此前并不被鼓励的方式来重复利用过去的观测数据，只要这些数据是在一个精心选择的窗口内使用的。研究表明，解锁这些人工智能工具全部潜力的关键，不在于强迫它们完全模仿旧方法，而在于赋予它们正确的记忆——一种对近期过去的、专注的观察——从而使它们能以最先进传统系统的精度进行学习和预测。

最后，莫茨费尔德和霍迪斯的这项工作为下一代天气预报提供了一个实用的蓝图。它证明了通过将这些强大的生成模型建立在过去观测窗口的基础上，我们可以克服它们天生的“健忘”倾向。这一简单的调整将它们从静态的模式匹配器转变为动态的预测工具，使其能够与目前正在使用的最复杂系统相媲美。前进的道路不是去构建更大、更复杂、试图记住一切的模型，而是去构建更聪明的模型，让它们明确知道需要看多远的过去，才能精准地预见未来。