ADDA: a Modular Framework for Representing, Simulating and Assimilating Dynamics with End-to-end Differentiability
本文介绍了 ADDA，这是一个基于 PyTorch 的模块化软件框架，它通过提供多样化动力系统和观测方案的灵活且可并行化的表示，实现了端到端的可微数据同化，从而克服了现有的互操作性和实现方面的挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在地球不断变化的复杂系统中，从翻腾的大气到深层的洋流，科学家们面临着一个恒久的难题：当数据不完整且模型并不完美时，如何了解当前的实时状况？自然界并不会向人类交付一份包含每一处温度、压力和洋流的完美实时地图。相反，研究人员依赖于两个并不完美的来源。首先是计算机模拟，它们基于我们对物理定律的最佳理解构建而成，但往往过于简化，无法捕捉混沌世界的每一个细节。其次是来自卫星、浮标和气象站的观测数据，这些数据虽然真实，但通常是稀疏、多噪且存在巨大空白的。为了对天气或气候做出准确预测，科学家必须将这两个来源融合在一起。这个过程被称为“数据同化”（data assimilation），其本质是通过权衡物理定律的推演与传感器的实际观测，来寻找系统最可能的单一状态。它是现代天气预报背后的引擎，然而在历史上，这一直是一项艰巨的手动任务，需要专家为遇到的每一个新问题编写复杂的定制代码。
德国赫尔姆霍茨-赫里翁中心（Helmholtz-Zentrum Hereon）的一组研究人员推出了一种新工具，旨在消除这些障碍，使结合模拟与观测变得更加容易。他们将这一创造物称为 ADDA，一个模块化的框架，充当了解决这些科学问题的通用翻译器。在此项工作之前，科学家若想测试一种合并数据与模拟的新方法，往往必须从头开始重写模拟代码，确保它能够计算自身的误差，并手动构建用于调整模型的数学机制。这个过程缓慢且易出错，使得公平比较不同方法几乎成为不可能。新的框架通过提供一套标准的构建模块改变了现状。它允许研究人员接入一个模拟程序，定义拥有的数据类型，并选择一种组合方法，而无需成为每个特定系统底层数学领域的专家。
这项工作的核心创新在于使用了自动微分（automatic differentiation）技术，该技术最初是为训练人工智能而开发的。过去，为了根据观测结果改进模拟，科学家必须手动推导并写下“伴随”（adjoint）方程——即通过数学逆向工程，研究初始条件的微小变化如何波及整个系统。这是一个繁琐且易出错的过程，通常需要数年的专业训练。新的框架完全绕过了这一步骤。由于模拟程序是使用能够自动计算这些逆向路径的现代软件库构建的，研究人员只需定义正向物理过程，系统就会自动计算出如何调整起始点以匹配观测结果。这使得一项曾经需要数学家团队完成的任务，现在单个研究人员在几小时内即可完成。
研究人员通过在十种不同类型的动态系统上进行测试，展示了这种方法的威力，这些系统涵盖了从简单的数学模型到复杂的海洋和大气流体表示。在一次测试中，他们使用了一个名为 Lorenz-63 的混沌系统，该系统模拟了天气的不可预测性。他们展示了该框架如何利用带有噪声、不完整的测量数据，高精度地重建系统的真实隐藏状态，甚至能预测在观测停止后系统的行为。在另一个实验中，他们处理了一个具有两种不同时间尺度的系统，其中一些变量变化缓慢，而另一些则快速波动。该框架成功处理了这种复杂性，即使在从未直接观测到快速移动部分的变量时，也能通过观察它们如何影响慢速部分来推断出这些快速移动的部分。
该工具表现出了极高的灵活性，能够处理不规则数据，例如在随机时间而非固定周期到达的观测数据，并且可以处理带有外部作用力的系统，例如推挤河口水流的潮汐。研究人员还展示了该框架如何跨越不同的软件世界。他们将用一种编程语言编写的模拟程序连接到用另一种语言构建的框架中，证明了科学家无需重写整个代码库即可使用这些新方法。在涉及神经网络模拟器（一种用于近似复杂流体流动的快速简化模型）的测试中，该框架成功利用该模拟器执行了数据同化，表明即使原始模拟程序过于复杂而难以直接使用，这些工具依然有效。
或许最重要的一点是，这项工作包含了一种用于长期模拟的“滑动窗口”方法。在混沌系统中，试图根据一个月后的数据来调整一个月前的起始条件往往会失败，因为误差会变得过大。新框架通过将问题分解为更小的、重叠的区块来解决这个问题。它先解决第一周的数据融合，将结果作为第二周的起点，以此类推。这使得系统能够在保持准确性的同时进行长时间运行，而不会导致计算变得不稳定。研究人员还展示了该框架可以在现代计算中常见的强大图形处理器（GPU）上运行，这使得处理大规模问题（如全球海洋建模）的速度足以应对需求。
这项工作并不声称已经解决了地球科学领域的所有问题。研究人员承认，目前许多气象服务使用的关键业务模型仍是用不支持这些自动计算功能的旧编程语言编写的。然而，论文指出前行的道路是清晰的：要么这些系统需要被重写为现代的可微代码，要么需要被能够模仿它们的神经网络模拟器所取代。新框架提供了必要的底层基础设施，使上述两条路径之一都变得可行。通过消除手动数学推导的沉重负担，该工具为更广泛的科学家提供了实验新方法（即结合数据与物理学的方法）的大门，有望带来更准确的预报，并加深我们对塑造这个世界的复杂系统的理解。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。