💻 computer science

Dual Numbers for Arbitrary Order Automatic Differentiation

本文介绍了 DNAOAD，这是一个基于 Fortran 的框架，它通过利用直接的非嵌套表示来高效计算任意阶导数，以克服现有嵌套双数方法在内存和可扩展性方面的局限性，从而用于高性能科学计算。

原作者： F. Peñuñuri, K. B. Cantún-Avila, R. Peón-Escalante

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

原作者： F. Peñuñuri, K. B. Cantún-Avila, R. Peón-Escalante

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：一种“即时”进行数学运算的新方法

想象你是一位正在完善食谱的厨师。你想确切知道如果多加一点点盐或多加一点点糖，味道会发生怎样的变化。在计算机科学和工程领域，这被称为微分（Differentiation）——即弄清楚当输入发生微调时，结果会如何变化。

长期以来，计算机有两种主要的方法来进行这种计算：

符号数学（Symbolic Math）： 像一个超级聪明的学生，在纸上写出整个数学公式。它很精确，但如果食谱变得过于复杂，这张纸就会变成一团巨大且无法阅读的乱麻。
有限差分法（Finite Differences）： 像是品尝汤的味道，加一撮盐，再品尝一次，然后凭感觉猜测差异。这很容易操作，但它不够精确，而且如果你操作得次数太多，就会把汤给搞砸了（数值误差）。

自动微分（Automatic Differentiation, AD） 是其中的“金中则美”之选。它能在不需要庞大公式或混乱猜测的情况下，计算出精确的变化量。它的工作原理是运行一次计算机程序，但保留一个计算的“影子”，从而追踪每一个步骤是如何变化的。

问题所在：“俄罗斯套娃”陷阱

本文关注的是一种特定类型的自动微分，称为对偶数（Dual Numbers）。把对偶数想象成一个带有微小“影子”的标准数字。

标准数字： 5
对偶数： 5 + (微小的影子)

当你用这些数字进行数学运算时，影子会自动更新，告诉你导数（变化率）。

问题在于：
大多数使用对偶数来寻找高阶导数（例如二阶、三阶或一百阶变化）的现有计算机程序，使用的是一种叫做**嵌套对偶数（Nested Dual Numbers）**的方法。

类比： 想象你要寻找第10阶导数。计算机必须把一个对偶数放入另一个对偶数中，再放入另一个中，就像一套由10个俄罗斯套娃组成的嵌套结构。
结果： 随着阶数变深（阶数越高），计算机必须携带越来越多的套娃。内存占用量会爆炸式增长。这就像你每走一步，背包都会变得更重。最终，计算机会因为空间不足（内存耗尽）而崩溃，或者变得极其缓慢。

解决方案：DNAOAD（扁平化的背包）

本文作者（来自尤卡坦自治大学）开发了一个名为 DNAOAD 的新工具。

他们没有使用“俄罗斯套娃”（嵌套）的方法，而是构建了一个扁平的、直接的系统。

类比： 想象你不是在使用嵌套的娃娃，而是拥有一个长长的排布好的盒子。
- 盒子 1 存放主数字。
- 盒子 2 存放第一次变化。
- 盒子 3 存放第二次变化。
- 盒子 100 存放第一百次变化。
为什么更好： 你不需要打开一个盒子才能到达下一个盒子。你可以直接伸手进入盒子 100。这意味着计算机不会被“嵌套”所压垮。它使用的内存更少，并且可以高效处理极高阶的导数（比如第50阶或第100阶变化）而不会崩溃。

它是如何工作的（核心秘诀）

为了让这个扁平系统发挥作用，作者使用了一个名为 Faà di Bruno 公式 的数学工具。

隐喻： 如果你想知道一个复杂的机器（由较小函数组成的复合函数）是如何变化的，你不能只看外部。你必须理解内部每一个齿轮是如何转动的。
该公式就像一本“大师级说明书”，它告诉计算机如何精确地组合所有小齿轮的变化，从而得到最终结果，而无需构建一个巨大的嵌套结构。

这篇论文实际做了什么

它引入了一个新的软件包 (DNAOAD)： 它是用 Fortran 编写的，这种语言以高性能科学计算而闻名。
它避免了递归： 它明确避免了会导致内存问题的“嵌套”数据结构（这在 Julia 或 C++ 等语言中很常见）。
它处理“任意阶数”： 你可以告诉计算机：“我要第50阶导数”，只要你的计算机有足够的内存，它就能高效完成。
它包含了一个工具库： 该软件包自带了常用数学运算（如正弦、余弦、指数）的预建函数，这些函数能自动处理这些“扁平”的对偶数。

论文中的实际案例

论文展示了一个简单的例子，计算了一个涉及正弦和对数的函数的导数。

他们将计算机设置为寻找最高 5阶的导数。
他们输入一个复数。
程序瞬间吐出了原始值以及第1、第2、第3、第4和第5次变化，且一次性完成。

他们还提到了一个更难的挑战：将一个函数自身嵌套 1,000 次。在这种情况下，符号数学会失效（公式会变得过于庞大），而标准的猜测法则会太不准确。他们的这种方法通过保持数据结构的扁平化和高效性，成功应对了这一挑战。

总结

论文介绍了 DNAOAD，这是一种教计算机如何计算复杂变化率的新方法。与其构建一个由于自身重量而坍塌的嵌套盒子塔，他们构建了一个长长的、扁平的架子。这使得科学家和工程师能够高效地计算极高阶的导数，使其成为高性能科学计算中的强大工具。

技术摘要：用于任意阶自动微分的双数法

问题陈述
自动微分（AD）是一种以机器精度计算导数的关键技术，它避免了有限差分的截断误差以及符号微分的表达式膨胀问题。虽然使用双数（Dual Numbers）的前向模式 AD 在一阶和二阶导数计算方面已趋于成熟，但在实现任意阶导数时，实际应用面临着显著的扩展性挑战。现有的高层方法，例如 PyTorch（基于图）或 Julia 的 ForwardDiff（嵌套双数），随着导数阶数的增加，会出现严重的内存增长和计算效率低下问题。具体而言，用于表示高阶双数的递归或嵌套数据结构会导致内存迅速耗尽和栈溢出，从而限制了其在高性能科学计算中的适用性。

方法论
作者提出了 DNAOAD，这是一个基于 Fortran 的框架，通过使用双数的直接、非嵌套表示法来计算任意阶导数。其核心方法论包括：

直接表示： 该框架并非通过递归嵌套双数（即，一个 $n$ 阶双数并不被定义为一个 $n-1$ 阶的双数），而是将一个 $n$ 阶双数定义为一个包含 $n+1$ 个系数（ $a_0, \dots, a_n$ ）的单一结构体。这完全避免了递归数据结构。
Faà di Bruno 公式实现： 为了处理复合函数 $f(g(x))$ 在任意阶下的链式法则，作者实现了 Faà di Bruno 公式。这涉及使用动态规划（算法 1）迭代计算偏贝尔多项式（ $B_{n,k}$ ），而非使用递归调用，从而确保了计算效率。
运算符重载： 该框架重载了标准 Fortran 运算符和内建函数（如 sin、exp、*、+），使其能够对自定义的 dualzn 派生类型进行运算。对于没有简单闭式高阶导数的初等函数（如 arcsin），系统依赖于通过基本算术运算（加法、乘法、平方根）利用莱布尼茨法则和 Faà di Bruno 公式进行导数的自动传播。
软件架构： 该软件包作为独立的源代码和 FPM（Fortran 包管理器）模块进行分发。它包含了处理精度、核心双数类型（dualzn_mod）以及用于计算梯度、黑塞矩阵（Hessian）和雅可比矩阵（Jacobian）的微分算子（diff_mod）模块。

主要贡献

非嵌套架构： 主要贡献在于放弃了递归数据结构，转而采用扁平化的、基于数组的表示法。这从根本上改变了内存扩展行为，使得在不产生嵌套方法所带来的内存爆炸的情况下，计算极高阶导数成为可能。
支持任意阶： 该框架支持任何阶数 $n$ 的导数，仅受限于可用计算资源和数值精度，而非受限于实现约束（通常仅限于 1 阶或 2 阶）。
Fortran 实现： 该工作提供了一个高性能的 Fortran 实现，Fortran 是科学计算中广泛使用的语言，这使得高阶 AD 能够被引入到传统及现代的 Fortran 代码库中。
全面的运算符集： 该软件包包含了针对初等函数、复数算术和矩阵运算的重载运算符，使用户能够直接在双数代数中编写数值算法。

结果与性能声明
论文通过示例程序展示了该框架的能力，例如计算 $f(z) = \sin(z)\log(z^2)$ 直至五阶的导数，以及对嵌套 1,000 次的函数进行微分。作者声称，通过避免递归：

内存使用： 与嵌套双数实现相比，该方法显著降低了内存消耗。
扩展性： 该方法克服了现有方法的关键扩展性限制，能够高效计算“极高阶”导数。
效率： 贝尔多项式的迭代计算以及通过索引对系数的直接访问，促进了适用于高性能应用的快速执行。

意义
作者将这项工作定位为第一个在避免递归或嵌套表示的同时保持可扩展性的实现任意阶双数的实用方案。其意义在于弥合了高阶 AD 的理论理解与高性能科学计算中资源受限的实际应用之间的鸿沟。通过提供一种能够处理高阶导数且不会导致内存耗尽的工具，DNAOAD 为优化、灵敏度分析以及需要高阶导数信息但此前因实现障碍而无法获取的数值建模领域开辟了新的可能性。这项工作被视为将高阶 AD 集成到 Fortran 生态系统中的基础性步骤。