An implication of activation functions for Physics-Informed Neural Networks (PINNs) to solve non-autonomous differential equations

在现代科学与工程学的广阔领域中，预测系统如何随时间变化是一个根本性的挑战。无论是追踪卫星的轨道、模拟疾病的传播，还是模拟热量在材料中的流动，科学家们都依赖于一种被称为微分方程的特定数学规则。这些方程描述了一个量如何相对于自身及其环境发生变化。几十年来，求解这些方程一直是经典数值方法的领域，这些方法将问题分解为微小且易于处理的步骤。虽然这些方法很可靠，但在面对复杂的高维问题时，往往会变得计算成本极高且难以应对。近年来，一种借鉴自人工智能领域的新方法应运而生。研究人员开始使用神经网络——一种受人类大脑启发的计算机系统——来学习并逼近这些方程的解。这些被称为“物理信息神经网络”（Physics-Informed Neural Networks）的系统，不仅基于数据进行训练，还基于物理定律本身进行训练，从而使其能够找到符合底层科学规律的解。

然而，为了让这些神经网络发挥作用，它们需要一种特定的内部机制来引入复杂性和非线性，就像一个开关允许电路不仅仅是直接传递电流一样。这种机制被称为激活函数。它决定了网络在每一步如何处理信息，塑造了其学习和逼近正确答案的能力。长期以来，在这些科学求解器中选择哪种激活函数在某种程度上一直是一种猜测，研究人员通常根据习惯而非证据来选择。这种不确定性至关重要，因为错误的决策可能导致预测不准确，或者导致系统无法学习到解。问题仍然存在：在众多可用选项中，哪一个才是真正最适合求解那些支配我们物理世界的复杂、随时间变化的方程的？

最近的一项研究旨在通过一种系统且严谨的方法来回答这个问题。研究人员将重点放在一类特定的问题上：非自治常微分方程（non-autonomous ordinary differential equations）。通俗地说，这些方程的演变规则不是静态的，而是随着时间不断演变的，通常受到时间本身或不断变化的环境条件等外部因素的驱动。为了测试他们的理论，团队构建了一个标准的神经网络架构，并使其接受了十项不同数学挑战的连番考验。这些挑战包括由指数增长、多项式曲线和三角波驱动的方程，涵盖了自然界中广泛存在的行为特征。至关重要的是，研究人员保持了实验中所有其他变量完全一致。他们使用了相同的网络结构、相同的训练周期以及相同的数据点。唯一改变的是激活函数。他们测试了该领域最常用的九种函数，范围从广为人知的 Sigmoid 和 ReLU 到更现代的变体如 GELU、ELU 和 SiLU。

这一广泛模拟的结果清晰且具有决定性。研究发现，没有任何一个函数能完美适用于所有场景，但有一个函数在整体表现中脱颖而出。GELU 激活函数成为了首选，在 60% 的实验中提供了最准确的解。与其他已知精确答案相比，它始终产生最小的误差。紧随其后的是另外两个函数，ELU 和 SELU，它们也展示了强大的能力。相比之下，一些较旧的、更传统的选择，特别是 Sigmoid 和 Softmax，表现不佳。研究人员将这种失败归因于一种被称为“饱和”的现象，即这些函数在某些区域变得过于平坦，导致它们停止有效学习，从而使网络停滞。研究还指出，虽然像 ReLU 这样的函数在通用人工智能领域很受欢迎，但它们并不适合这些特定的科学任务，这可能是因为它们的尖锐、棱角分明的特性在计算物理驱动求解器所需的精确导数时会带来困难。

为了确保这些发现并非偶然，研究人员扩大了测试范围，加入了第二组包含六个额外方程的测试。结果依然稳固。在这个扩展组中，GELU 再次在约三分之二的情况下占据领先地位，而 ELU 在剩余情况下取得了领先。没有其他函数能在这一验证组中获得第一名。研究表明，GELU 和 ELU 的成功源于它们的数学平滑性。与具有尖锐拐角或平坦平台的函数不同，这些平滑函数允许网络更可靠地计算变化和梯度，这对于要求网络满足方程中嵌入的严格物理定律至关重要。这种平滑性有助于训练过程更稳定地收敛，从而得出更准确的最终结果。

这项工作的意义对于依赖这些计算工具的科学家和工程师来说是务实且直接的。该研究为选择合适的工具提供了一个明确的、基于证据的指南。研究人员建议，不应将激活函数的选择视为随机或通用的设置，而应根据问题的具体性质来决定选择。对于一般的随时间变化的问题，GELU 似乎是最稳健的默认选项。对于涉及多项式相互作用的问题，ELU 是一个强有力的替代方案。同时，研究明确建议不要在这些类型的残差求解器中使用像 Sigmoid 这样具有饱和特性的函数，因为它们很可能会阻碍性能。通过识别最有效的激活函数，这项研究有助于提升神经网络的能力，为开发更高效、更准确的方法来求解描述我们宇宙的微分方程铺平道路。这项工作并不声称已经解决了该领域的每一个问题，但它为未来的发展奠定了坚实的基础，指向了一种更系统、更明智的方法来构建下一代科学计算工具。