Tensor-Train Layers for Physics-Informed Neural Networks
本文表明，将张量列（Tensor-Train）层集成到物理信息神经网络中，可以在保持原始精度 97% 的同时，显著地将参数量减少高达 8.8 倍，且压缩效率在很大程度上取决于底层偏微分方程（PDE）解的正则性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代科学的广袤版图中，一种强大的工具已经出现，它允许计算机在不需要预设地图的情况下学习自然规律。这些被称为物理信息神经网络（physics-informed neural networks）的工具，充当了复杂物理系统的数字代理。这些网络并不依赖于僵化的点阵网格来计算热量如何扩散、流体如何流动或价格如何变化，而是被训练去直接满足基本的物理方程。它们将宇宙的规则编织进自身的结构之中，使其能够以一种极具灵活性的无网格方式寻找解。然而，这种灵活性也带来了沉重的代价。为了捕捉现实世界现象中经常出现的剧烈、突然的变化——例如流体中的冲击波或市场价值的骤降——这些网络必须构建具有包含数百万个可调参数的海量宽层。这种规模使得它们难以在小型计算机上运行，或难以用于对速度和内存有限的情况下的应用，从而为其实际应用制造了瓶颈。
研究人员 Elias Javanmard、Yosef Javanmard 和 Rezvan Salehi 通过引入一种在不损失解决困难问题能力的前提下压缩这些庞大网络的方法，解决了这一问题。他们将一种称为张量链分解（tensor-train decomposition）的技术应用于这些网络的内部层。可以将网络想象成一系列房间，信息从一个房间传递到下一个；在标准网络中，房间之间的门是一堵巨大的、实心的数据墙。研究人员用一种巧妙且轻量级的结构取代了这些实心墙，这种结构保留了相同的信息，但使用的资源却少得多。通过将庞大的数据连接分解为一串较小的、相互链接的组件，他们成功地将所需的设置数量缩减了近九倍。值得注意的是，即使进行了如此大幅度的削减，压缩后的网络仍然保留了几乎原有的精度，能以接近原始庞大版本时的精准度解决相同的物理难题。
团队在两种截然不同的物理问题上测试了这种方法，以观察其压缩效果在压力下的表现如何。第一个是涉及粘性流体的流体力学问题，已知这类流体会产生剧烈、突然的波动，类似于破碎的波浪。第二个是用于期权定价的金融模型，它描述的是一种更加平滑、更渐进的变化。他们发现，平滑的金融问题比流体问题更容易进行压缩。当问题的解是平滑且可预测时，网络可以被压缩得更小，同时仍保持其精度。然而，当解涉及像冲击波那样尖锐、混沌的特征时，网络需要保持更多的原始规模，以正确捕捉这些细节。这一区别揭示了一个关键洞察：解本身的质量决定了网络可以被压缩多少。
使这种压缩奏效的一个主要障碍在于这些网络的训练方式。由于这些网络必须满足物理定律，训练过程要求计算机不仅要计算答案，还要计算该答案如何响应输入的微小变化，甚至如何随之再次变化。这需要一个复杂的、多步骤的计算过程，而在网络被压缩时，通常会显著减慢速度。研究人员发现了一个特定的瓶颈，即计算机在不必要地重复进行相同的繁重计算。为了解决这个问题，他们开发了一个简单的缓存系统，该系统存储这些计算的结果一次并进行重复使用，从而防止计算机浪费时间重新计算相同的步骤。这一小项调整消除了主要的减速因素，使得压缩后的网络运行速度几乎与原始网络一样快，尽管其结构增加了复杂度。
这项研究的结果为在现实世界中使用这些先进网络提供了清晰的路径。通过根据问题的平滑程度仔细选择网络的压缩程度，科学家们可以创建足够小以适配便携式设备，或足够快以实现每秒运行数千次的模型。对于平滑问题，节省的资源是巨大的，可以实现与庞大原始模型几乎无法区分的高效模型。对于具有尖锐、突然变化的物理问题，节省依然显著，尽管模型必须保持稍大的规模以维持精度。这项工作证明，只要压缩策略与所解决的物理问题的性质相匹配，实现高性能和低资源消耗是完全可能的。研究人员表明，借助正确的数学工具，这些大型网络的沉重负担是可以被减轻的，从而为科学机器学习更广泛、更实用的应用打开了大门。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。