Optimization of randomized neural networks for transfer operator approximation

技术摘要：用于转移算子近似的随机化神经网络优化

问题陈述
数据驱动的转移算子（如 Koopman 算子和 Perron–Frobenius 算子）近似对于分析复杂动力系统的整体行为至关重要，包括分子动力学中的亚稳态和流体流动中的相干结构。传统方法（如扩展动态模态分解，EDMD）依赖于固定的基函数字典（例如多项式、高斯函数），其最优选择取决于具体系统，且往往是一个未解决的问题。虽然神经网络（NN）可以学习这些字典，但完全训练的网络需要计算昂贵的反向传播，并遭受收敛缓慢、局部极小值和梯度不稳定等问题。

随机化神经网络（如之前提出的 RaNNDy）通过固定隐藏层的权重和偏置，并仅通过闭式解训练输出层，从而解决了这些计算成本问题。然而，该方法存在一个关键限制：近似质量完全取决于权重和偏置的初始随机选择。如果随机生成的基函数无法准确表示系统的特征函数，则所得的算子近似效果较差，且标准 RaNNDy 框架内没有机制可以纠正这一问题。

方法论
作者提出了一种算法，通过调整激活函数的超参数以及权重和偏置的采样分布来优化 RaNNDy 的随机化基，同时在采样后保持网络的结构性参数（权重和偏置）固定。

1. 参数化激活与基：该方法在基函数定义中引入了可调参数 $\omega$（例如权重/偏置分布的尺度，或参数化激活函数如 $\tanh$ 的参数）：$\psi(x, \omega) = \sigma(W(\omega_W)x + b(\omega_b), \omega_a)$。
2. 变分优化：该算法利用 Rayleigh 变分原理定义损失函数。对于自伴算子（可逆系统），目标是最大化投影算子的特征值之和。对于非自伴算子（不可逆系统），该方法通过最大化投影的前向 - 后向算子的迹来近似奇异值。
   • 损失函数表述为 $L(\omega) = \text{tr}(\hat{A}(\omega))$，其中 $\hat{A}(\omega)$ 由数据驱动的协方差和互协方差矩阵（$\hat{C}_{00}, \hat{C}_{01}$ 等）构建。
3. 优化循环：超参数 $\omega$ 通过梯度下降或贝叶斯优化进行迭代更新，以最大化算子近似的迹。一旦 $\omega$ 被优化，输出层权重即通过闭式特征值问题计算，从而保留了随机化神经网络的计算效率。

主要贡献

1. 新颖的优化算法：本文提出了一种通过调整激活函数超参数和分布尺度来优化 RaNNDy 随机化基的方法， bridging 了完全随机化与完全训练网络之间的差距。
2. 在多样化系统中的应用：该方法在三个不同的基准问题上得到了验证：
   • 图上的随机游走（Random walks on Graphons）：展示了从数据中重建图（graphons）和转移密度的能力。
   • Bickley 射流：用于检测相干集的流体动力学基准。
   • 蛋白质 NuG2：用于分析折叠 - 展开转变的高维分子动力学数据。

结果
数值实验表明，与使用固定且初始化不良的随机基相比，优化激活参数显著提高了近似精度：

• 图（Graphons）：算法在少于 20 个 epoch 内收敛，正确识别了对应于三个亚稳态集的谱隙。优化后的基使得图（graphon）和转移密度的准确重建成为可能。相比之下，针对固定分布的网格搜索效果较差，而具有更高学习率的完全训练网络（VAMPnets）则出现发散或陷入局部极小值。
• Bickley 射流：该方法通过聚类优化后的奇异函数成功检测到了相干集。算法在少于 10 次迭代内收敛，比初始随机基更有效地揭示了系统的相干结构。
• 蛋白质 NuG2：优化后的基准确捕捉了主导特征值和特征函数，区分了蛋白质的折叠和未折叠状态。初始随机基产生了较差的近似，突显了所提出优化的必要性。

意义与主张
作者将这项工作定位为完全随机化与完全训练神经网络之间的“折衷”。其意义在于保留了 RaNNDy 的计算优势（闭式解、隐藏层无需反向传播、更低的训练成本），同时缓解了其主要弱点：对基函数初始随机选择的敏感性。

论文声称，由于与训练完整网络相比损失景观更简单，调整隐藏层权重和偏置的分布更容易，从而可能允许使用贝叶斯优化等算法。作者谦逊地指出，虽然当前工作专注于特定的激活参数，但未来的工作可以探索具有更多超参数的激活函数，并在更复杂的动力系统中进行系统的运行时比较，以进一步评估随机化方法的权衡。