Limitations of Learning Tanh Neural Networks with Finite Precision

技术摘要：有限精度下学习 Tanh 神经网络的局限性

问题陈述
本文研究了在有限精度算术条件下，学习具有双曲正切（$\tanh$）激活函数的神经网络类别的基本局限性。虽然理论结果证明了神经网络具有通用近似能力，但在实际学习中，受限于仅有的有限个采样值以及计算设备的有限精度。作者探讨了这样一个问题：需要多少样本量 $m$，才能保证算法能够以特定的精度 $\epsilon$ 近似某一类 $\tanh$ 网络中的每一个函数？

本研究聚焦于 $\tanh$ 激活函数的平滑且非齐次特性，以及有限精度（量化）所带来的约束。与 ReLU 网络不同——由于其齐次性质（$\rho(\lambda x) = \lambda \rho(x)$），可以精确构造局部化的“凸包”（bump）函数——$\tanh$ 网络是实解析的，通常无法产生具有紧支撑（在正测度集上精确为零）的函数。这造成了一个显著的分析障碍，因为依赖于精确局部化的标准技术在此失效。

方法论
作者开发了一种全新的框架，通过利用有限精度算术来克服 $\tanh$ 网络缺乏精确紧支撑的问题。其方法包含三个主要技术组件：

1. 有限精度局部化： 作者假设存在一个量化映射 $Q_{\epsilon_p}$，其中任何绝对值 $|x| \le \epsilon_p$ 的值都被舍入为零。他们构造了产生“锐利局部化凸包”的神经网络：这些函数在一个微小的立方体内是非平凡的，但在该区域之外呈指数级衰减。通过调整网络深度和参数，这些函数的“尾部”被强制降至机器精度阈值 $\epsilon_p$ 以下，从而使得尽管它们具有正的 $L_p$ 范数，但在计算设备看来与零是不可区分的。

2. 不动点迭代机制： 一个核心创新是利用了 $\tanh$ 激活函数的固定点结构。对于缩放后的激活函数 $\sigma_a(x) = \tanh(ax)$（其中 $a > 1$），存在非平凡的不动点 $\pm x_\star$ 满足 $\tanh(ax_\star) = x_\star$。作者设计了网络层，通过对一个粗糙的凸包函数迭代应用 $\sigma_a$。这种迭代会放大信号，驱动输出向阶跃函数轮廓演化（在支撑集内部收敛至 $\pm x_\star$，并在外部迅速衰减）。该机制取代了 ReLU 分析中基于齐次性的构造方法。

3. 自适应随机算法框架： 下界是针对自适应随机算法推导出的，这类算法可以根据先前的观测结果选择采样点，并使用内部随机性。证明过程利用了“抽屉原理”：通过构造一大族不相交的凸包函数（中心位于网格上），并证明它们的支撑集小于采样密度，作者证明了这些函数中的很大一部分在所有采样点处都会产生零量化值。因此，算法无法将这些函数与零函数区分开来。

主要贡献与结果
本文确定了学习 $\tanh$ 神经网络的采样复杂度下界。主要结果（定理 6）证明，对于输入维度为 $d$、深度为 $L$、宽度为 $B$ 且系数有界的网络类，使用 $m$ 个样本的任何算法的近似误差 $\epsilon$ 满足：
$$\epsilon \gtrsim C \cdot m^{-1/p}$$
其中常数 $C$ 取决于网络架构参数。

关键发现包括：

• 对架构的指数依赖性： 为了达到固定的精度，所需的允许样本数 $m$ 随网络架构参数（特别是宽度和深度）呈指数级增长。这意味着即使优化问题在计算上是可解的，随着网络规模的增大，学习也会变得不可行。
• 与 ReLU 的比较： 虽然 ReLU 设置（Berner 等人，2023）表现出随 $m^{-1/d - 1/p}$ 变化的下界，但在有限精度下的 $\tanh$ 设置产生的下界随 $m^{-1/p}$ 变化，然而 $\tanh$ 下界中的常数因子随架构呈指数级依赖，导致了类似的实际不可行性。
• 内在不稳定性： 结果揭示了学习问题中存在一种根本性的不稳定性。对于任何使用亚指数级样本量的算法，都存在这样一对网络：它们在所有采样点处的差异都微乎其微（低于机器精度），但在 $L_p$ 距离上却很大（数量级为 0.5）。因此，在所述采样范围内，没有任何重构程序能同时实现准确性和稳定性。
• 精度的作用： 硬度结果取决于有限精度的假设。构造过程依赖于将凸包函数的尾部“隐藏”在量化阈值 $\epsilon_p$ 之下。

意义与主张
本文声称将先前针对 ReLU 网络的硬度结果扩展到了广泛使用的 $\tanh$ 激活函数，后者在循环架构（RNN、LSTM）、物理信息神经网络（PINN）以及现代基础模型中十分普遍。

作者强调，其结果不仅关乎计算复杂度（运行时间），更关乎信息论限制。即使优化算法能够找到全局最小值，从点评估中唯一识别该函数所需的样本量也是极其庞大的。这项工作表明，$\tanh$ 的平滑性和解析性质（通常被视为有利于微分性的优点）在有限精度环境下，特别是在构建用于证明下界所需的局部化特征方面，引入了严峻的挑战。

论文提供了一个简化定理（定理 1）和一个包含关于机器精度 $\epsilon_p$、网络宽度 $B$、深度 $L$ 和系数界 $c$ 等参数显式依赖关系的完整技术陈述（定理 6）。文中还包含一个数值验证工具，用以演示对于中等规模的网络和现实的机器精度，实现均匀恢复所需的样本量将变得天文数字般巨大，从而使学习任务在计算上变得不可行。