技术摘要：超越收缩映射的深度均衡模型不动点理论

1. 问题陈述

深度均衡模型（DEQ）将神经网络的输出定义为单个权重共享层 $f_\theta$ 的不动点 $z^*(x)$，满足 $z^* = f_\theta(z^*, x)$。这种方法通过隐式均衡公式取代了显式的 $L$ 层堆叠，从而实现了以恒定内存成本实现的无限深网络。

然而，DEQ 的理论保证——特别是均衡点 $z^*$ 的存在性、唯一性和可计算性——几乎完全依赖于巴拿赫收缩原理（Banach Contraction Principle）。这要求算子 $f_\theta(\cdot, x)$ 是严格的 Lipschitz 收缩映射（即 Lipschitz 常数 $k < 1$）。作者指出该假设存在三个关键局限性：

1. 架构限制： 许多现代稳定架构使用正交或等距权重矩阵，这使得 $f_\theta$ 仅为非扩张（nonexpansive）（$k=1$）而非严格收缩。为了防止梯度消失或爆炸并保持表达能力，通常会避免使用严格收缩。
2. 训练约束： 通过谱归一化并设置硬性间隔来强制执行严格的收缩常数 $k < 1$ 是难以维持的，且可能会使模型偏离有用的配置。
3. 缺乏稳定性分析： 现有的收敛证明在允许 $k=1$ 时，无法提供当参数 $\theta$ 更新时均衡点 $z^*$ 偏移的定量界限。

本文旨在填补在 DEQ 场景中应用超越严格收缩的不动点理论的研究空白。

2. 方法论

作者开发了一个框架，通过利用不动点理论中两类不同的算子，放宽了对严格收缩的要求：

A. Wardowski F-收缩

作者没有要求全局 Lipschitz 常数 $k < 1$，而是使用了 F-收缩（F-contractions）。如果一个算子 $T$ 存在一个满足特定单调性和极限条件的函数 $F: (0, \infty) \to \mathbb{R}$ 以及一个常数 $\tau > 0$，使得：
$$\|Tx - Ty\| > 0 \implies \tau + F(\|Tx - Ty\|) \leq F(\|x - y\|)$$
则称 $T$ 为 F-收缩。这类算子严格包含 Lipschitz 收缩（例如通过选择 $F(t) = \ln t$），但允许非全局 Lipschitz 收缩的算子。

B. 用于非扩张算子的 Krasnoselskii–Mann (KM) 迭代

对于仅仅是非扩张的算子（在这种情况下巴拿赫原理失效，且标准的 Picard 迭代 $z_{n+1} = f(z_n)$ 可能不收敛），作者建议使用 Krasnoselskii–Mann 迭代 来替代前向求解器：
$$z_{n+1} = (1 - \lambda)z_n + \lambda f(z_n)$$
其中 $\lambda \in (0, 1)$ 是步长。这种“阻尼”迭代旨在为更广泛的非扩张算子类收敛到不动点。

C. 用于稳定性的度量亚正则性（Metric Subregularity）

为了在没有收缩常数的情况下分析均衡点对参数变化的敏感性（$\theta \to z^*(\theta)$），作者引入了度量亚正则性。该假设认为到不动点的距离由残差界定：
$$\|z - z^*(\theta)\| \leq \mu \|f_\theta(z, x) - z\|$$
这一条件比要求收缩更弱，并允许在非收缩状态下进行稳定性分析。

3. 核心贡献与理论结果

I. F-收缩下的存在性与唯一性 (定理 5.1)

作者证明，如果 $f_\theta$ 在闭集 $D \subseteq \mathbb{R}^n$ 上是 F-收缩的：

• 存在唯一的固定点 $z^*$。
• 标准 Picard 迭代收敛于 $z^*$。
• 收敛速率： 保证以 $O(n^{1-1/k})$ 的多项式速率收敛（其中 $k \in (0,1)$ 来自 F-收缩的定义），这通常比严格收缩的几何速率慢，但足以保证存在性。

II. 非扩张算子的收敛性 (定理 5.5)

对于仅仅是非扩张的算子（例如正交层）：

• 存在性： 如果 $D$ 是紧致且凸的，则存在不动点（通过 Brouwer 定理）。
• 收敛性： KM 迭代收敛至一个不动点。
• 速率： 作者建立了残差 $\|f(z_n) - z_n\|$ 的非渐近收敛速率为 $O(1/\sqrt{n})$。
• 算法意义： 这为无法保证严格收缩的架构提供了一个可计算的前向求解器。

III. 稳定性与数据依赖性 (定理 5.10)

在 $f_\theta$ 是非扩张且满足度量亚正则性的假设下：

• 均衡映射 $\theta \mapsto z^*(\theta)$ 是 Lipschitz 稳定的。
• 具体而言，$\|z^*(\theta_1) - z^*(\theta_2)\| \leq \mu L \|\theta_1 - \theta_2\|$，其中 $L$ 是算子相对于参数的 Lipschitz 常数。
• 这为非收缩状态下的 DEQ 训练提供了第一性原理的鲁棒性界限。

IV. KM 兼容训练算法 (第 6 节)

作者提出了一个改进的训练算法：

• 前向传递： 使用 KM 迭代而非 Broyden 方法或标准 Picard 迭代。
• 反向传递： 使用相同的阻尼迭代方案求解伴随方程 $v = \lambda (\frac{\partial f}{\partial z})^\top v + (1-\lambda)v + \frac{\partial L}{\partial z^*}$。这避免了需要求逆 $(I - \frac{\partial f}{\partial z})$ 的问题，因为当谱半径为 1 时，该矩阵可能是奇异的。

4. 实验结果

作者使用合成数值实验（NumPy，双精度）验证了理论：

1. 仿射反例 (E1)：

   • 设置： 一个 20 维仿射映射 $f(z) = Rz + c$，其中 $R$ 是块对角旋转矩阵（正交，非收缩）。
   • 结果： 标准 Picard 迭代未能收敛（残差保持不变）。KM 迭代收敛，残差下降至 $10^{-3}$，严格符合理论上的 $O(1/\sqrt{n})$ 界限。
   • 意义： 证实了对于等距算子，KM 迭代是必要的。

2. 非线性 DEQ 层 (E1')：

   • 设置： 一个层 $f(z) = \tanh(Wz + Ux)$，其中 $W$ 为正交矩阵（非收缩）对比 $W' = 0.9W$（严格收缩）。
   • 结果： 出人意料的是，Picard 迭代在两种情况下都收敛（平均迭代次数为 52.6 次），表现优于 KM 迭代。
   • 洞察： 饱和非线性（$\tanh$）在均衡点附近提供了局部收缩，使得线性部分的严格收缩假设变得不再必要。作者将其称为一个“诚实的负面发现”，澄清了 KM 放宽机制主要是在近线性区域或非饱和激活函数（如 ReLU）中发挥“承重”作用。

3. 稳定性检查 (E3)：

   • 设置： 扰动正交-$W$ $\tanh$ 层的参数 $U$，并测量输出变化与参数变化的比率。
   • 结果： 该比率在不同扰动幅度下保持有界（均值 0.716），与定理 5.10 预测的 Lipschitz 稳定性一致。

5. 重要性与主张

本文声称提供了第一个能够超越严格收缩的 DEQ 不动点理论框架。其重要性在于：

• 理论扩展： 它将 DEQ 理论扩展到了包括正交和等距架构在内的范畴，这些架构日益流行但此前因巴拿赫收缩要求而被排除在外。
• 实用求解器： 它为非收缩状态下的前向和反向传递提供了一个具体且可证明收敛的替代方案（KM 迭代）。
• 鲁棒性： 它在缺乏收缩常数的情况下，通过度量亚正则性建立了训练动态的稳定性界限。
• 谦逊态度： 作者明确承认，虽然理论保证了非扩张算子的收敛性，但实际的非线性层（如 $\tanh$）可能仍能通过标准方法收敛，这是由于其局部收缩特性。该框架被呈现为一种“安全网”，对于无法保证此类局部收缩的架构（如近线性区域或非饱和激活函数）而言是必不可少的。

作者指出，未来的工作包括将这些保证扩展到脉冲神经网络（时间维度不动点），并将基于 KM 的求解器应用于大规模图像分类基准测试（CIFAR-10/ImageNet），以与收缩基准进行准确性和效率的比较。