1-Lipschitz Neural Networks on Hadamard Manifolds

标题：Hadamard 流形上的 1-Lipschitz 神经网络

问题陈述
控制神经网络的 Lipschitz 常数是确保鲁棒性和稳定性的标准机制，这在对抗分类、基于 Wasserstein 距离的生成模型以及用于逆问题的学习迭代方法中尤为重要。虽然在欧几里得空间中存在大量关于构建 1-Lipschitz 网络（使用谱归一化、正交约束或梯度型残差块）的文献，但许多学习问题自然地存在于弯曲流形上。方向统计学、旋转值成像和基于协方差的视觉（例如扩散张量成像）等领域的各种数据都驻留在黎曼流形上，特别是 Hadamard 流形（完备、单连通且具有非正曲率的空间）。现有的流形值架构侧重于几何表达能力，但缺乏系统的稳定性与收敛性理论。几何深度学习文献（侧重于构建内在层）与欧几里得稳定性文献（依赖于 Lipschitz 和平均算子理论）之间存在着鸿沟。本文旨在解决 Hadamard 流形上稳定、1-Lipschitz 神经网络的设计与分析问题。

方法论
作者提出了一类基于特定势函数驱动的黎曼梯度下降步的神经网络层。其核心理论框架依赖于 Hadamard 流形上的 Busemann 函数 的性质。

1. 理论基础：

   • 作者利用了 Busemann 函数在 Hadamard 流形上是测地凸（geodesically convex）、1-Lipschitz 且为 $C^2$ 类的这一事实。
   • 他们定义了 Busemann 梯度下降层，形式为 $T_\tau(x) = \exp_x(-\tau \nabla V(x))$，其中势函数 $V$ 通过标量非线性函数从 Busemann 函数 $b$ 构建而成：$V(x) = \phi(\lambda b(x) + \beta)$。
   • 论文建立，如果步长 $\tau$ 和函数 $\phi$ 满足特定条件（具体而言，$\phi$ 是凸的、单调递增的，且其导数是与 $\tau$ 相关的有界 Lipschitz 函数），则所得映射是 非扩张的（nonexpansive，即 1-Lipschitz）。
   • 此外，在这些条件下，这些层被证明是 拟 $\alpha$-紧非扩张的（quasi-$\alpha$-firmly nonexpansive）。这一特性至关重要，因为它保证了 Hadamard 空间中不动点迭代（例如 $x_{k+1} = T(x_k)$）的收敛性，这是学习逆问题求解器的必要条件。
   • 该理论被扩展到 乘积流形 ($M^m$)，从而允许将这些层应用于流形值的向量数据（例如每个像素/节点都位于流形上的图像或图）。

2. 实现：

   • 针对两种特定的 Hadamard 流形提供了显式构造：
     • 双曲空间（庞卡莱球/Poincaré Ball）： 使用庞卡莱圆盘上 Busemann 函数的显式公式。
     • 对称正定（SPD）矩阵： 利用基于 Cholesley 分解的 Busemann 函数在配备仿射不变度量下的 SPD 矩阵流形上的表达式。
   • 可接受的激活函数 $\phi$ 包括 Softplus 和 Squared ReLU，并推导出了确保非扩张性的步长约束。

核心贡献

• 理论桥梁： 本文在欧几里得 1-Lipschitz 梯度层与 Hadamard 流形上的内在梯度步之间建立了严谨的桥梁。
• Busemann 层： 作者提出了 Busemann 梯度下降层，并证明了其在显式步长限制下的非扩张性。这些层被证明是拟 $\alpha$-紧非扩张的，从而将其与收敛的不动点动力学联系起来。
• 构造性示例： 作者为双曲流形和 SPD 流形提供了可实现的、闭式形式的 Busemann 层表达式，使该理论具有实际应用价值。
• 乘积流形扩展： 该框架被推广到乘积流形，能够应用于结构化数据，如流形上的图像或图。

实验结果
所提出的架构通过两个数值实验进行了验证：

1. 庞卡莱圆盘 ($D^2$) 上的鲁棒分类：

   • 任务： 在庞卡莱圆盘下的合成数据上进行分类，并应对对抗性扰动。
   • 对比： 将受约束的 Busemann 模型与未受约束的双曲 ResNet 以及受约束的等距（isometric）模型进行比较。
   • 发现： 受约束的 Busemann 模型在干净数据上的准确率与未受约束的 ResNet 相当，但在面对双曲扰动时表现出显著更高的鲁棒性。虽然等距模型不足以处理复杂的边界，但 Busemann 层在保持非扩张结构的同时，提供了必要的几何表达能力。

2. SPD(10) 上的掩码 Wishart 协方差重建：

   • 任务： 使用即插即用（PnP）方案，从带有噪声且被掩码的主块观测值中重建未知的协方差矩阵（一个逆问题）。
   • 对比： 将受约束的“分裂 Busemann”（split Busemann）去噪器与对数欧几里得（Log-Euclidean）残差去噪器以及仅基于数据的梯度下降基线进行比较。
   • 发现： 当作为 PnP 先验使用时，分裂 Busemann 去噪器在相对于真实值的仿射不变距离方面，显著优于仅基于数据的基线和对数欧几里得去噪器。结果表明，非扩张约束稳定了重建过程，使得学习到的先验能够有效地从欠定观测中恢复全局协方差结构。针对仅去噪器的迭代进行的经验测试证实了平均非扩张映射预期的收敛行为。

意义与主张
本文声称填补了几何深度学习领域的一个关键空白，即为流形值网络提供了一种系统的稳定性理论。通过将欧几里得稳定性构造（特别是基于梯度流的非扩张算子）迁移到 Hadamard 设置中，作者证明了：

• 稳定性可以结构化地编码在流形值层中，而不只是事后检查。
• Busemann 函数是构建此类稳定层的自然且计算高效的构建模块。
• 由此产生的网络不仅在理论上具有不动点收敛性基础（通过拟 $\alpha$-紧非扩张性），而且在鲁棒分类和逆问题中均具有实际效果。

作者指出，虽然目前的工作侧重于 Busemann 函数易于处理的 Hadamard 流形，但该方法论为扩展到更广泛的黎曼流形类别以及扩散张量成像等领域的应用打开了大门。本文并不声称解决了所有非 Hadamard 空间的稳定性问题，而是为非正曲率情况建立了一个原则性的框架。