A Hamiltonian driven Geometric Construction of Neural Networks via the Lognormal family, Application to Financial Fraud Detection and to Network Security

技术摘要：基于对数正态族及其哈密顿驱动的几何神经网络构建

问题陈述
传统的人工神经网络（ANN）通常构建在欧几里得空间内，这种局限性限制了它们捕捉存在于统计流形上的结构化数据内在复杂性的能力。虽然由 Amari 开创的信息几何学已经确立了黎曼结构在突触参数中的效用，但很少有研究明确地在特定的统计流形（特别是对数正态流形）上构建神经网络架构。对数正态分布在金融、生物学和信号处理领域广泛存在，然而其参数空间尚未被系统地用于从第一性几何原理中推导神经组件（输入、权重、激活函数）。本文旨在解决如何利用哈密顿几何和李群形式化方法，将对数正态统计流形构建为神经流形并推导出其组件的问题。

方法论
作者提出了一种通过利用对数正态流形的哈密顿和几何结构，在其内部系统地构建神经网络的方法。该方法通过以下步骤进行：

1. 统计公式化： 将对数正态分布视为一个指数族。自然参数 $\theta = (\theta_1, \theta_2)$ 是根据对数数据的均值 ($\mu$) 和标准差 ($\sigma$) 推导而出的。
2. 哈密顿动力学： 对数正态流形上的梯度流被证明等价于一个哈密顿系统。通过基于自然参数定义相空间坐标 $P$ 和 $Q$，该系统被映射到庞加莱圆盘 ($D$)，即双曲几何的一种模型。
3. 李群作用： 系统动力学由李群 $SU(1, 1)$ 在庞加莱圆盘上的作用来描述。该群作用代表了系统在相空间中的演化。
4. 神经组件推导：
   • 输入： 输入向量由庞加莱圆盘的坐标定义，这些坐标源自哈密顿变量。
   • 权重矩阵： 突触权重矩阵由 $SU(1, 1)$作用的旋转分量（由旋转矩阵$\Omega \in SO(2)$表示）和位移向量$\vec{t}$构成。该矩阵属于特殊欧几里得群$SE(2)$。
   • 激活函数： 激活函数源于系统的辛结构，定义为一个涉及角度变量 $\beta$ 的指数和三角函数的群同态。
5. 架构： 所得架构是一个带有偏置的全连接单层网络，其线性组合与非线性特征植根于底层数据的几何结构，而非简单的代数抽象。

核心贡献

• 几何构建： 本文提供了一种严谨的方法，直接从对数正态统计流形推导出神经网络架构，超越了欧几里得近似。
• 哈密顿驱动动力学： 文中证明了对数正态流形上的梯度系统是可积的，并且等价于一个具有相空间中闭合椭圆轨迹的哈密顿系统，这些轨迹被紧致化到庞加莱圆盘上。
• 显式组件定义： 作者基于李群 $SU(1, 1)$ 和辛结构，明确定义了输入函数、权重矩阵（结合了旋转与平移）以及激活函数。
• 理论框架： 该工作建立了信息几何、李群理论与机器学习之间的桥梁，展示了信息处理系统如何能在非欧几里得空间上实现“自然化”。

结果与应用
本文通过两个具体的应用场景验证了所提框架，利用 10 天的数据集来演示异常检测：

1. 金融欺诈检测：

   • 背景： 监测遵循对数正态分布的交易金额。
   • 机制： 欺诈活动会改变基准统计分布 ($\mu, \sigma$)。系统将这些参数映射到庞加莱圆盘。
   • 结果： 在案例研究中，一个具有高波动性的欺诈日（第 6 天）导致了统计属性的剧烈变化。在庞加莱圆盘的双曲特征空间中，这导致了显著的“测地线加速度”，从而比欧几里得距离度量更清晰地将欺诈状态从正常运行包络中分离出来。

2. 网络安全（DDoS 入侵检测）：

   • 背景： 将网络数据包速率（正值且呈偏态分布）建模为对数正态分布。
   • 机制： DDoS 攻击会大幅增加平均数据包速率和波动性。
     ాల 结果： 几何变换流水线显示，在正常流量常规期间，坐标形成内部流形包络线左侧段的高度稳定簇（$x_D \approx -0.499$）。当 DDoS 攻击触发时，分布参数的巨大偏移导致了向垂直边界轴的“爆炸式、近乎正交的跃迁”，迫使 $x_D$ 从 $-0.4996$移动到$-0.0062$，同时$y_D$上升至$0.4999$。这种偏移反映了 Rao-Fisher 距离的巨大变化，提供了一个即时的几何警报，对于可能规避传统基于阈值系统的自适应攻击配置文件具有鲁棒性。

意义与主张
本文声称为几何机器学习提供了一个新视角，证明了基于对数正态族的神经信息处理系统可以被建模为庞加莱圆盘上的动力系统。其意义在于，网络的根本操作（线性组合、非线性）并非任意的代数选择，而是从数据的几何结构中内在推导出来的。

作者断言，这种方法允许设计出天然适用于遵循对数正态分布数据的架构，因为其参数空间本质上是一个流形。通过利用哈密顿形式化方法和 $SU(1, 1)$ 的作用，该模型在孤立的信息轨迹（轨道）内保持统计恒定性，而非在全球圆盘范围内保持。这为在数据自然遵循对数正态分布的系统中检测异常提供了一种计算轻量级的几何方法。这项工作被视为将信息几何应用于特定统计流形上显式构建神经网络的基础性步骤。