Connectivity determines the capability of sparse neural network quantum states

技术摘要：连接性决定稀疏神经网络量子态的能力

问题陈述
本研究探讨了“彩票假设”（Lottery Ticket Hypothesis, LTH）在利用神经网络近似量子多体哈密顿量基态这一无监督任务中的适用性。与典型的机器学习任务（如图像识别，其中数据是稀疏的）不同，量子多体波函数通常是全稠密表示，其振幅跨越多个数量级。作者致力于解决如何在过参数化的神经网络中寻找稀疏子网络，使其在独立训练时能够达到原始稠密模型的性能。他们特别研究了在这种背景下，“中奖彩票”是依赖于特定的初始权重值（如原始 LTH 所述），还是仅仅取决于稀疏子网络的连接结构。

方法论
研究采用**带权重重置的迭代幅度剪枝法（IMP-WR）**来生成稀疏掩码。该过程包括：

1. 预训练： 训练一个随机初始化的稠密神经网络。
2. 剪枝： 迭代地移除幅度最小的权重，并将剩余权重重置为剪枝迭代开始时的值。
3. 独立训练： 测试由此产生的稀疏子网络（“彩票”）的三种不同初始化策略：
   • $T(\theta_{init}, m_{imp})$：原始 LTH 测试（原始权重 + 已学习的掩码）。
   • $T(\theta_{rand}, m_{imp})$：随机权重 + 已学习的掩码。
   • $T(\theta_{init}, m_{rand})$：原始权重 + 随机掩码。

实验使用了两种物理模型：

• 横场伊辛模型 (TFIM)： 一个在铁磁相和顺磁相之间存在量子相变的二维系统。
• 托里码 (Toric Code, TC)： 一个具有精确基态解的拓扑有序模型。

测试的神经网络架构包括浅层前馈神经网络 (FFNN)、浅层卷积神经网络 (CNN) 和残差 CNN (ResCNN)。训练使用自然梯度下降（随机重构）来最小化变分能量代价函数。

核心贡献

1. 量子态 LTH 的重新表述： 作者证明，对于神经网络量子态，其“中奖彩票”仅由稀疏连接结构定义。特定的权重初始化是微不足道的；从随机初始化训练的稀疏子网络 ($T(\theta_{rand}, m_{imp})$) 其性能与从原始初始化训练的子网络 ($T(\theta_{init}, m_{imp})$) 相当。这与原始 LTH 不同，在原始 LTH 中，特定的初始参数值至关重要。
2. 通用缩放行为： 论文确定了在不同网络规模和物理模型中持续存在的误差与稀疏度曲线中的通用缩放区域。这些区域包括：
   • 高参数密度下的低误差平台 (LEP)。
   • 近似幂律 (APL) 区域。
   • 低参数密度下的高误差平台 (HEP)。
     这些区域的边界由哈密顿量的底层物理特性决定。
3. 稀疏性诱导的相变： 通过将每个自旋的参数数量 ($\rho$) 视为类似于物理场的控制参数，作者在浅层网络中识别出了一个一阶量子相变。该转变发生在 APL 与 HEP 的边界处，其特征是能量导数的间断以及相邻剪枝状态之间费德里蒂（fidelity）的剧烈下降。
4. 通过剪枝进行可解释性研究： 剪枝过程表明，稀疏子网络的结构直接编码了哈密顿量的物理特性。对于托里码，剪枝揭示了一个由“奇宇称滤波器”（odd parity filters）组成的渐近精确解，这些滤波器强制执行了基态的平面（plaquette）条件。

结果

• TFIM 性能： 稀疏网络（保留原参数的 5–20%）达到了与稠密模型相当的精度。向高误差平台的转变在不同的稀疏度水平下发生，这取决于物理相（铁磁相 vs 顺磁相），反映了各相中真实基态特征向量的内在稀疏性。
• 相变特征： 在 TFIM 的临界点，从 APL 到 HEP 的转变以总磁化强度（$M_z$ 和 $M_x$）的突然变化和费德里蒂的骤降为标志，证实了由稀疏性诱导的一阶相变。
• 托里码解： 对托里码进行单层 FFNN 剪枝得到一个误差随权重幅度呈指数级下降的解。所得出的稀疏结构由有效地实现精确基态约束（满足 $\lambda_{Bp}(\sigma) = 1$ 的叠加态）的滤波器组成。
• 架构无关性： 连接性决定性能的现象在 FFNN、CNN 和 ResCNN 中均成立，尽管 ResCNN 由于其局部内核结构提供了强大的初始先验，即使使用随机掩码也表现出高性能。

意义
论文声称，剪枝不仅是模型压缩的有力工具，也是解释量子多体系统物理特性的有力手段。通过将稀疏子网络的结构与底层哈密顿量联系起来，作者展示了：

• 神经网络可以在没有预设架构设计的情况下，发现复杂量子问题（如托里码）的高效且渐近精确的解。
• 剪枝动力学揭示了由表征能力（稀疏性）驱动的量子相变等基本性质。
• 性能对权重初始化的独立性表明，网络的拓扑结构与其所代表的物理之间存在强烈的、内在的联系，这通过消除对精确初始化的需求，简化了量子神经网络态的训练。

作者总结道，这些发现可能有助于将压缩模型用于时间演化、量子电路模拟和精调等对参数效率要求极高的应用领域。