Neural Network Field Theory at Finite Width

技术摘要：有限宽度的神经网络场论

问题陈述
本文研究了使用具有有限参数数量（$N < \infty$）的神经网络来表示量子力学（QM）和量子场论（QFT）的局限性。尽管之前的研究已经证明，任何具有非负测度的量子力学或量子场论都可以通过具有可数无限个随机参数的神经网络进行精确表示，但当这些表示被截断为有限宽度时，其性质仍不明确。核心问题在于：哪些传统的欧几里得量子场论的基本性质（如反射正定性、簇分解性和场构型的特定性质）可以在有限 $N$ 时被精确保持，而哪些性质则必须被违反？

一个关键的细微差别在于，通过 Borel 同构定理，单个随机参数在形式上可以编码无限量的信息。因此，作者区分了“有限”在参数计数意义上的含义与在计算或架构意义上的含义。本分析侧重于自然的有限宽度架构，例如具有固定特征或随机输入权重的单层网络，这类架构无法在有限的一组参数中隐藏无限的计算。

方法论
作者结合了泛函分析、谱理论和构造性量子场论技术，对有限宽度的神经网络系综进行了分析。该方法主要分为两个阶段：

1. 量子力学 (1D)： 作者分析了代表量子轨迹的随机过程 $x(t)$。他们利用了 Kosambi-Karhunen-Loève (KKL) 展开，该展开基于随机过程协方差算子的特征函数提供了一种最优的正交分解。他们将标准量子力学（由 Osterwalder-Schrader 公理导出）的无限秩协方差核与有限宽度神经网络的有限秩特性进行了对比。
2. 量子场论 ($d \ge 2$)： 分析转向了广义随机场（Schwartz 分布）。作者考察了三个特定的障碍：
   • 共点极限 (Coincident-Point Limits)： 他们分析了当两点趋于重合（$x \to y$）时两点函数的行为，这在量子场论中通常由于紫外（UV）奇异性而发散。
   • 动量空间分析： 他们研究了场构型的傅里叶变换的支撑集，利用 簇分解 (cluster decomposition) 性质（混合性）来确定典型场抽样的动量内容。
   • 分布神经元 (Distributional Neurons)： 他们测试了允许神经元本身成为 Schwartz 分布（而非普通函数）是否可以解决有限网络与量子场论场构型之间的不匹配问题。

主要贡献与结果

1. 量子力学中的障碍 (有限 $N$)
本文证明，有限宽度的神经网络无法精确重现满足 Osterwalder-Schrader (OS) 公理的常规量子力学系统的相关函数。

• 维度计数论证： 标准量子力学路径积分由连续且处处不可微的路径（例如布朗运动）支撑。有限个分段可微函数的求和生成的路径几乎处处是可微的，无法捕捉真实测度中处处不可微的特性。
• KKL 最优性论证： 非平凡量子力学系统的协方差核具有无限多个严格正的特征值（无限秩）。有限宽度的神经网络对应于向有限维子空间的投影。根据 KKL 展开的最优性，任何有限截断都会引入非零的均方误差。具体而言，作者表明，对于任何有限特征空间，都存在一个函数空间中的方向，在该方向上网络的方差为零，而真实的量子力学过程在每个非零方向上都有严格正的方差（引理 2）。

2. 量子场论中的障碍 (有限 $N$)
对于 $d \ge 2$，作者指出有限宽度网络通常会违反至少一个 OS 公理。

• 共点发散： 具有非平凡 Källén-Lehmann 表示的常规量子场论在共点处具有发散的两点函数（在 $d=2$ 时为对数发散，在 $d>2$ 时为幂律发散）。
  • 结果： 任何神经元输出具有有界逐点方差的有限宽度架构（这是标准激活函数如 ReLU 或具有有限矩参数的有界函数所满足的条件）都会产生有限的平滑方差。因此，此类网络无法重现非平凡量子场论所需的紫外发散。
  • 例外： 作者表明，如果放宽有限方差条件（例如，使用重尾参数分布或奇异振幅），一个有限宽度（甚至是宽度为 1）的网络 可以 重现正确的两点函数和反射正定性。然而，这需要对实际蒙特卡洛采样而言是“非物理”的参数统计特性。
• 动量空间障碍 (簇分解)：
  • 结果： 在簇分解（混合性）的假设下，量子场论中的典型场抽样必须在整个动量空间 $\mathbb{R}^d$ 上具有傅里叶支撑。
  • 障碍： 一个有限宽度的单层网络 $\phi_\theta(x) = \sum_{i=1}^N w_i \sigma_i(a_i \cdot x + b_i)$ 的傅里叶变换其支撑仅限于 $N$ 条直线（与输入权重 $a_i$ 成比例）。由于对于 $d \ge 2$，有限条直线的并集是 $\mathbb{R}^d$ 中的零测集，因此该网络无法重现簇分解量子场论所需的完整动量支撑。这会导致高阶函数中簇分解或反射正定性的违反。
• 分布神经元： 即使将神经元推广为 Schwartz 分布（允许网络输出为分布而非函数），有限秩的障碍仍然存在。有限个分布的和仍然会留下一个无限维的核，在该核中场是确定性的，这与要求在所有方向上都有波动的非平凡 Källén-Lehmann 协方差相矛盾。

意义与主张
论文得出结论，有限宽度的神经网络表示与全套 Osterwalder-Schrader 公理在根本上是不相容的。

• 精确实现： 要通过神经网络精确实现一个常规量子场论，必须要么取无限宽度极限（$N \to \infty$），要么采用显式违反标准物理假设的架构/参数密度（例如，使用无限方差参数或牺牲簇分解）。
• 有限-$N$ 理论的本质： 由有限-$N$ 神经网络定义的理论不仅仅是标准量子场论的“近似”；它们是截然不同的、“奇异的”理论，必然缺乏如欧几里得协变性、反射正定性或簇分解等性质。
• 实际影响： 虽然有限宽度的网络无法 精确 重现标准量子场论，但作者指出，截断近似仍被用于数值研究（例如 Liouville 理论、Maxwell 理论）。然而，这些近似的统计性质并不保证与目标理论匹配，且其误差不仅是数值上的，更是结构性的。

这项工作并未提出新的实验应用，而是作为对有限宽度神经网络作为连续量子系统表示之局限性的严谨理论刻画。它表明，未来的研究重点应放在量化作为 $N$ 的函数对 OS 公理违反的程度，以及分类在有限宽度下可以同时保持哪些组合的公理。