Expressibility of neural quantum states: a Walsh-complexity perspective

该论文提出了“沃尔什复杂度”这一新指标，揭示了浅层加法神经网络难以高效表示具有均匀沃尔什谱的简单纠缠态，从而确立了网络深度作为提升此类神经量子态表达能力的关键资源。

要点

这篇论文探讨了一个非常有趣的问题：当我们用人工智能（神经网络）来模拟复杂的量子物理世界时，到底什么样的“量子状态”是它容易学会的，什么样的又是它怎么学都学不会的？

为了让你轻松理解，我们可以把这篇论文的核心思想拆解成几个生动的比喻：

1. 背景：量子世界的“拼图”

想象一下，量子物理学家试图用神经网络（一种 AI 模型）来描述一个由很多粒子组成的系统。这就好比让 AI 去画一幅极其复杂的拼图。

• 传统观点：以前大家认为，如果这个量子系统里的粒子纠缠得越厉害（就像拼图块之间咬合得越紧密、越复杂），AI 就越难画出来。
• 新发现：这篇论文发现，“纠缠”并不是唯一的衡量标准。有些拼图虽然看起来很简单（粒子之间只和邻居纠缠，像简单的链条），但 AI 却怎么也画不出来。

2. 核心概念：什么是"Walsh 复杂度”？

作者引入了一个新指标，叫**"Walsh 复杂度”。我们可以把它想象成“信息的分布密度”**。

• 比喻：手电筒 vs. 探照灯
  • 低复杂度（手电筒）：想象一个手电筒，光只照在一个很小的区域。在量子世界里，这意味着信息主要集中在某些特定的模式上。这种状态，AI 很容易学会。
  • 高复杂度（探照灯/均匀撒粉）：想象把面粉均匀地撒在整个房间里，到处都是，没有重点。这篇论文发现，有一种特殊的量子状态（叫“二聚体态”），它的信息就像均匀撒在房间里的面粉一样，在所有可能的模式上都是均匀分布的。
  • 结论：这种“均匀分布”的状态，对于某些类型的神经网络来说，就像是要在一张白纸上画出完美的均匀噪点，难度极大。

3. 两种不同的“画法”：加法 vs. 乘法

论文区分了两种构建神经网络的方式，这决定了它们能不能画出那种“均匀撒粉”的图：

• 乘法模型（像 RBM）：
  • 比喻：就像做蛋糕，一层层叠加不同的味道（乘法）。这种模型很擅长处理那种“均匀分布”的复杂状态，因为它们可以通过层层相乘来快速积累复杂度。
• 加法模型（现代常用的深度学习）：
  • 比喻：就像砌墙，一块砖一块砖地往上加（加法）。这是现代 AI 最常用的方式。
  • 问题：作者证明，如果这种“加法砌墙”的墙不够高（网络层数不够深），它永远无法模拟出那种“均匀撒粉”的复杂状态。无论你怎么调整砖块（参数），只要墙不够高，它就只能画出“手电筒”式的简单图，画不出“探照灯”式的均匀图。

4. 深度是关键：层数不够，神仙难救

论文做了一个实验，看看需要多深的网络才能画出那个“均匀撒粉”的图。

• 多项式激活函数（温和的 AI）：
  • 如果 AI 的“大脑”比较温和（使用多项式函数），它需要把墙砌得非常高（层数随着粒子数量对数增长，即 $\log N$），才能勉强学会这种状态。如果层数不够，它就彻底失败。
• Tanh 激活函数（饱和的 AI）：
  • 如果 AI 的“大脑”比较激进（使用 Tanh 函数，容易达到饱和），情况更有趣。
  • 现象：当层数只有 2 层时，它完全学不会；但只要加到3 层，它突然就“开窍”了，能完美画出那个图。
  • 原因：这就像从“砌砖”突然变成了“按开关”。一旦层数达到 3 层，网络就能模拟出复杂的逻辑开关（阈值电路），从而瞬间跨越了那个难度障碍。

5. 总结与启示

这篇论文告诉我们：

1. 纠缠不是万能的：一个量子状态即使看起来很“简单”（纠缠很少），如果它的信息分布太“均匀”（Walsh 复杂度高），普通的浅层神经网络也学不会。
2. 深度是硬通货：对于现代常用的“加法型”神经网络，**深度（层数）**是解决这类复杂问题的关键资源。没有足够的深度，再多的参数也没用。
3. 新的衡量标准：以前我们只看“纠缠度”，现在我们需要看"Walsh 复杂度”。这就像以前我们只看一个人是否强壮（纠缠），现在发现还要看他是否懂得如何均匀分配力气（Walsh 复杂度）。

一句话总结：
这篇论文就像给量子 AI 画了一张“能力地图”，告诉我们：有些看似简单的量子状态，其实是“隐形的高墙”，只有把神经网络盖得足够高（增加深度），或者换一种特殊的“砌砖法”（利用阈值效应），才能翻越过去。

技术摘要

这是一份关于论文《Neural quantum states: a Walsh-complexity perspective》（神经量子态：基于 Walsh 复杂度的视角）的详细技术总结。

1. 研究背景与问题 (Problem)

神经量子态 (Neural Quantum States, NQS) 作为一种变分波函数，在量子多体物理中展现出强大的表达能力。然而，目前缺乏一个定量的理论框架来解释：哪些多体态可以被现代“加法架构”（additive architectures）的 NQS 高效表示？

• 现有局限： 传统的受限玻尔兹曼机（RBM，属于乘法模型）已被证明可以精确表示某些稳定子态，但在表示某些经过局部幺正变换后的态（如 GWD 族）时存在效率瓶颈。
• 核心矛盾： 现代 NQS 越来越多地采用加法参数化（如前馈神经网络、Transformer），其输出是沿计算路径累加的，而非像 RBM 那样是各层因子的乘积。
• 现有指标的失效： 对于没有内置几何结构的加法架构，实空间纠缠熵（real-space entanglement）往往不是衡量表达能力的良好代理指标。浅层网络即可支持体积律纠缠，因此仅凭纠缠度无法区分哪些态难以被加法网络表示。

核心问题： 在多项式参数规模下，加法 NQS 能否高效表示特定的多体态？如果不能，其根本的数学障碍是什么？

2. 方法论 (Methodology)

作者引入了一种新的度量工具——Walsh 复杂度 (Walsh complexity)，并基于此构建了一套表达能力理论。

2.1 Walsh 复杂度定义

作者将归一化波函数 $\psi(\sigma)$ 重新缩放为布尔超立方体上的函数 $f(\sigma) = 2^{N/2}\psi(\sigma)$，并在 Walsh-Hadamard 基（即 $X$ 基）下进行分析。
定义 Walsh 复杂度为：
$$\|f\|_W \equiv \sum_{S \subseteq [N]} |\hat{f}(S)|$$
其中 $\hat{f}(S)$ 是 Walsh 系数。

• 物理意义： $\|f\|_W$ 衡量了波函数在共轭基（$X$ 基）下的分布广度。它等价于 $X$ 基测量结果分布的 Rényi-1/2 熵的指数形式。
• 性质： 对于归一化波函数，$1 \le \|f\|_W \le 2^{N/2}$。当 Walsh 谱完全平坦时，复杂度达到最大值 $2^{N/2}$。

2.2 理论框架

利用 Walsh 变换的性质，作者建立了两个关键不等式：

1. 近似资源限制： $|\langle f, g \rangle| \le \|\hat{f}\|_\infty \|g\|_W$。这意味着，如果目标态 $f$ 的 Walsh 谱非常平坦（$\|\hat{f}\|_\infty$ 极小），那么近似函数 $g$ 必须具有极大的 Walsh 复杂度 $\|g\|_W$ 才能产生非指数小的重叠。
2. 乘法模型的增长： $\|fg\|_W \le \|f\|_W \|g\|_W$。这解释了为什么乘法模型（如 RBM）容易通过层数积累复杂度。

2.3 加法网络的复杂度上界 (Tame-majorant bound)

针对加法前馈网络，作者利用激活函数的绝对泰勒主项 (absolute Taylor majorant) $\tilde{\eta}(R)$ 来传播 Walsh 质量。

• 定理： 对于深度为 $D$、宽度为 $w$ 的加法网络，若激活函数 $\eta$ 解析且参数缩放受控（“温和 regime"），其输出 $g$ 的 Walsh 复杂度满足递归上界：
  $$\|g\|_W \le B + W R_D$$
  其中 $R_\ell$ 由激活函数的增长特性决定。
• 推论： 对于固定次数的多项式激活函数，若参数规模 $K$ 为 $N$ 的多项式，且深度 $D \le (1-\epsilon)\log_p N$，则 $\|g\|_W = \exp(o(N))$。即浅层网络无法生成指数级的 Walsh 复杂度。

3. 关键贡献与案例 (Key Contributions & Examples)

3.1 构造“最小”反例：二聚化弯曲态 (Dimerized Bent State)

作者构造了一个具体的多体态 $|\psi_{XZ}\rangle$：

• 制备方式： 由一层不相交的受控-Z (CZ) 门作用于 $|+\rangle^{\otimes N}$ 制备。
• 传统性质： 仅具有短程纠缠（二聚体纠缠），且可以用键维数为 2 的精确矩阵乘积态 (MPS) 描述。
• Walsh 性质： 其系数模式对应于二次弯曲函数（quadratic bent function，即模 2 内积函数 IP2），具有完全平坦的 Walsh 谱。
• 结论： $\|f_{XZ}\|_W = 2^{N/2}$（最大复杂度）。
• 意义： 这是一个纠缠度低、张量网络描述简单，但加法 NQS 极难表示的态。这证明了纠缠度不是加法 NQS 表达能力的可靠代理。

3.2 理论界限与数值验证

• 理论预测： 在“温和”参数区（如多项式激活），加法网络需要深度达到 $O(\log N)$ 才能生成足够的 Walsh 复杂度来拟合平坦谱目标。
• 数值实验： 在 $N$ 个量子比特上，使用全连接宽度 $w=2N$ 的网络拟合 $f_{XZ}$。
  • 多项式激活： 当深度 $D < \log N$ 时，拟合失败；当 $D \approx \log N$ 时，成功拟合。Walsh 复杂度随深度增长，仅在达到对数深度时接近 $O(N)$ 量级。
  • 有界激活 (如 tanh)： 表现出更尖锐的阈值行为。深度 $D=2$ 时失败，但 $D=3$ 时即可完美拟合。这是因为饱和的 tanh 激活函数等效于阈值门，将问题推入了 TC0（常数深度阈值电路）领域。

4. 主要结果 (Results)

1. 表达能力的新维度： Walsh 复杂度提供了一个独立于纠缠熵的表达能力轴。某些态（如 $|\psi_{XZ}\rangle$）虽然张量网络简单，但对加法网络而言是“硬”目标。
2. 深度资源的必要性： 对于多项式激活的加法网络，深度是生成高 Walsh 复杂度的关键资源。在温和参数区，必须达到 $O(\log N)$ 的深度才能表示平坦谱态。
3. 饱和激活的相变： 当使用有界激活函数（如 tanh）且网络进入饱和区时，网络行为类似于阈值电路 (TC0)。此时，虽然理论上存在超多项式下界，但由于自然证明 (Natural Proofs) 障碍和伪随机性的存在，很难构造显式的下界。这解释了为什么在实际训练中，饱和的 NQS 往往表现出惊人的表达能力。
4. 区分加法与乘法模型：
   • 乘法模型 (RBM)： 复杂度通过因子乘积自然积累（$\|fg\|_W \le \|f\|_W \|g\|_W$），易于表示此类态。
   • 加法模型： 复杂度受限于激活函数的增长和深度，存在明确的“天花板”。

5. 意义与启示 (Significance)

• 理论突破： 填补了 NQS 可表示性定量理论的空白，特别是针对现代加法架构。它指出纠缠度不再是衡量加法 NQS 能力的唯一或最佳标准。
• 架构设计指导： 明确了深度在加法 NQS 中的核心作用。对于需要表示高 Walsh 复杂度的态，必须增加网络深度（至少对数级），而不仅仅是增加宽度。
• 理解“黑盒”能力： 解释了为什么现代深度 NQS（特别是使用饱和激活函数的）在实践中往往比理论预期更强大：一旦进入阈值计算 regime，传统的基于统计特征的复杂度下界证明变得极其困难。
• 未来方向： 区分了“可表示性”（Expressibility）与“可训练性”（Trainability）。即使态在理论上可表示，如何高效地通过变分优化找到该态仍是开放问题。

总结： 该论文通过引入 Walsh 复杂度，揭示了加法神经量子态在表示特定多体态时的内在局限性，证明了深度是克服这些限制的关键资源，并区分了温和参数区与饱和阈值区不同的复杂度行为模式。