🔬 condensed matter

Entangling power of neural networks

本文引入了编码器-解码器神经网络的“纠缠能力”作为量化其生成子系统间相关性能力的指标，证明了即使在资源有限的情况下，这些网络也表现出指数级的纠缠能力，并提供了一个通过量子纠缠理论视角分析机器学习相关性的广义框架。

原作者： Taige Wang, Nisarga Paul, Liang Fu

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Taige Wang, Nisarga Paul, Liang Fu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向一位朋友描述一个巨大且复杂的拼图，但你只能寄给他们两个单独的小信封。一个信封装着拼图左半部分的碎片，另一个信封则装着右半部分的碎片。科学界的一个重大问题是：你需要往这些小信封里塞进多少信息，才能让你的朋友在把它们组合在一起时，能够完美地还原出整幅图像？在量子物理的世界里，这就像是在理解两个遥远的粒子是如何“纠缠”在一起的——这是一种奇特的连接，其中一个粒子的状态会瞬间影响另一个，无论它们相隔多远。科学家们早已知道，对于某些这类量子谜题，那些“信封”需要大得离谱才能装下所有必要的细节。但如果，重新组合拼图的方式不仅仅是简单的堆叠呢？如果重新组合拼图的人拥有一个超级聪明、非线性的头脑，能够通过观察这两个小信封并神奇地推导出整个画面呢？这正是 MIT、哈佛大学和加州理工学院的一个研究团队决定解决的谜题。他们想知道，使用一种特定类型的数学“大脑”——神经网络——是否可以将那些巨大的信封缩小到可以掌控的大小，即使是面对最复杂的量子连接。

这篇题为《神经网络的纠缠能力》（Entangling power of neural networks）的论文，引入了一种衡量神经网络进行这种“重组”技巧优劣的新方法。作者们提出了一个他们称之为“纠缠能力”（entangling power）的概念。把神经网络想象成一个两步走的过程：首先，两个“编码器”（encoders）从左右两侧获取数据，并将它们压缩到一个共享的“潜在空间”（latent space）中（就像把一个大行李箱挤进一个微型背包里）。然后，一个“解码器”（decoder）接收这两个背包的信息，并尝试重建原始的函数或波函数。在过去，科学家们主要通过观察背包里有多少物品（即“施密特秩”，Schmidt rank）来猜测连接的复杂程度。但本文认为，解码器的类型同样重要。如果解码器只是一个简单的线性工具（比如一个基础计算器），它能做的魔法就很少。然而，如果解码器是一个“非线性”的多项式——一种可以扭曲和旋转数据的复杂数学函数——它就能从一个出奇之小的背包中生成海量的纠缠。

研究人员精确计算了这些多项式解码器的效能。他们发现，生成纠缠的能力取决于两个因素：潜在空间的大小（我们称之为 $K$ ，即背包的宽度）以及解码器的复杂度（我们称之为 $p$ ，即多项式的阶数）。他们的主要发现是一个公式，显示纠缠能力 $E_p(K)$ 等于 $\binom{K+p}{p}$ 。这看起来像是一个可怕的数学方程，但结果却令人震撼：即使使用一个规模适中的背包（较小的 $K$ ），只要你使用一个具有足够复杂度的解码器（较高的 $p$ ），网络就能处理天文数字般的连接。

为了证明这一点，作者研究了一个“最大纠缠态”（maximally entangled state），这就像是最复杂的拼图 imaginable（具体来说是 $n$ 个贝尔对，其配置数量为 $D = 2^n$ ）。通常情况下，表示这种状态需要一个随粒子数量呈指数级增长的背包大小。但本文表明，如果你使用多项式解码器，你可以大幅缩小这个背包。例如，如果你使用一个阶数为 $p = n$ （ $n$ 为粒子数）的解码器，你只需要一个宽度约为 $0.29n$ 的潜在空间。更令人惊讶的是，如果你让解码器变得非常复杂（阶数 $p \ge 2n - 1$ ），你可以将整个最大纠缠态压缩进单个变量中（ $K=1$ ）。论文提供了严密的数学证明，表明只要多项式组合的数量大于你需要描述的配置数量，任何函数都可以被精确表示。

作者还澄清了这并不意味着什么。他们指出，虽然从理论上讲，如果解码器足够复杂，你可以将任何函数压缩进极小的空间，但那个解码器本身可能会变得难以构建。在他们的“最大纠缠态”示例中，他们展示了将状态压缩至 $K=1$ 需要一个阶数为 $D-1$ （非常巨大）的解码器。因此，存在一种权衡：你可以让背包变得极小，但“重组指令”（解码器）会变得更长、更复杂。该论文确立了神经网络凭借其非线性解码器，具有“指数级的纠缠能力”，这意味着只要你愿意使用足够复杂的解码器，它们捕捉复杂量子相关性的效率比之前认为的要高得多。这项工作不仅适用于量子物理，它还为理解机器学习模型如何处理相关性提供了一个新的框架，表明我们 AI 模型中的“非线性”是一种超能力，能够实现线性方法无法企及的信息压缩。

技术摘要：神经网络的纠缠能力

问题陈述
表征子系统之间相关性的复杂性是信息论、机器学习和量子物理学中的一个基本挑战。在量子多体系统中，跨越二分划 $A|B$ 的状态复杂度通常由施密特秩（Schmidt rank）来量化，它决定了如矩阵乘积态（matrix-product states）等表示所需的资源。虽然神经网络已成为逼近量子波函数 $\psi(x)$ 的强大工具，但固定规模的网络捕捉高纠缠态的能力仍是一个悬而未决的问题。具体而言，尚不清楚神经网络解码器的非线性如何影响其利用压缩潜空间表示高施密特秩函数的能力。标准的施密特秩分析假设的是双线性解码器，然而神经网络解码器通常是非线性的，这表明施密特秩本身可能无法完全捕捉编码器-解码器架构的表示能力。

方法论
作者引入了一个框架来量化编码器-解码器神经网络的“纠缠能力”。他们将一个关于两个变量集 $x$ 和 $y$ 的一般函数 $f(x, y)$ 模型化为：
$f(x, y) = g(\phi_A(x), \phi_B(y))$
其中 $\phi_A$ 和 $\phi_B$ 是将输入映射到 $K$ 维潜空间的编码器，而 $g$ 是将潜向量映射回标量输出的解码器。作者特别关注多项式阶数为 $p$ 的解码器。

其核心理论方法包括：

定义纠缠能力 ( $E$ )： 作者定义 $E = e^{S_{\text{max}}}$ ，其中 $S_{\text{max}}$ 是在 $A$ 与 $B$ 之间产生的最大冯·诺依曼纠缠熵。该值受施密特秩 $R$ 的限制。
计算单项式数量： 对于一个关于 $K$ 个变量的 $p$ 次全阶多项式解码器 $g$ ，作者计算了独立单项式的数量，记作 $N_p(K) = \binom{K+p}{p}$ 。
理论界限： 他们建立了目标函数的施密特秩 $R$ 、潜空间宽度 $K$ 以及解码器阶数 $p$ 之间的关系。他们证明，若要存在某种表示，必须满足 $R \leq N_p(K)$ 。
构造性证明： 作者通过提供指示多项式（indicator polynomials）的具体构造，证明了只要单项式数量 $N_p(K)$ 超过输入维度 $D$ ，任何函数 $f(x, y)$ 都可以被精确表示。

主要贡献与结果
主要贡献在于推导出了多项式解码器的精确纠缠能力，即：
$E_p(K) = \binom{K+p}{p}$
这一结果导致了以下几个关键发现：

以适度资源实现指数级能力： 虽然线性解码器（ $p=1$ ，对应于标准的施密特分解）产生的纠缠能力呈线性增长（ $E_1(K) = K+1$ ），但增加阶数 $p$ 可以实现指数级增长。如果 $p$ 和 $K$ 按比例增长，纠缠能力将呈指数级增长。
潜空间宽度与阶数之间的权衡： 本文分析了表示极大纠缠态（例如，具有施密特秩 $R = 2^n$ $R = 2^{n}$ 和维度 $D=2^n$ $D = 2^{n}$ 的 $n$ $n$ 个贝尔对）所需的权衡。
- 线性解码器 ( $p=1$ )： 需要指数级大的潜空间宽度 $K \approx 2^n - 1$ 。
- 线性相关于 $n$ 的阶数 ( $p=n$ )： 需要潜空间宽度随 $n$ 线性缩放（ $K \approx 0.29n$ ）。
- 高阶情况 ( $p \geq 2n-1$ )： 可以用单个潜变量（ $K=1$ ）来表示，尽管这需要一个指数阶数的解码器。
多项式夹逼界限： 作者推导了表示具有施密特秩 $R$ 和输入维度 $D$ 的函数所需的最小潜空间宽度 $K_{\text{min}}$ 的界限：
$K_p(R) \leq K_{\text{min}} \leq K_p(D)$
其中 $K_p(M)$ 是满足 $\binom{K+p}{p} \geq M$ 的最小整数 $K$ 。
神经网络实现： 文中展示了用于贝尔态的特定多项式解码器可以通过标准神经网络组件（例如二次激活函数）高效实现，且仅需 $O(n)$ 个单元和 $O(\log n)$ 的深度。

意义
作者声称，这项工作提供了一个用于分析机器学习中相关性的广义框架，该框架将施密特秩的概念扩展到了非线性表示。研究结果表明，当利用非线性（多项式）解码器时，即使在资源有限（较小的潜空间宽度 $K$ ）的情况下，神经网络也拥有指数级的纠缠能力。这表明神经网络可以高效地捕捉高度纠缠的量子态，而这些状态在传统的张量网络表示中可能需要指数级大的键维（bond dimensions）。这项工作将神经网络的表示复杂度重新定义为不仅取决于潜空间的大小，还取决于潜空间宽度与解码器复杂度类别（阶数）之间的相互作用。

类似论文