🤖 machine learning

Do Neural Networks Learn Structure-Preserving Maps? A Case Study in Latent-to-Hilbert Embeddings

本文证明了神经网络可以学习从压缩潜空间到有效呈现为线性且秩为 4 的希尔伯特空间表示的结构保持映射，但同时指出对于此类近似线性任务，经典的核方法可能优于经过调优的多层感知机。

原作者： Muhammad Adnan Shahzad

发布于 2026-10-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Muhammad Adnan Shahzad

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代计算领域，机器正日益被教导不仅要识别模式，还要理解数据背后隐藏的几何结构。想象一座巨大的图书馆，其中的每一本书不再由其封面代表，而是由多维空间中一组独特的坐标来表示。在这个空间里，两点之间的距离反映了书籍之间的相似程度，而它们之间的夹角则揭示了其内容的关联性。这就是“表示学习”（representation learning）的本质——在这个领域中，人工智能系统将复杂的信息压缩成更简单、更易于处理的形式。研究人员面临的一个核心问题是，这些压缩后的形式是否可以在不丢失原始项之间微妙关系的情况下，被翻译成另一种高度结构化的数学语言。具体而言，科学家们对“保结构映射”（structure-preserving maps）感兴趣，即那些能够保持这些几何关系不变的变换，确保如果两个项目在原始数据中距离较近，它们在新表示中依然保持接近。这种能力对于从对齐不同类型的数据到弥合经典计算机与新兴量子计算领域（其中信息存储在亚原子粒子的状态中）之间的差距等诸多领域都至关重要。

一位研究人员着手测试神经网络——一种模仿人类大脑构建的计算机程序——是否能学会执行这样一种翻译。他们设计了一个实验，使用一个著名的手写数字数据集，将数字图像压缩成一个微小的、八维的摘要。从这个摘要出发，他们根据控制微小量子粒子系统的数学规则，创建了一个目标表示。其目标是观察神经网络是否能够直接将压缩后的摘要映射到这种量子风格的表示中，并保留数字之间的内在关系。研究人员将神经网络的表现与更简单的经典数学工具进行了对比，以观察哪种方法在维持数据结构完整性方面表现得更好。

结果揭示了神经网络解决该问题时的一种惊人的简洁性。尽管网络的架构复杂且目标表示具有非线性特征，但它学习到的映射几乎完全是线性的。当研究人员分析网络行为时，发现一个简单的直线方程就能以91%的准确度描述其行为，这几乎达到了直接映射到理想目标时所实现的98%的准确度。这表明，网络并不需要进行复杂的、扭曲的计算来解决任务；相反，它找到了一条直接且高效的路径。此外，网络推动数据的方向并非由输入图像本身的特征决定，而是由目标量子的几何结构决定的。网络有效地忽略了输入数据中最明显的模式，转而完全专注于匹配目标结构所需的特定方向。

关于网络内部组件重要性的发现或许是最违反直觉的。对网络输出的数学分析显示，其内部有两个方向比其他两个方向要强得多。直觉上，人们可能会认为较弱的方向可以忽略不计且可以安全丢弃。然而，研究人员发现，即使是移除最弱的一个方向，也会导致映射质量显著下降，使误差增加了近六倍。这证明了网络所学习到的每一个方向对于保持几何结构都是必不可少的，无论其贡献看起来多么微小。网络识别出了一个精确的四维子空间，该空间有别于用于创建目标的标准数学基底，并且在不同的训练运行中保持稳定，始终找到相同的首要方向，仅在其他方向上略有变化。

当研究人员将神经网络与一种被称为核岭回归（kernel ridge regression）的经典方法进行比较时，发现后者更为优越。虽然神经网络需要对其内部设置进行大量的调优，且仍存在一定的误差，但这种经典方法能以更少的投入实现更低的误差率。这表明，对于底层关系近似线性的任务，复杂的神经网络可能并非最高效的选择。研究表明，在这些特定场景下，经典的数学方法可以作为更强大的基准，其表现优于更为复杂的神经网络架构。这些发现并不意味着神经网络在所有保结构任务中都毫无用处，特别是在关系高度非线性的情况下，但它们强调了对于这类特定问题，更简单的工具才是更有效的解决方案。

最终，这项研究清晰地描绘了神经网络如何学习在压缩数据与结构化数学空间之间进行翻译。它学习到了一种线性映射，这种映射是由目标而非输入驱动的，并且依赖于它所发现的每一个维度。通过证明经典方法在这一设定下可以胜过经过调优的神经网络，这项研究为未来的工作提供了实用的指导原则：当目标是以近似线性的方式保留几何结构时，研究人员在转向更复杂的神经网络之前，应先考虑使用更简单的经典方法。这一洞察有助于明确深度学习何时是必要的，以及何时更直接的数学工具足以捕捉数据的本质结构。

技术摘要：神经网络能否学习保持结构的映射？

问题陈述

本文研究神经网络是否能够学习一个从压缩潜空间 $z$ 到目标希尔伯特空间表示 $\psi$ 的映射 $f(z) = \psi$ ，且该映射能够保持点与点之间的几何结构（特别是内积）。现有的文献通常假设一个固定的目标表示并测量接近程度（例如，通过典型相关分析或 Procrustes 对齐），而本研究提出了一个不同的问题：网络能否在学习向指定目标空间映射的同时，主动保持底层的几何结构？该问题处于表示相似性分析、核方法和量子机器学习的交汇处，特别针对通过角度编码将经典数据编码为量子乘积态的经典到量子的映射。

方法论

作者使用 MNIST 数据集和一个模拟的 $n$ -量子比特系统构建了一个受控实验设置：

潜空间构建： 一个 8 维自动编码器在 5,000 张 MNIST 图像上进行训练，将 $28 \times 28$ 的图像压缩为潜向量 $z \in \mathbb{R}^8$ 。该编码器是固定的，在随后的映射实验中不进行微调。
目标希尔伯特空间： 目标是一个 $n$ -量子比特乘积态 $\psi(\theta)$ ，通过单量子比特旋转 $R_y(\theta_i)$ 的张量积构建。该状态由源自 $n$ 个角度 $\theta$ 的实振幅定义。
目标生成： 目标角度 $\theta(z)$ 是通过将 $z$ 投影到训练潜变量的前 $n$ 个主成分上，应用 Sigmoid 变换，并重新缩放到 $[0, \pi]$ 范围，从而从 $z$ 确定性地生成的。
评估的模型： 四种模型被用于将 $z$ $z$ 映射到 $\theta$ $θ$ （进而重建出 $\psi$ $ψ$ ）：
- 线性回归： 一个简单的线性映射 $Wz + b$ 。
- MLP（仅 MSE）： 一个仅以均方误差（MSE）为训练目标的双层多层感知器。
- MLP（MSE + IP Loss）： 一个结合了内积保持项损失的 MLP。
- 核岭回归 (KRR)： 一种使用 RBF 核直接回归到真实目标角度的经典方法。
指标： 使用内积保持误差（IP err）、重建误差（MSE）和成对距离保持误差来评估性能。

关键发现与结果

1. 所学映射的近似线性

尽管目标角度是通过非线性 Sigmoid 变换生成的，但所学习的映射可以很好地由一个线性函数近似。

从 $z$ 到真实目标角度的线性回归实现了 $R^2 = 0.98$ 。
从 $z$ 到 MLP 恢复的角度的线性回归实现了 $R^2 = 0.91$ 。
这一微小差距表明，MLP 有效地学习了一个线性映射，其残余的非线性性与 Sigmoid 函数近似线性的区间一致。

2. 所有奇异方向的必要性

尽管奇异值谱显示有两个主导值和两个较小值（约 5.5, 5.3, 1.3, 0.8），但学习到的映射实际上是秩为 4 的（对于 $n=4$ ）。

将映射截断为秩 3 会导致 IP 误差增加 2.5 倍。
截断为秩 2 会导致 IP 误差增加 4.2 倍。
截断为秩 1 会导致 IP 误差增加 5.9 倍。
结论： 每个奇异方向都携带了本质的几何信息；对于此类问题，基于量级的秩截断是不安全的。

3. 目标驱动的主要方向

学习到的映射的几何结构是由目标而非输入驱动的。

学习到的映射的主要方向（第一个右奇异向量）与输入的 principal 方向的余弦相似度为 0.002（基本正交）。
它与提升回输入空间的 target principal 方向的余弦相似度为 0.989。
学习到的子空间与用于构建目标的 PCA 基底并不重合。虽然主要方向在不同随机种子之间是稳定的（变化小于 $6^\circ$ ），但高阶方向在不同种子之间存在显著差异。

4. 核方法的优越性

在这种特定设置下，经典的核方法优于经过调优的神经网络。

KRR 性能： 最佳配置（ $\alpha=10^{-4}, \gamma=0.1$ ）实现了 IP err = 0.0144 和 MSE = 0.0013。
MLP 性能： 最佳配置（512 个隐藏单元，2000 个 epoch， $w_{IP}=1$ ）实现了 IP err = 0.0197 和 MSE = 0.0015。
KRR 在 IP 误差方面比最佳 MLP 高出 1.37 倍。MLP 的帕累托前沿严格位于 KRR 结果之上，表明 KRR 同时实现了更低的重建误差和更低的内积误差。

意义与主张

本文声称，对于从压缩潜空间到希尔伯特空间表示的近似线性、保持结构的映射：

神经网络并非严格必要： 经典的核方法（特别是使用 RBF 核的 KRR）是比调优后的 MLP 更强、更简单的基准。
几何是目标驱动的： 网络学习识别与目标几何相关的输入方向，而非仅仅投影输入的 principal 组件。
秩敏感性： 结构保持依赖于映射的完整秩，即使奇异值暗示可以通过低秩近似来实现。

作者得出结论，虽然神经网络能够学习这些映射，但其优势可能仅限于具有真正非线性目标（如纠缠量子态）的情境。对于本文研究的近似线性情况，更简单的方法已经足够，且应首先考虑这些方法。这些发现呈现为一个特定的实例，展示了在小数据集上，核方法的表现如何能与有限宽度的网络竞争甚至超越后者，从而为“何时神经网络是合适的表示学习工具”这一讨论做出了贡献。