🤖 machine learning

PLS in the Mirror of Self-Attention

本文提出将偏最小二乘法（PLS）构建为线性化的自注意力机制，以便在神经网络范式下对其进行研究，并指出 PLS 的降维特性意味着自注意力机制内在地包含了维度归一化，从而促进更优的学习效果。

原作者： Jiangsheng (Jason), You

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiangsheng (Jason), You

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人理解一个复杂的故事。你手中有两堆庞大的信息：一堆是线索（我们称之为 X），另一堆是结果或答案（我们称之为 Y）。你的目标是弄清楚这些线索是如何推导出答案的。

这篇由 Jiangsheng (Jason) You 撰写的论文，提出了一种巧妙的视角，通过将一种名为**偏最小二乘法（PLS）的古老统计工具，与一种名为自注意力（Self-Attention）**的现代高科技大脑机制（即 AI 聊天机器人中使用的那种）进行对比，来重新审视它。

以下是使用简单类比进行的拆解：

1. 旧方法：PLS 作为“匹配游戏”

在传统方法（PLS）中，想象你有一个杂乱的房间，里面堆满了线索（X），旁边还有一堆独立的答案（Y）。

问题：线索往往纠缠在一起，或者重复了相同的信息（这被称为“共线性”）。
解决方案：PLS 试图寻找一种特殊的“滤镜”或“透镜”（在数学上称为矩阵 P 和 Q），你可以透过它们进行观察。
目标：当你透过这些透镜观察时，经过过滤的线索（T）和经过过滤的答案（U）应该尽可能完美地匹配。数学计算试图最大化这两堆过滤后数据之间的“拥抱”（协方差）。
结果：一旦找到了这些透镜，你就可以仅通过观察过滤后的线索来预测答案。这就像找到了一个特定的角度，使得阴影与投射它的物体完美重合。

2. 新方法：自注意力作为“智能聚光灯”

现在，看看现代 AI（Transformer）是如何工作的。它使用一种称为自注意力的机制。

过程：AI 接收输入线索，并生成它们的三个版本：查询（Query）（我们在寻找什么？）、键（Key）（我们有什么？）和值（Value）（实际数据）。
魔力：它向线索投射一道“聚光灯”。它会问：“这个线索与那个线索有多少关联？”它创建一张关系图，然后利用这张地图将数据混合在一起。
论文的洞察：作者注意到，这种“聚光灯”（自注意力）背后的数学原理，与“透镜”（PLS）背后的数学原理非常相似。
- 在 PLS 中，你投影数据以寻找最佳匹配。
- 在自注意力中，你投影数据以寻找最佳关系。
- 论文提出，PLS 本质上是自注意力的一种“线性化”（简化、直线化）版本。

3. 重大揭示：翻转剧本

通常，人们将 PLS 视为一种寻找隐藏模式的方法。但这篇论文翻转了剧本。

新视角：作者建议，我们不应仅仅试图寻找线索与答案之间的“最佳匹配”，而应从一开始就将 PLS 视为一个回归问题（即预测问题）。
类比：把它想象成调收音机。
- 旧观点：“让我们找到静电噪音和音乐重叠最多的频率。”
- 新观点（论文主张）：“让我们直接调谐收音机，使音乐听起来完全像我们想听的歌曲，同时最小化静电噪音。”
通过以这种方式重写数学公式，作者表明 PLS 可以使用神经网络所采用的相同“梯度下降”方法（一种逐步学习的过程）来求解。

4. 这为什么重要？（根据论文）

这篇论文关于这种联系揭示了两个主要观点：

PLS 是一个神经网络：通过将 PLS 视为简化的自注意力，我们可以利用现有的强大 AI 训练工具来研究它。
自注意力是一种过滤器：如果 PLS 擅长通过减小数据规模（降维）来进行预测，那么看起来像 PLS 的自注意力，必然也在执行一项隐藏的工作，即归一化或清理数据，以使学习更容易。它不仅仅是在观察关系；它还在整理杂乱无章的信息。

总结

这篇论文是一个数学上的“顿悟”时刻。它指出："嘿，这种用于预测结果的‘老派’方法（PLS），实际上只是现代 AI 中使用的华丽‘注意力’机制的一个更简单、更直线的版本。"

通过意识到这一点，我们可以理解，当 AI 使用“注意力”时，它实际上是在秘密地执行统计学家几十年来一直通过 PLS 所做的数据清理和整理工作。这篇论文提出了一种新的数学书写方式，使 PLS 能够完美地融入神经网络的世界，将其视为一种直接的预测工具，而不仅仅是一个模式发现工具。

技术摘要：自注意力镜像中的偏最小二乘法

问题陈述

本文探讨了偏最小二乘法（PLS）——一种处理多元数据中高共线性的经典统计方法——与现代神经网络范式（特别是 Transformer 架构）之间的理论脱节。虽然 PLS 传统上被表述为对预测变量（ $X$ ）与响应变量（ $Y$ ）的潜在投影之间互协方差的最大化约束，但作者试图用自注意力机制的语言重新构建 PLS。核心问题在于证明 PLS 可被视为自注意力的一种线性化形式，从而允许通过深度学习的视角来研究 PLS；同时，这也暗示 PLS 固有的降维特性可能为理解自注意力如何归一化维度以改善学习提供启示。

方法论

本文采用数学重构方法，以弥合 PLS 与 Transformer 架构之间的鸿沟：

将 PLS 重构为回归问题：
传统上，PLS 定义为最大化投影矩阵 $T$ 和 $U$ 之间互协方差的迹（公式 2）。作者提出了一种替代成本函数（公式 13），将 PLS 框架化为一个回归问题，旨在最小化变换后的预测变量与变换后的响应变量之间的平方误差：
$\text{argmin}_{P,D,Q} \sum_{(X,Y) \in S} |XPD - YQ|^2$
需满足正交约束（ $P^T P = I, Q^T Q = I$ ）。其中，$XP $代表预测变量的投影，$ TDQ^T$ 代表用于预测响应的变换。
整合重构误差：
为了平衡潜在变量提取与回归精度，作者引入了一个广义损失函数（公式 14），其中包含针对 $X$ 和 $Y$ 的参数化重构误差：
$L(P, Q, D; \alpha, \beta) = \frac{1}{2} \left[ |XPD - YQ|^2 + \alpha |XPP^T - X|^2 + \beta |YQQ^T - Y|^2 \right]$
该公式允许使用梯度下降法优化 PLS 参数，类似于神经网络的训练过程。
映射到自注意力：
本文在 PLS 分解与 Transformer 中的自注意力机制之间建立了结构上的类比。
- PLS： 将 $X$ 和 $Y$ 分解为投影 $T=XP $和$ U=YQ$，以最大化协方差。
- 自注意力： 通过权重矩阵（ $W_Q, W_K, W_V$ ）将输入 $X$ 投影到查询（Query, $Q$ ）、键（Key, $K$ ）和值（Value, $V$ ）空间，并通过 $\text{softmax}(QK^T/\sqrt{l})V$ 计算注意力。
- 联系： 作者提出，PLS 的投影矩阵（ $P, Q$ ）对应于注意力机制中的权重矩阵。具体而言，PLS 中的回归步骤（通过潜在成分从 $X$ 预测 $Y$ ）被证明在结构上等同于 Transformer 中的解码器块，其中源特征（ $X_f$ ）和目标特征（ $Y$ ）通过注意力进行交互。

主要贡献

线性化自注意力解释： 本文提供了一个观察视角，将 PLS 视为一种线性化的自注意力机制。这种重构使得 PLS 能够在神经网络范式内进行分析，表明 PLS 中的“载荷矩阵”在功能上类似于注意力层中的权重矩阵。
基于回归的 PLS 公式： 通过将目标从互协方差最大化转变为显式的平方误差最小化（公式 13），本文提供了一种更灵活的公式，能够潜在地容纳非正交变换和非线性激活，并且可直接通过梯度下降求解。
维度归一化假设： 作者提出，PLS 固有的降维和预测变量选择可能表明，自注意力机制包含某种程度的维度归一化，从而有助于改善学习，并在两种方法之间建立了类比。

结果与主张

本文未提供实证实验结果、数据集或性能基准。相反，“结果”是理论观察和数学等价性：

数学等价性： 作者证明，最小化平方误差 $|WX - Y|^2$ 在数学上等价于最大化点积 $(WX) \cdot Y$ ，从而将基于回归的 PLS 公式（公式 13）与基于协方差的公式（公式 2）联系起来。
结构对齐： 本文声称，混合源和目标注意力的 Transformer 解码器块，在符号上等价于 PLS 中的回归步骤（公式 5）。
优化路径： 重构后的损失函数（公式 14）被声称可通过梯度下降求解，这与通常用于 PLS 的传统迭代算法（如 NIPALS）不同，从而使 PLS 与标准的深度学习优化技术保持一致。

意义与范围

本文将自己定位为提供“有趣观察”的“笔记”，而非包含新实证发现的全面研究。其意义在于将经典统计技术（PLS）与现代深度学习架构（Transformer）进行概念统一。

作者谦逊地声称，这一视角使得 PLS 能够“在神经网络范式内进行研究”，并暗示 PLS 的特性（降维）可能为理解自注意力的机制提供启示。本文明确避免发明新的应用或未来影响，严格专注于两个框架之间的数学映射。它充当了一个理论桥梁，提出 PLS 中发现的维度归一化是自注意力机制中潜在存在的特征，从而为理解 Transformer 如何处理多元数据提供了新的视角。