🔢 mathematics

Singular value soft-thresholding via the polar decomposition

本文提出了一种通过将其归约为矩阵极分解来计算奇异值软阈值的方法，该方法利用了对 GPU 友好的算法，实现了相对于标准 SVD 方法的显著加速，尽管由于符号函数的非连续性，其适用性可能仅限于低精度场景。

原作者： Stephen Becker

发布于 2026-07-27

📖 1 分钟阅读🧠 深度阅读

原作者： Stephen Becker

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图清理一个堆满数据的杂乱房间。在计算机世界中，这种“混乱”通常以被称为矩阵的巨大数字网格形式出现。有时，这些网格在大量的噪声中隐藏着重要的信号。为了找到这些信号，数学家们使用了一种名为“奇异值软阈值化”（singular value soft-thresholding）的工具。你可以把它想象成一种智能过滤器，它观察网格中的每一条信息，判断其是否微小到可以忽略不计，如果是，就将其轻轻地缩减为零。这个过程是教人工智能如何高效学习的一个超级重要的步骤，它帮助计算机在不被静电干扰的情况下识别出模式。

为了进行这种过滤，计算机通常必须执行一项被称为“奇异值分解”（SVD）的沉重计算。这就像是试图通过把每一本书都从书架上取下来、阅读书脊并重新组织整个建筑来对一座巨大的图书馆进行分类。它运作得非常完美，但速度很慢，并且需要计算机的不同部分之间进行大量的“交谈”，这会造成交通拥堵。最近，科学家们一直在寻找一种更快的分类方法，特别是在擅长同时处理许多简单数学任务的强大图形处理器（GPU）上。他们发现了一个名为“极分解”（polar decomposition）的捷径，这就像是一种快速、粗略的分类方法，能让书籍极快地进入大致正确的区域，即使并不完全精确。当时的大问题是：我们能否使用这种快速、粗略的分类器来完成这项精细的数据缩减工作，还是说它对于如此精确的任务来说太过于混乱了？

这篇由科罗拉多大学博尔德分校的斯蒂芬·贝克尔（Stephen Becker）撰写的论文给出了答案：“可以，但有一个前提条件。”作者展示了你确实可以使用快速的极分解方法来进行奇异值软阈值化技巧。主要发现是，通过结合几种巧妙的数学手段，你可以完全跳过缓慢且沉重的 SVD 过程，转而使用极分解。在图形卡上进行的测试显示，无论数字网格有多大，这种新方法都比标准方法快了大约 10 倍。

然而，这篇论文也非常诚实地说明了这种权衡。虽然这种新方法速度极快，但它并不完美。作者指出，由于数学运算涉及到一个“符号函数”（sign function，有点像一个只有开和关两种状态的电灯开关），结果会有些“跳跃”，不适用于需要极端精确度的场景。在他们的实验中，在某些设置下误差率有时高得无法接受，但在其他设置下表现相当不错（误差率约为 1%）。论文建议，如果你愿意为了巨大的速度提升而接受一点点的不准确，那么这是一个伟大的工具。他们建议多运行几次数学运算（大约 20 次迭代），以确保结果尽可能达到最佳状态。最终，这并不是一把能解决所有问题的魔杖，但当速度比微观层面的完美更重要时，它是工具箱里一把功能强大的新扳手。

技术摘要：通过极分解实现奇异值软阈值处理

问题陈述
奇异值软阈值（SVST）是矩阵核范数最小化中近端梯度法的一个基本子程序。标准方法计算矩阵 $A$ 的奇异值分解（SVD），对奇异值进行阈值处理，然后重构矩阵。然而，SVD 计算是通信密集型的，且在现代 GPU 架构上与矩阵-矩阵乘法相比效率较低。虽然矩阵极分解可以通过高效的、通信友好的迭代方法（如 Newton-Schulz）在 GPU 上计算，但目前尚未被直接用于在不依赖中间特征分解或 QR 分解的情况下计算 SVST。

方法论
本文提出将奇异值软阈值问题归约为矩阵极分解的计算，从而避免直接计算 SVD。

设 $A = U\Sigma V^\top$ 为 $m \times n$ 矩阵的 SVD。极分解定义为 $P = UV^\top$ 。目标是计算软阈值矩阵 $A_\tau = U \lfloor \Sigma - \tau I \rfloor_+ V^\top$ ，其中 $\lfloor x \rfloor_+ = \max(x, 0)$ 。

核心贡献是命题 1，它提供了一个精确的代数恒等式，仅通过矩阵乘法和两次极分解来计算 $A_\tau$ ：
$A_\tau = \frac{1}{2}(A + AS) - \frac{\tau}{2}(P + PS)$
其中：

$P = \text{polar}(A)$
$S = \text{polar}(A^\top A - \tau I_n)$ （或若 $n > m$ ，则 $S = \text{polar}(AA^\top - \tau I_m)$ ）

该推导依赖于标量恒等式 $\lfloor x \rfloor_+ = \frac{1}{2}(|x| + x)$ 以及关于极分解中符号性质的特性。该算法使用两次极分解调用取代了 SVD 步骤。由于现代极分解算法（如 Newton-Schulz）的主要成本是矩阵-矩阵乘法，该方法充分利用了经过 GPU 优化的内核。

关键贡献与实现

算法归约： 本文确立了 SVST 可以通过极分解来计算，为低通信复杂度的算法提供了路径。
GPU 优化： 作者使用 Polar Express [APMG25] 实现了该方法，这是一种迭代 Newton-Schulz 变体，它将单精度转换为 bfloat16 以提高速度。
代码可用性： 本文提供了 SVD 基准方法和所提极分解方法的 Python/Torch 实现，包括处理矩形矩阵以选择适当辅助矩阵 $S$ 的逻辑。

数值结果

准确度 vs. 迭代次数： 在 $301 \times 300$ 高斯矩阵上的实验表明，在极分解子程序进行 4 到 6 次迭代后，相对 Frobenius 误差迅速下降并趋于平稳。准确度高度依赖于阈值 $\tau$ ；当 $\tau$ 接近最大奇异值时误差较大，但在 $\tau$ 接近最小奇异值时，误差保持在合理水平（约 1%）。
性能： 在 2026 年 7 月测试的一系列 GPU（L4, A100-SXM4-80GB, RTX）上，对于矩阵规模在 $1000 \times 1001$ 到 $5000 \times 5001$ 之间的矩阵，基于极分解的算法比标准的基于 SVD 的基准方法快约 10 倍。两者随矩阵规模 $m$ 的缩放比例相当，但常数因子上的提升非常显著。
权衡： 该方法以牺牲准确度来换取速度。使用 bfloat16 和迭代近似引入了误差，作者指出这些误差对于高精度应用可能无法接受。

意义与局限性
本文声称该方法提供了一种“低通信、对 GPU 友好”的奇异值软阈值算法。通过利用矩阵-矩阵乘法的通信成本显著低于 LU、QR 或 SVD 分解这一事实，该方法在 GPU 硬件上实现了实质性的加速。

然而，作者对该方法的鲁棒性持谨慎态度。他们明确指出，由于“符号函数的非连续性”，将问题归约为极分解“可能仅适用于低精度应用”。论文将鲁棒性的研究留给未来的工作，并指出虽然该方法很快，但它并不是高精度 SVD 需求的掉入式替代方案。其主要价值在于在可以接受近似解的场景（例如特定的 Transformer 类神经网络训练方法，如 Muon）中的速度优势。

技术摘要：通过极分解实现奇异值软阈值处理

类似论文