📊 statistics

Exact Stiefel Optimization for Probabilistic PLS: Closed-Form Updates, Error Bounds, and Calibrated Uncertainty

本文提出了一种用于概率偏最小二乘的端到端框架，该框架通过将噪声子空间估计与精确的斯蒂费尔流形优化相结合，克服了现有的优化瓶颈，实现了极小极大最优收敛、闭式不确定性校准以及在多组学基准测试中卓越的预测性能。

原作者： Haoran Hu, Xingce Wang

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoran Hu, Xingce Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对这篇论文的解读。

宏观图景：在噪声中寻找信号

想象你试图理解两个人之间的对话：爱丽丝（视图 X）和鲍勃（视图 Y）。他们说着不同的语言，但讨论的是相同的潜在主题（即“潜在因子”）。然而，他们的对话充满了静电干扰、背景噪音，并且他们有时会谈论一些对方不知道的、仅属于他们自己的独特内容。

概率偏最小二乘法（PPLS） 是一种数学工具，旨在弄清楚：

他们正在讨论的共同主题是什么？
他们所说的话中有多少是随机噪声？
如果爱丽丝说了些新东西，鲍勃最有可能说什么，以及我们对这种预测有多大的把握？

本文介绍了一种新的、更快且更可靠的方法来解决这个难题，特别是在“静电”（噪声）非常嘈杂的情况下。

旧方法的弊端

此前，科学家们使用一种称为 EM/ECM 的方法来解决这个问题。这就像试图在音量旋钮损坏的情况下调谐收音机。

纠缠不清：旧方法试图同时找出“主题”（信号）和“静电”（噪声）。因为它们纠缠在一起，如果静电很大，该方法就会陷入混乱。它会错误地猜测主题，从而导致错误地猜测静电，进而使主题猜测变得更糟。这是一个混乱的循环。
约束限制：数学要求“主题”彼此完全独立（就像互不重叠的独立频道）。旧方法试图通过“惩罚”（类似于软刹车）来强制遵守这一规则，但这通常导致频道略微混乱或重叠，从而引发错误。

新解决方案：“先修复静电”

作者提出了一种新的流程，将问题分解为三个清晰的步骤，就像专业音频工程师修复录音一样：

1. 噪声子空间估计器（先清理静电）

这种方法不是试图在听音乐的同时猜测噪声，而是先倾听“寂静”。

类比：想象一个拥挤的房间。如果你想知道背景闲聊有多吵，你不是去听那些正在说话的人，而是去听没有人说话的角落。
创新点：作者意识到，“噪声”存在于数据的“空角落”中（即低特征值子空间）。通过仅测量那个“空空间”，他们获得了完美的噪声水平估计。
重要性：旧方法试图通过平均“所有东西”（包括音乐）来测量噪声，这导致噪声估计过高且有偏差。新方法在数学上被证明是准确的，无论音乐（信号）有多响。

2. 精确 Stiefel 优化（完美的舞池）

一旦噪声水平被固定并已知，该方法就专注于寻找共同主题。

类比：数学要求主题是“正交”的（彼此成直角，就像 X、Y 和 Z 轴）。旧方法试图通过如果它们偏离就将其推回（一种惩罚）来保持它们成直角。新方法将问题视为在特定的弯曲地板（Stiefel 流形）上跳舞。
优势：在这个“舞池”上，算法采取的每一步都保证能保持主题完美成直角。没有漂移，没有混乱的修正，也没有“软刹车”。这是一次精确的几何行走。

3. 校准的不确定性（天气预报）

大多数模型给你一个预测（例如，“会下雨”）。好的模型还会告诉你它们有多确定（例如，“会下雨，90% 的概率”）。

创新点：由于该方法对噪声和几何结构如此精确，它能够自然地计算出对预测的置信度。
结果：当作者测试这一点时，置信区间是“校准”的。如果模型说"95% 的置信度”，它在 95% 的情况下是正确的。其他方法（如深度学习）经常在这方面出错，并且需要额外的、混乱的“后处理”来修正它们的置信水平。

“高斯化”技巧（可选）

有时数据并不完全是完美的“钟形曲线”（高斯分布）。作者添加了一个名为高斯化的可选步骤。

类比：如果数据像一个凹凸不平的土豆，这一步会将其变成一个光滑的鸡蛋形状，而不改变核心关系。这使得即使原始数据很奇怪或非标准，数学也能完美运作。

现实世界测试：发生了什么？

作者在两种类型的数据上测试了这种方法：

合成数据：虚构的数据，其中他们知道“真相”。
- 结果：他们的方法比旧方法更好地恢复了真实信号，特别是在噪声非常高时。它的速度也快得多。
真实数据（TCGA-BRCA 和 CITE-seq）：
- TCGA-BRCA（乳腺癌）：他们试图从一种类型的生物数据预测另一种。他们的方法与最佳标准方法一样准确，但提供了可靠的置信区间，无需额外的修复。
- CITE-seq（细胞生物学）：这种数据非常复杂。虽然深度学习模型（神经网络）在原始预测精度上略胜一筹，但它们极不擅长知道自己有多确定。新方法在精度上几乎相当，但提供了诚实、可靠的置信分数，并解释了哪些因素驱动了结果（可解释性）。

“胜利”总结

旧方法：信号与噪声纠缠，约束混乱，预测往往过于自信或不够自信。
新方法：
1. 通过观察“空空间”来测量噪声（准确）。
2. 在完美的几何地板上进行优化（稳定且快速）。
3. 自动提供诚实的置信分数（可靠）。

论文结论认为，这种方法对于任何需要进行双视图学习的人来说，都是一个“即插即用”的升级，不仅需要提供预测，还需要提供可信的不确定性度量。

技术摘要：用于概率 PLS 的精确 Stiefel 优化

问题陈述
概率偏最小二乘法（PPLS）是一种基于似然的双视图学习框架，可提供可解释的潜在因子和校准的不确定性。然而，现有的拟合流程通常依赖期望最大化（EM）或 ECM 更新，面临两个关键瓶颈：

噪声 - 信号耦合：潜在信号参数与噪声方差的联合更新会产生相互依赖关系，在高噪声条件下导致目标函数在某些方向上变得平坦，从而引发对初始化的敏感性以及参数恢复误差。
正交性约束：在 EM/ECM 子步骤中强制加载矩阵的正交归一性（ $W^\top W = C^\top C = I_r$ ）并非易事。现有方法通常通过内点惩罚间接处理这一问题，但这无法保证在每次迭代中都能实现精确的可行性。

此外，以往关于噪声估计的方法（例如 Hu 等人，2025）往往对全部特征值谱进行平均，混合了信号方向和噪声方向，从而引入了确定性偏差和不一致性。

方法论
作者提出了一个端到端框架，将噪声估计与受约束的信号优化解耦，该框架在 Bouhaddani 等人（2018）的可识别 PPLS 参数化下运行。该流程包含四个阶段：

噪声子空间预估计：该方法不再对全谱进行平均，而是通过对边际样本协方差中最小的 $p-r$ 和 $q-r$ 个特征值进行平均，来估计观测噪声方差（ $\sigma^2_e, \sigma^2_f$ ）。这种方法直接针对噪声子空间，避免了信号特征值的污染。
固定噪声标量似然：在固定噪声方差后，观测数据的负对数似然被简化为标量目标函数。这种展开避免了显式的矩阵行列式和逆运算，将似然表示为投影标量统计量（ $Q_x, Q_y, Q_{xy}$ ）和对角参数的函数。
精确 Stiefel 流形优化：受约束的优化在乘积流形 $\text{St}(p, r) \times \text{St}(q, r) \times \mathbb{R}^{2r+1}_{++}$ $St (p, r) \times St (q, r) \times R_{++}^{2 r + 1}$ 上进行。论文引入了两种策略：
- SLM-流形：一种完整的黎曼优化方法，使用共轭梯度和 QR 回缩（retractions），在每次迭代中保持精确的正交性。
- BCD-SLM：一种块坐标下降方案，利用 PPLS 目标的标量可分离性。它通过黎曼步骤更新加载矩阵，并通过闭式条件最大化器（求解 $b_i$ 的三次方程）更新标量参数（ $\theta^2_{t,i}, b_i, \sigma^2_h$ ）。
高斯化与校准：可选的逐坐标高斯化层（例如基于秩的逆正态变换）将适用范围扩展至次高斯观测值。预测不确定性通过从验证残差导出的离散度因子 $\hat{\kappa}$ 进行校准，确保在无需事后重新校准的情况下实现接近名义的覆盖率。

主要贡献

速率最优的噪声估计：作者证明，所提出的噪声子空间估计器实现了与信号强度无关的有限样本误差率（定理 1），并匹配极小极大下界（定理 2）。相反，他们表明先前工作中使用的全谱估计器是不一致的，遭受着不随样本量增加而消失的确定性偏差（命题 1）。
具有推断保证的精确流形优化：通过在精确 Stiefel 流形上进行优化，该方法确保了严格的正交可行性。所得估计量被证明是一致且渐近正态的。关键在于，Fisher 信息矩阵呈现出块对角结构，允许在不进行蒙特卡洛自助法（Monte Carlo bootstrapping）的情况下推导出参数的闭式标准误（命题 6）。
扩展的建模范围：该框架通过可选的高斯化适应非高斯数据，将似然解释为高斯拟似然。理论分析表明，这将超额峰度偏差降低至 $O(1/N)$ （推论 2）。
秩选择：提出了一种基于 BIC 的数据驱动秩选择的两阶段程序，并在一致性和弱因子检测阈值方面提供了理论保证（命题 7 和 8）。

实验结果

合成性能：在高噪声区域，所提出的固定噪声求解器（SLM-流形和 BCD-SLM）在恢复耦合参数（ $B, \Sigma_t$ ）和加载矩阵方面显著优于 EM/ECM，特别是在 $p=q=500$ 时。这些方法实现了接近名义的预测区间覆盖率（例如，在 95% 名义水平下达到 95% 覆盖率），无需事后调整。
现实世界基准：
- TCGA-BRCA：该方法仅使用 $r=3$ 个分量，即实现了与岭回归相当的点预测精度（MSE $\approx$ 0.45），同时提供原生的校准不确定性。相比之下，PO2PLS（增加了视图特定的正交分量）虽然达到了相似的 MSE，但缺乏原生的预测不确定性，且表现未优于固定噪声方法。
- PBMC CITE-seq：虽然非线性深度基线（DCCA, KCCA）实现了略低的点 MSE，但它们需要 extensive 的事后重新校准才能获得可用的不确定性。固定噪声 PPLS 流程提供了具有竞争力的精度（MSE $\approx$ 0.259），具备模型原生的校准和可解释因子，避免了对外部重新校准阶段的需求。
计算效率：标量形式优化相比矩阵形式评估提供了 $O(p/r)$ 的加速。BCD-SLM 比完整黎曼优化收敛更快，对于 $p=q=500$ 的情况，运行时间在秒到几十秒范围内。

意义与主张
论文声称，在乘积 Stiefel 流形上直接优化 PPLS 似然，并结合谱预估计噪声，可产生具有模型原生不确定性校准的实用线性概率流程。

作者将其工作定位为从“最佳单一校准数值”（通常仅由深度模型在脆弱的后期修复后实现）向部署简便性、可解释性和降低校准脆弱性的转变。他们主张，虽然 PO2PLS 在分解视图特定结构方面更优，但当目标是校准的跨视图预测时，固定噪声 PPLS 流程是合适的工具。该方法被呈现为高噪声设置下 EM/ECM 的稳健替代方案，以及比缺乏原生概率结构的深度学习基线更可靠的不确定性量化器。

作者在开放问题上保持谦逊，指出针对一般 PPLS 情况（超出 PCCA 子流形）的全局景观分析仍然未解，同时开发既一致又与秩无关的统一噪声估计器也仍有待探索。