📊 statistics

Hybrid Partial Least Squares Regression with Multiple Functional and Scalar Predictors

本文提出了一种混合偏最小二乘法（Hybrid PLS），这是一种将函数型预测变量与标量预测变量统一在混合希尔伯特空间内的创新回归框架，旨在执行监督降维与回归，其特征在于一种带有平滑惩罚项的高效 NIPALS 算法，并已通过理论几何特性以及在肾脏成像数据上的应用得到了验证。

原作者： Jongmin Mun, Jeong Hoon Jang

发布于 2026-01-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jongmin Mun, Jeong Hoon Jang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图诊断肾脏问题的医生。对于每位患者，你拥有两种类型的信息：

“电影”（功能性数据）： 一段记录了放射性示踪剂如何随时间在肾脏中移动的视频。这是一条平滑、流动的曲线，拥有数千个数据点。
“统计表”（标量数据）： 从这部“电影”中提取出的 14 个汇总数字，例如“峰值高度”、“达峰时间”和“曲线下的总面积”，再加上患者的年龄。

问题所在：
传统上，医生可能会丢弃“电影”而只使用“统计表”，因为后者更容易处理。但这就像是丢弃了电影的剧情，而只保留了票房数字。你会丢失那些对诊断至关重要的细微细节。

然而，如果你试图同时使用“电影”和“统计表”，就会遇到麻烦。两者是深度关联的（统计数据实际上就是从“电影”中计算出来的）。这会产生一种“纠缠的网络”式的相关性。如果你尝试用标准的数学工具来分析它们，计算机会感到困惑，结果会变得不稳定，你最终得到的诊断可能在理论上看起来很好，但在现实世界中却会失效。

解决方案：混合偏最小二乘法 (Hybrid PLS)
作者们（Jongmin Mun 和 Jeong Hoon Jang）发明了一种新的数学工具，称为混合偏最小二乘法 (Hybrid PLS)。

可以将这个工具想象成一个智能翻译器和过滤器，它完成了三件事：

构建统一的语言： 它创建了一个特殊的“希尔伯特空间”（一个高级数学空间），让流动的电影曲线和静态数字可以并排坐在一起进行交流，而不会产生混乱。它将它们视为一个单一的、混合的对象，而不是两个分离且冲突的群体。
寻找“黄金线索”： 这款工具不仅仅是寻找最常见的模式（就像标准相机那样），它专门寻找能够预测诊断结果的模式。它会忽略“噪声”（即那些变化剧烈但无法告诉你肾脏是否阻塞的部分），并专注于“信号”（即指示阻塞的特定形状变化）。
保持平滑： 由于数据源于平滑的生物过程，该工具也会强制要求结果保持平滑。它能防止数学运算变得“抖动”或过度解读数据中微小的、随机的波动。

它是如何工作的（“NIPALS”之舞）
论文描述了一种名为 NIPALS（非线性迭代偏最小二乘法）的算法。想象一场由计算机轮流进行的舞蹈：

第 1 步： 它观察数据，并找到解释肾脏阻塞情况的最佳“方向”（即电影与统计数据的某种组合）。
第 2 步： 它从数据中减去该解释，从而留下“剩余部分”（即尚未被解释的部分）。
第 3 步： 它在剩余部分上重复此过程，以寻找“下一个”最佳方向。

它不断重复这一过程，直到构建出一个小巧且高效的“摘要”，捕捉到所有重要的信息。

为什么它更好（结果）
作者在模拟数据和来自埃默里大学（Emory University）的真实肾脏扫描数据上对其进行了测试。

“电影 vs. 统计表”测试： 当他们尝试预测肾脏阻塞时，他们的新方法仅使用一到两条这样的“黄金线索”就找到了答案。
竞争对比： 其他方法（如标准的主成分回归）需要三倍数量的线索才能达到同样的准确度，即便如此，它们也经常被噪声所干扰。
“过拟合”陷阱： 标准方法往往试图记住训练数据的特定特征（过拟合），这会导致它们在面对新患者时失效。而 Hybrid PLS 方法保持了稳定性和准确性，证明它学习的是肾脏阻塞的实际规则，而非仅仅记住了例子。

简而言之
这篇论文展示了一种将“电影”（曲线）和“数字”（统计数据）结合成单一、强大诊断工具的方法。它理清了由两者天然联系所导致的混乱，剥离了噪声，并提供了一种简单、平滑且高度准确的方式来预测肾脏健康。这就像拥有一个既能阅读复杂小说，又能同时阅读电子表格的翻译员，能够精准地告诉你故事的核心内容，而不会迷失在细节之中。

技术摘要：结合多种函数型与标量预测变量的混合部分最小二乘回归

1. 问题陈述

本文解决了在响应变量受标量协变量和多个函数型预测变量（曲线）共同影响的设定下的监督降维与回归挑战。这种混合设定被形式化为部分函数线性模型（PFLM），它呈现出两个主要难点：

简约性（Parsimony）： 需要具有可解释性的低维表示，特别是在需要临床决策规则的情况下。
多重共线性（Multicollinearity）： 存在四个层级的复杂依赖关系：(i) 函数内部相关性，(ii) 函数间相关性，(iii) 标量预测变量之间的相关性，以及 (iv) 函数型与标量预测变量之间的跨模态相关性。

现有方法通常无法同时解决这些问题。高维欧几里得方法（如 Lasso、SCAD）假设数据结构是同质的。函数型回归方法通常侧重于单个函数型预测变量，或使用两阶段程序（例如，通过无监督 PCA 将函数型数据转换为有限维表示，随后进行回归），但这些方法忽略了跨模态相关性，并将函数型表示视为与响应变量无关的。

2. 方法论：混合 PLS

作者提出了混合部分最小二乘法（Hybrid PLS），该框架将函数型和标量预测变量统一到一个单一的数学结构中，以进行监督降维。

A. 统一的混合希尔伯特空间
该方法构建了一个乘积空间 $\mathcal{H} := (L^2[0, 1])^K \times \mathbb{R}^p$ ，将函数型和标量预测变量进行统一处理。空间中的一个元素 $h \in \mathcal{H}$ 是一个有序元组 $(f_1, \dots, f_K, u)$ 。内积定义为：
$\langle h_1, h_2 \rangle_{\mathcal{H}} := \sum_{k=1}^K \int_0^1 f_{1k}(t)f_{2k}(t) dt + \omega u_1^\top u_2$
其中 $\omega$ 是平衡函数型与标量成分量纲的权重参数。这使得非线性迭代部分最小二乘法（NIPALS）算法能够扩展到混合设定中。

B. 总体层面的算法
在总体层面，该方法寻求 PLS 方向 $\xi$ ，以最大化预测变量 $W$ 与响应变量 $Y$ 之间的平方协方差，并受正交性约束。作者证明，该优化问题等价于寻找复合算子 $U = \Sigma_{YW} \otimes \Sigma_{YW}$ 的特征函数，从而确保在温和的矩条件下问题是适定的。该算法保证了潜在得分（latent scores）的正交性和残差的不相关性。

C. 样本层面的实现
提出的样本算法（算法 3）在两个步骤之间交替进行：

正则化估计 PLS 方向： 为了防止过拟合并确保平滑性（这对函数型数据至关重要），PLS 方向 $\hat{\xi}$ $\hat{ξ}$ 的估计是通过在函数型成分的二阶导数上施加粗糙度惩罚来最大化经验协方差实现的。这导致了一个广义瑞利商（Rayleigh quotient）问题。
- 关键计算洞察： 由于协方差矩阵具有秩一结构，作者推导出了一个闭式解（closed-form solution），该解仅需求解线性系统。这避免了通常与广义特征值问题相关的计算不稳定性。
残差化： 预测变量和响应变量都针对估计的得分进行残差化处理，这模仿了标准的 NIPALS 程序，但在混合希尔伯特空间内进行。

D. 最终估计
回归系数 $\hat{\beta}$ 被重建为一个由估计的 PLS 方向组成的线性组合，并通过针对残差化步骤进行调整，以确保与原始模型的一致性。

3. 主要贡献

理论扩展： 通过定义统一的希尔伯特空间并证明其相关算子存在完备正交特征函数系，严谨地将 NIPALS 算法扩展到了涉及多个函数型和标量预测变量的混合设定中。
算法效率： 推导出了一个高效的正则化迭代闭式解，使该方法能够适用于密集或不规则的函数型数据。
几何特性： 确立了所提框架保留了 PLS 的核心几何特性，即（在对粗糙度敏感的内积下）PLS 方向的正交性和潜在得分的正交性。
处理跨模态相关性： 不同于两阶段 PFLM 方法，Hybrid PLS 显式地对函数型与标量预测变量之间的联合依赖关系进行建模，从而防止了包含在跨模态相关性中的预测信息的丢失。

4. 结果

数值研究：

几何验证： 模拟证实，正交性属性（方向之间、得分之间以及残差之间）在不同的正则化强度下均保持稳健，偏差在 $10^{-11}$ 到 $10^{-16}$ 数量级。
预测能力 vs. 简约性： 在涉及主导非预测方差（干扰因子）和强跨模态相关性的合成场景中，Hybrid PLS 的表现显著优于主成分回归（PCR）。Hybrid PLS 在第一成分中识别出了预测信号，而 PCR 则被高方差的干扰因子误导，导致更高的误差和冗余的表示。
系数估计： 敏感性分析表明，粗糙度惩罚能有效控制函数型和标量系数的估计误差，正则化参数通过交叉验证进行选择。

真实数据应用（埃默里大学肾脏研究）：

该方法应用于包含两条函数型肾图曲线（基线和呋塞米后）和 14 个标量药代动力学协变量的 216 个肾脏数据集。
性能： 与惩罚函数回归（PFR）和仅含标量的 OLS 相比，Hybrid PLS 实现了更低的测试均方根误差（RMSE）和更高的稳定性。
效率： 它达到了与 PCR 相当的预测能力，但具有显著更高的简约性。虽然 PCR 需要 $3L$ 个成分（从三个来源各提取 $L$ 个）才能达到相似精度，但 Hybrid PLS 仅用 $L$ 个成分即可达到相当的表现。
可解释性： Hybrid PLS 提取的第一个潜在成分符合肾脏梗阻的临床知识（例如，区分蓄积模式与排泄模式），而 PCR 在不同模态的成分得分之间表现出较强的、潜在冗余的相关性。

5. 意义与主张

本文声称，Hybrid PLS 为存在混合数据模态的回归提供了一个简约且稳健的框架。通过将函数型和标量预测变量嵌入统一的空间，该方法：

缓解多重共线性： 它有效地处理了可能导致标准两阶段方法性能下降的复杂跨模态相关性。
保留预测结构： 它提取最大化与响应变量协方差的潜在成分，确保即使在数据的主要方差是非预测性时，低维表示仍能保留预测能力。
确保计算可行性： 闭式解允许高效计算，且不会牺牲正交性和平滑性的理论保证。

作者总结认为，这种统一的方法在生物医学背景下（如肾脏成像）特别有价值，因为在这种背景下，结合完整的函数轨迹与标量摘要，比分别或顺序处理这些数据类型的模型具有更优的预测效果。未来的工作建议包括推导理论收敛速率和极小值最优界限。