技术摘要：多模态学习中谱 PLS 的缺失数据诱导相变

问题陈述

多模态学习通常涉及从配对数据视图 $(X, Y)$ 中提取共享的低维结构。虽然偏最小二乘法（PLS），特别是通过奇异值分解（SVD）实现的谱形式（PLS-SVD），是完成此任务的标准工具，但现实世界的多模态数据集经常因采集失败或异构流程而在两个视图中出现缺失条目。

本文解决的核心问题是理解当两个视图均受到**完全随机缺失（MCAR）**掩蔽时，PLS-SVD 的根本极限。具体而言，作者研究了：

1. 在数据缺失的情况下，PLS-SVD 在何种条件下无法恢复潜在的共享结构？
2. 缺失机制如何定量地改变恢复阈值以及估计奇异向量与真实奇异向量之间的渐近重叠度？
3. 是否存在一个尖锐的相变点，使得随着信号强度的增加，估计量从“无信息”转变为“有信息”？

方法论

理论框架

作者在**比例高维尖峰模型（proportional high-dimensional spiked model）**框架内分析 PLS-SVD。

• 设置：设 $N$ 为样本数量，$D_x, D_y$ 为两个视图的特征维度。长宽比定义为 $\alpha_x = N/D_x$ 和 $\alpha_y = N/D_y$。
• 信号模型：完整（未掩蔽）数据遵循秩 1 尖峰模型，其中 $Y_\star = \theta (X_\star u_0)v_0^\top + Z$，$X_\star$ 已白化，$u_0, v_0$ 为单位信号向量，$Z$ 为独立同分布的高斯噪声。
• 缺失性：应用独立的 MCAR 掩码 $S_x$ 和 $S_y$，保留概率分别为 $\rho_x$ 和 $\rho_y$。联合保留概率为 $\rho = \rho_x \rho_y$。缺失条目被视为零。
• 估计量：该算法计算重缩放后的经验交叉协方差矩阵 $C = \frac{1}{N\sqrt{\rho}} X^\top Y$ 的主奇异向量。

分析方法

本文采用**复本对称（Replica Symmetry, RS）**分析，这是一种源自统计物理、用于研究高维随机矩阵问题的技术。

1. 归约至尖峰模型：作者证明，在双重 MCAR 掩蔽下，观测到的交叉协方差矩阵渐近地表现为一个尖峰矩形随机矩阵。关键在于，缺失性充当了信号强度的乘法衰减，定义了一个有效尖峰 $\theta_{\text{eff}} = \sqrt{\rho} \theta$。
2. 自由能优化：通过引入源场并取零温极限（$\beta \to \infty$），作者推导出了复本对称自由能密度。通过优化该密度以寻找对应于渐近重叠度的驻点。
3. 相变推导：分析得出了一个临界阈值条件。低于该阈值时，主奇异向量渐近正交于真实信号（重叠度为零）；高于该阈值时，则实现非平凡的对齐。

主要贡献

1. 尖锐相变预测：本文推导出了双重缺失下 PLS-SVD 的闭式临界阈值 $\theta_{\text{crit}}$：
   $$\theta_{\text{crit}} = \frac{1}{(\alpha_x \alpha_y)^{1/4} \sqrt{\rho}}$$
   这表明缺失数据有效地将所需的信噪比提高了 $1/\sqrt{\rho}$ 倍。

2. 渐近重叠公式：对于信号强度 $\theta > \theta_{\text{crit}}$，作者提供了估计奇异向量与真实奇异向量之间渐近平方重叠度 $r_x^2$ 和 $r_y^2$ 的显式公式。这些公式取决于长宽比、联合保留概率和信号强度。

3. 有限秩扩展（猜想）：作者猜想，对于具有分离尖峰的秩-$k$ 潜在结构，单尖峰阈值按分量适用。也就是说，第 $i$ 个分量可恢复的充要条件是其特定强度 $\theta_i$ 超过调整后的阈值 $\theta_{\text{crit}}$。

4. 实证验证：

   • 合成实验：广泛的蒙特卡洛模拟证实了在不同长宽比、信号强度和缺失率下预测的相界和重叠曲线。
   • 半合成实验：利用真实生物数据集（TCGA BRCA 和 PBMC Multiome），作者提取了经验信号方向，并验证了即使信号几何结构是非随机且具有生物学特性的，理论相变依然成立。
   • 实用诊断：本文提出了一种“二分稳定性”指标（两个随机数据子集的奇异向量之间的相关性），作为一种无需真实标签的诊断方法，用于检测系统是否处于可恢复区域。

结果

• 衰减效应：主要发现是双重缺失将有效信噪比降低了 $\sqrt{\rho}$ 倍。例如，两个视图均出现 30% 的丢失率（$\rho \approx 0.49$），需要增加约 $1/\sqrt{0.49} \approx 1.43$ 倍的信号强度，才能在与完全观测情况下保持相同的恢复性能。
• 相图：从“无信息”恢复转变为“有信息”恢复的过程是尖锐的。理论相界与实证热力图高度吻合（相关系数 $r > 0.99$）。
• 鲁棒性：
  • 相变位置对 MCAR 的适度偏离（例如，随机缺失 MAR）具有鲁棒性，但如果缺失依赖于信号，恢复质量会下降。
  • 该理论适用于各种噪声分布，但无限峰度噪声（例如 $\nu=3$ 的 Student-t 分布）会削弱超临界重叠度。
  • 在 MCAR 条件下，带有适当归一化的简单“缺失即零”PLS-SVD 在性能上与更复杂的插补基线（EM-PLS, Iterative SVD）具有竞争力，同时提供了更优越的计算效率。
• 预处理：对于计数型数据（如 RNA-seq），在白化之前必须进行方差稳定变换（秩归一化、sqrt-CPM），以符合理论预测；原始数据或 log-CPM 变换会导致偏差。

意义与主张

本文声称首次严格刻画了在两个视图均存在缺失数据的情况下，谱 PLS 的根本极限。通过将问题置于尖峰随机矩阵理论和 BBP（Baik-Ben Arous-Péché）相变的框架内，作者提供了：

1. 预测工具：一个精确公式，用于判断给定的包含缺失条目的多模态数据集是否包含足够的信号以使 PLS-SVD 成功。
2. 机制理解：将缺失性识别为信号的简单乘法衰减，而非复杂的结构破坏，从而简化了谱方法中缺失数据问题的分析。
3. 实践指导：该研究表明，在高维设置中，只要根据保留概率调整信号强度，对“缺失即零”数据进行简单的归一化通常就足够了。此外，它强调当缺乏真实标签时，二分稳定性可作为理论相变的实用代理指标。

作者在局限性方面保持谦逊，指出分析假设了 MCAR、独立同分布高斯噪声以及白化设计。他们承认有限秩扩展是一个由实验支持但未经严格证明的猜想，并且该论点不能直接推广到典型相关分析（CCA），因为在 CCA 中，掩蔽会扰动视图内的协方差几何结构。