技术摘要：Anchor PCA

问题陈述

主成分分析（PCA）是无监督降维的标准技术，旨在寻找能够捕捉最大方差的低维子空间。然而，当数据跨越多个相关但异构的领域（例如不同的地理位置、时间点或实验条件）进行采集时，其主子空间往往存在显著差异。

标准方法（如对合并后的数据进行 poolPCA）旨在最大化平均解释方差。作者认为这种方法可能存在缺陷：它可能会优先考虑仅在少数几个领域中表现出高方差的方向（伪方向），而忽略了那些在所有领域中都稳健且不变的方向。因此，poolPCA 可能会产生在未见的靶领域中解释方差极少，或者无法恢复具有物理意义的不变结构的嵌入。本文研究了如何平衡解释方差与发现跨多个领域的共享、不变方向之间的关系。

方法论：Anchor PCA

作者提出了 Anchor PCA，这是一个明确权衡整体解释方差与共享低秩嵌入及领域特定低秩嵌入之间一致性的框架。该方法定义了两个变体：

1. 最大不变子空间 ($S^\star$)

作者首先将最大不变子空间 $S^\star$ 定义为所有 $E$ 个源领域的 top-$k$ 主子空间的交集：
$$S^\star := \bigcap_{e=1}^E \text{Im}(\Pi^{(e)}_k)$$
其中 $\Pi^{(e)}_k$ 是领域 $e$ 的协方差矩阵 $\Sigma_e$ 的前 $k$ 个特征向量的投影矩阵。

2. AnchorPCA$_\infty$ (硬不变性)

为了寻找一个严格遵循不变性的秩为 $k$ 的子空间，作者定义了 AnchorPCA$_\infty$。该方法寻求一个子空间，在最大化这些解的合并解释方差的同时，最小化与所有领域特定 top-$k$ 子空间的差异（通过投影矩阵之差的 Frobenius 范数衡量）。
形式化定义为：
$$W^{\infty}_k \in \arg \max_{W \in O_{p \times k}} \text{Tr}(W^\top \Sigma W) \quad \text{subject to} \quad W \in \arg \min_{\tilde{W}} \sum_{e=1}^E \| \Pi_{\tilde{W}} - \Pi^{(e)}_k \|_F^2$$
其中 $\Sigma$ 是平均协方差，且 $\Pi_{\tilde{W}} = \tilde{W}\tilde{W}^\top$。

3. AnchorPCA$_\lambda$ (软不变性)

考虑到精确的不变性（即 $S^\star = \{0\}$）可能不存在或过于严格，作者引入了带有权衡参数 $\lambda > 0$ 的 AnchorPCA$_\lambda$。该方法将硬约束放宽为软惩罚项：
$$W^{\lambda}_k \in \arg \max_{W \in O_{p \times k}} \left( \text{Tr}(W^\top \Sigma W) - \lambda \sum_{e=1}^E \| \Pi_W - \Pi^{(e)}_k \|_F^2 \right)$$
该公式等价于对一个修正后的目标矩阵 $M_\lambda$ 进行标准 PCA：
$$M_\lambda := \Sigma + 2E\lambda \Pi$$
其中 $\Pi = \frac{1}{E} \sum_{e=1}^E \Pi^{(e)}_k$ 是平均投影矩阵。这种等价性使得 AnchorPCA$_\lambda$ 可以通过标准的特征分解高效求解。

4. 有限样本实现

针对有限数据，作者提出了经验估计量。对于 AnchorPCA$_\infty$，由于估计噪声会导致特征值块分裂，直接使用插件估计量（plug-in estimator）是不一致的。作者引入了一种块稳定算法（block-stabilized algorithm），通过将经验平均投影器 $\hat{\Pi}$ 的连续特征值在容差 $tol_n$ 内进行分组，从而恢复经验不变子空间。他们还提出了 FindS$^\star$，这是一种借鉴自部分共同主成分分析（PCPCA）的顺序测试程序，用于直接估计不变子空间的维度。

核心理论贡献

1. 恢复保证：

   • 定理 3.1： 如果存在非平凡的最大不变子空间 $S^\star$，则保证 AnchorPCA$_\infty$ 包含该子空间（$S^\star \subseteq \text{Im}(\Pi^{\infty}_k)$）。此外，随着 $\lambda \to \infty$，AnchorPCA$_\lambda$ 的领先方向将收敛至 $S^\star$。
   • 一致性： 在满足温和条件（有限四阶矩、严格特征间隙）下，AnchorPCA$_\lambda$ 和块稳定 AnchorPCA$_\infty$ 的经验估计量在样本量增长时是一致的。

2. 极小极大重构解释：

   • 定理 4.1： AnchorPCA$_\lambda$ 具有极小极大（minimax）解释。它是秩为 $k$ 的投影器，能够在给定协方差矩阵在局部 top-$k$ 特征空间内发生有界领域特定膨胀的情况下，最小化一组扰动目标领域的最坏情况平均重构误差。具体而言，它最小化了：
     $$\max_{(\Sigma'_1, \dots, \Sigma'_E) \in \mathcal{C}_\lambda} R(W; \Sigma'_1, \dots, \Sigma'_E)$$
     其中 $\mathcal{C}_\lambda$ 代表协方差膨胀由 $2E\lambda \Pi^{(e)}_k$ 限制的集合。AnchorPCA$_\infty$ 对应于最坏情况误差（差异惩罚）斜率被首先最小化的极限情况。

实验结果

作者在合成数据和真实世界数据上验证了 Anchor PCA：

1. 动机示例： 在一个包含三个领域的合成 4D 示例中，poolPCA 因为被仅存在于一个领域中的高方差方向 $w$ 所主导，导致无法恢复真实的不变方向 $b$。而 AnchorPCA$_\lambda$ 和 AnchorPCA$_\infty$ 都成功恢复了不变子空间。AnchorPCA$_\lambda$（具有有限 $\lambda$）平衡了方差与不变性，而 AnchorPCA$_\infty$ 则优先考虑不变性。

2. 不变子空间恢复： 在随机子空间的模拟实验中，块稳定 AnchorPCA$_\infty$ 和 FindS$^\star$ 随着样本量的增加，能够一致地恢复 $S^\star$ 的真实维度和子空间。该方法在非高斯数据分布（高斯混合模型）下依然保持稳健。

3. 气体传感器阵列漂移： 使用表现出时间漂移的真实气体传感器数据，作者将时间批次视为领域。

   • 设置： 使用源批次（B1–B6）进行拟合；保留靶批次（B7–B10）作为测试。
   • 结果： 与 poolPCA（75.5%）和最坏情况基准（norm-maxRegret）相比，AnchorPCA$_\infty$ 在靶批次上实现了最高的平均解释方差（87.3%）。AnchorPCA$_\lambda=1$ 展示了一种权衡，它保留了更多的源方差，但靶领域性能略低于无限惩罚版本。AnchorPCA$_\infty$ 在每一个留出的靶批次上都优于 poolPCA。

意义与主张

本文确立了 Anchor PCA 作为从多领域数据中进行稳健无监督降维的一种极具前景的方法。其意义在于：

• 理论严谨性： 为恢复最大不变子空间提供了正式保证，并提供了在结构化协方差膨胀下的极小极大重构解释。
• 实用价值： 证明了专注于共享变化方向比标准聚合或最坏情况优化基准能产生更具泛化能力的嵌入。
• 高效性： 该方法可转化为标准 PCA 问题，通过修正矩阵求解，计算效率高。
• 与因果性的联系： 该方法从不变学习和锚回归（anchor regression）中汲取灵感，架起了因果不变性与无监督表示学习之间的桥梁。

作者也指出了局限性，包括对近特征值并列（ties）的敏感性，以及假设扰动是在局部 top-$k$ 子空间内的有界膨胀（而非均值偏移或旋转）。他们还建议未来通过自动编码器进行非线性扩展。