技术摘要：通过进化策略实现非线性 PCA

问题陈述

主成分分析（PCA）是一种主流的降维技术，因其可解释性和确定性而备受推崇。然而，其对线性变换的依赖限制了其捕捉现实世界数据中固有的复杂非线性结构的能力。现有的非线性扩展面临显著的权衡：

• 核 PCA (kPCA)： 虽然它捕捉了非线性，但牺牲了可解释性（主成分无法直接映射回原始变量），并且在超参数选择方面存在困难。
• 自动编码器 (Auto-encoders)： 这些方法缺乏 PCA 内在的方差最大化和正交性属性，且其潜在变量通常难以解释。
• 处理分类数据： 标准 PCA 和许多 NLPCA 方法无法原生处理分类或定序变量。将这些变量转换为独热编码（one-hot encoding）会导致“维度爆炸”，即分类层级会主导方差贡献，从而使分析产生偏差。此外，像多因子分析（MFA）这样的现有方法需要独热编码，这导致在具有许多唯一层级的数据集上表现不稳定。

作者确定了一个研究空白，即需要一个能够统一 PCA 的可解释性与神经网络的灵活性，并能处理混合数据类型且避免维度爆炸的框架。

方法论

所提出的框架——基于进化策略（ES）的非线性 PCA，由三个核心部分组成：

1. 变换的参数化

该方法并非学习全局非线性映射，而是为每个原始变量 $X^{(l)}$ 参数化一个独立的变换函数 $\Phi_l$。

• 架构： 每个 $\Phi_l$ 被实现为一个简单的前馈神经网络。
• 分类处理： 对于分类变量，输入采用独热编码，但网络输出单个标量值。这确保了每个原始变量（无论是数值型还是分类型）都精确映射到一个变换后的维度，防止了与标准 PCA 或 MFA 中独热编码相关的维度爆炸。
• 可解释性： 这种一对一的映射使得生成的成分可以追溯到特定的原始变量。

2. 通过进化策略进行优化

目标函数涉及协方差矩阵的特征分解，而该过程是不可微的。因此，无法使用标准的反向传播。

• 算法： 作者采用了进化策略 (ES)，这是一种无导数的黑盒优化方法。
• 过程： 通过高斯噪声对神经网络的参数进行扰动。计算每个扰动的目标值，并根据基于加权噪声样本得到的梯度近似值来更新参数。这绕过了标准特征分解的微分约束。

3. 新颖的目标函数

论文引入了两个目标函数，用于最大化前 $k$ 个主成分的解释方差：

• 全局目标 ($F^k_{global}$)： 最大化前 $k$ 个成分的方差之和。这为整个系统提供了一个单一的标量信号。
• 局部（粒度）目标 ($F^k_l$)： 这是另一项创新贡献，它通过分解全局方差来最大化每个变量的个体方差贡献。
  • 基于命题 3.1，变量 $l$ 对特征值 $j$ 的方差贡献 $c_{j,l}$ 被计算出来。
  • 该目标函数通过分别针对每个变量最大化这些个体贡献之和来进行优化。
  • 缩放： 为了确保与全局目标进行公平比较，全局目标被除以变量数 $p$ 进行缩放，以匹配 ES 中的学习步长量级。

核心贡献

1. 通过神经进化实现非线性扩展： 论文提出了一个稳健的 NLPCA 框架，其中变量变换由神经网络参数化，并使用 ES 进行优化。这允许实现任意复杂的映射，同时避免了标准特征分解的微分问题。
2. 粒度方差最大化： 引入局部目标函数是主要贡献之一。通过隔离并最大化每个变量的具体方差贡献，该方法比全局方差最大化提供了更强、更稳健的学习信号，尤其是在高维空间中。
3. 统一的数据处理： 该方法能够同时原生处理数值型、分类型和定序变量。通过将每个分类变量映射到单个变换列，它避免了独热编码带来的维度爆炸，弥合了核 PCA 与传统基于成分的方法（如 MFA）之间的差距。

实验结果

该方法在三个合成数据集（嵌套圆、球体、交替条纹）和五个来自 OpenML 的真实世界数据集（信用、电离层、乳腺癌、心脏、葡萄酒）上进行了评估。

• 解释方差： 在所有数据集上，所提出的方法（ES-PCA）一致优于线性 PCA。
• 与 kPCA 的比较： ES-PCA 方法，特别是使用局部目标 (ES-Partial) 时，在真实世界数据集的 $k=2$（前两个成分的累积方差）情况下，显著优于核 PCA (kPCA)。
  • 注： 对 kPCA 的比较是有利的，因为报告的 kPCA 结果是四种核函数（rbf, cosine, polynomial, sigmoid）中的最佳结果，且未进行微调，而 ES-PCA 使用了默认参数。
• 目标性能： 局部目标在解释方差和收敛速度上均一致优于全局目标。局部目标相对于全局目标的性能提升与数据集维度之间存在强相关性（对于 $k=1$，$\rho=0.87$；对于 $k=2$，$\rho=0.98$）。
• 可解释性： 在合成数据集上的定性结果表明，学习到的变换具有直观的可解释性（例如，捕捉球体的半径差异或条纹的周期性）。该方法保留了使用标准 PCA 可视化工具（如双标图/biplots）的能力。

意义与主张

论文声称解决了先前评审中指出的 NLPCA 研究中的“空白”：即需要一个具有参数化变换且保持可解释性的通用框架。

• 可解释性： 与自动编码器或 kPCA 不同，该方法保留了原始变量与变换变量之间的一对一映射，允许分析师使用标准工具（如双标图）来可视化特征贡献和非线性关系。
• 对数据类型的鲁棒性： 通过在不使用独热编码的情况下处理分类变量，该方法为处理具有众多或不一致层级的真实世界非结构化数据集提供了一种更稳定、更高效的方法。
• 学习信号： 作者断言，粒度化的局部目标提供了更优越的学习信号，使得模型能够更有效地学习，特别是在全局目标可能难以提供具体指导的高维空间中。

作者对当前的研究状态保持谦逊，指出解释方差仍随进化代数增加，这意味着未来仍有提升空间。他们也承认，虽然该方法在某些语境下比标准 PCA 更好地处理了异常值，但未来的工作中可以整合更稳健的 PCA 技术。