📊 statistics

GEMSS: A Variational Bayesian Method for Discovering Multiple Sparse Solutions in Classification and Regression Problems

本文介绍了 GEMSS，这是一种利用结构化尖峰-平板先验（spike-and-slab prior）和高斯混合模型，在处理高维分类和回归问题时，能够同时发现多个多样化稀疏解的变分贝叶斯算法，其在合成基准测试和实际应用中均优于现有方法。

原作者： Kateřina Henclová, Václav Šmídl

发布于 2026-06-12✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kateřina Henclová, Václav Šmídl

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名试图破解谜团的侦探，但你并不只是在寻找一个单一的罪犯，而是知道有好几组不同的嫌疑人都有可能以完全相同的方式实施了犯罪。

在数据科学的世界里，这是一个常见的问题。当科学家们分析复杂的数据（比如化学测量或医学测试）时，他们经常面临这样一种情况：存在许多不同的特征组合（线索），它们都能同样好地解释结果。然而，传统的计算机程序通常表现得像一个固执的侦探，只会挑选出一组嫌疑人并忽略其他所有人。这被称为“罗生门效应”（Rashomon effect），得名于一部著名的电影，片中不同的证人讲述了不同但同样有效的事件版本。

这篇论文介绍了一种名为 GEMSS（高斯集成多稀疏解，Gaussian Ensemble for Multiple Sparse Solutions）的新工具来解决这个问题。它是如何运作的，我们可以用简单的类比来说明：

1. 问题所在：“一刀切”式的侦探

想象你有一个装有 5,000 种线索（特征）的档案袋，但你只有 50 个案件（样本）可以用来调查。你想找出哪些线索能指向真凶。

旧方法： 它们可能会找到一组由 5 条线索组成的证据链。但它们忽略了事实：可能存在另一组完全不同的 5 条线索，同样能完美地解释案件。它们强行将数据压缩成一个单一的答案，从而掩盖了其他的可能性。
风险： 如果你只选择一组，你可能会错过真正的科学解释，因为你忽略了其他在统计上同样有效的选项。

2. 解决方案：将 GEMSS 作为“侦探团队”

GEMSS 就像雇佣了一支由不同专业领域的侦探组成的团队。它并不强迫他们达成一个共识，而是鼓励他们去寻找多组不同的、具有多样性的嫌疑人群体，这些群体都能破解案件。

“尖峰与平板”先验（Spike-and-Slab Prior）： 这就像是一本规则手册，告诉侦探们：“你们必须只挑选极少数的线索（稀疏性），但你们被允许挑选不同的小群体。”
“高斯混合模型”（Mixture of Gaussians）： 这是该算法的策略。它不是寻找一个完美的答案，而是创造了一个可能性的“云团”。它会说：“这里有 A 组线索，这里有 B 组，这里还有 C 组。从统计学的角度来看，它们都是有效的解。”
“Jaccard 惩罚项”（Jaccard Penalty）： 这是一个可选的用户控制旋钮。GEMSS 本身就能找到多样的解，但如果你希望侦探们找到的线索组合彼此更加不同，你可以调整这个旋钮。它并不是算法运行的必要条件，而是一个让用户进一步控制解决方案多样性的工具。

3. 如何测试：构建“模拟犯罪现场”

为了证明 GEMSS 的有效性，作者不仅观察了真实数据，还构建了一个模拟环境。

他们创建了 128 个不同的“模拟犯罪现场”，在这些场景中，他们确切地知道哪些线索是“真正的”元凶。
他们设计了这些场景，使得多组不同的线索组合都能完美地破解谜团。
结果： GEMSS 表现得像一位大师级的侦探，即使在数据混乱、充满噪声或存在缺失值的情况下，它也能找回几乎所有的真实线索组。它的表现持续优于五种试图寻找多种解法的流行方法。

4. 现实世界测试：“棘手的案例”

作者在三个数据极其困难的现实场景中测试了 GEMSS：

糖尿病研究： 分析尿液样本以寻找糖尿病的生物标志物。GEMSS 找到了 8 组可以解释该疾病的不同化学物质组合。
植物遗传学（拟南芥）： 一个样本量非常少（仅 16 株植物）的案例。通常情况下，计算机在这里会失效，但 GEMSS 找到了解释植物性状的多种有效解释。
食品科学： 一个标签不可靠且数据重叠混杂的数据集。GEMSS 成功分离出了能够预测结果的不同特征集，帮助专家做出更好的决策。

5. 核心启示

这篇论文的核心观点是：仅仅预测未来是不够的，我们还需要理解“为什么”。

这里有一个至关重要的区别：GEMSS 找到的多组解决方案，在统计学上都是同样有效的（它们都能很好地拟合数据），但这并不意味着它们在科学或领域知识上都有意义。

这就是为什么 GEMSS 提供一份“菜单”的原因：它把选择权交还给了人类专家。计算机负责找出所有在数学上说得通的可能性，而科学家负责判断哪一组线索在现实世界中真正符合逻辑。GEMSS 改变了工作流程，从“让计算机给我唯一答案”转变为“让计算机给我一份统计上有效的候选名单，以便人类专家从中筛选出最符合科学真相的那一个”。

简而言之： GEMSS 是一个让计算机不再固执己见的工具。它能找到解释数据的所有统计上有效的路径，而不仅仅是其中之一，从而帮助科学家发现数字背后的真实机制。

技术摘要：GEMSS —— 一种用于发现多个稀疏解的变分贝叶斯方法

1. 问题阐述

在具有高特征相关性的高维欠定系统（ $n \ll p$ ）中，传统的稀疏特征选择方法（如 Lasso、标准贝叶斯选择）往往无法捕捉到完整的有效解释景观。这些方法通常会将“Rashomon 集”（即所有具有近优损失的模型的集合）坍缩为单个点估计。这种“预测多样性”掩盖了其他在统计学上等效的科学假设。

核心挑战在于识别多个既多样又稀疏的特征子集，这些子集能够同样好地解释响应变量。这在组学和物理化学等领域至关重要，因为在这些领域，目标从纯粹的预测转向生成可操作的、具有解释性的见解。现有方法通常依赖于顺序发现（迭代掩码），这强制执行了不相交的解，并且难以处理重叠的特征集；或者依赖于扩展性在超高维度下表现较差的进化方法。

2. 方法论：GEMSS

本文介绍了 GEMSS（Gaussian Ensemble for Multiple Sparse Solutions，用于多种稀疏解的高斯系综），这是一种旨在同时发现多个多样化稀疏特征组合的变分贝叶斯算法。

核心组件

结构化脉冲-板条先验 (Structured Spike-and-Slab Prior)： 该方法采用结构化脉冲-板条先验来强制执行精确的稀疏水平。该先验创建了一个多模态后验分布，其中每个模态对应一个合理的稀疏解释。
多模态后验近似： GEMSS 不寻求单一的最大后验 (MAP) 估计，而是使用 $m$ 个对角高斯混合分布来近似难以处理的多模态后验：
$q(\beta) = \sum_{k=1}^{m} \alpha_k \mathcal{N}(\beta; \mu^{(k)}, \text{diag}((\sigma^{(k)})^2))$
每个混合成分代表一个独特的稀疏解。
多样性正则化（可选）： 为了在需要时进一步增强解的多样性，引入了基于 Jaccard 指数的惩罚项作为用户可调的控制参数。该项惩罚成分间稀疏支撑集的平均 Jaccard 相似度。需要注意的是，该正则化项并非核心算法恢复多个稀疏解所必需的（混合模型本身即可产生不同的解），而是为用户提供额外的控制手段，以在不强制要求严格正交的情况下鼓励更高的多样性。
优化： 使用随机梯度下降（Adam 优化器）针对变分参数（ $\mu, \sigma, \alpha$ ）最大化证据下界 (ELBO)。用于混合分布的隐式重参数化技巧使得高效的梯度计算成为可能。
实用特性：
- 原生缺失数据处理： 算法仅使用观测值计算预测似然，忽略 NaN 值，无需进行插补或样本删除。
- 解提取： 训练后，通过“Top”策略（选择 $|\mu|$ 最高的 $D$ 个特征）或“Outlier”策略（基于 z-score）提取特征集。

3. 主要贡献

一种新颖的算法： GEMSS 是一种变分贝叶斯方法，它利用高斯混合来近似多模态后验，通过基于梯度的优化实现多个稀疏解的同时发现，这与顺序搜索或组合搜索方法形成了对比。
一个新颖的基准测试框架： 作者开发了一个合成数据生成框架，该框架保证了存在具有相等预测能力的多个不同稀疏解的存在。这使得评估重点转向了支撑集恢复（检索真实特征）而非仅仅是预测准确性，从而解决了替代特征选择的特定需求。
全面的验证： 通过 128 场实验（99 场分类，29 场回归）进行了广泛的实证验证，涵盖了基础场景、高维压力测试（ $p=5000$ ）、不利条件（噪声、缺失数据、类别不平衡）以及真实世界数据集。
对比分析： 将 GEMSS 与 ALFESE 框架进行了基准测试，后者将五种主流特征选择方法（互信息、模型重要性、贪婪封装、FCBF、mRMR）适配用于同时发现。
开源实现： 发布了 gemss PyPI 包和无代码应用程序 GEMSS Explorer，以促进通过嵌套交叉验证实现端到端的用法和验证。

4. 实验结果

合成数据验证

洁净数据下的表现： 在基线和高维场景（ $n \ll p$ ）下，GEMSS 实现了接近完美的 F1 分数（通常为 1.0），展示了极佳的真实特征恢复能力，即使在极端欠采样（如 $n=50, p=5000$ ）的情况下也是如此。
对抗性与鲁棒性：
- 缺失数据： 被确定为主要的压力源。虽然该方法原生处理缺失数据，但当缺失率超过 10% 时，性能会显著下降。
- 噪声： 该方法对高斯噪声具有鲁棒性，在噪声水平变得极端（ $\sigma \ge 1.0$ ）之前能保持高性能。
- 类别不平衡： 与许多标准分类器不同，GEMSS 在面对严重的类别不平衡（甚至低至 10% 的少数类）时表现出卓越的鲁棒性。
- 回归 vs. 分类： 该方法可以无缝泛化到连续回归任务，在基线场景中通常能达到完美的精度（1.0）。
正则化： Jaccard 惩罚项有效地促进了多样性。然而，作者指出，将候选解的数量与真实解的数量解耦（即搜索比预期更多的候选解）是一种比单纯依赖激进正则化更稳健的策略。

对比分析

与 ALFESE 框架相比，GEMSS 在支撑集恢复方面始终优于所有竞争对手，尤其是在维度增加时。
虽然简单的过滤器（MI、模型重要性）速度更快，但 GEMSS 即使在超高维度下也能保持实际运行时间（在标准笔记本电脑上为 2–334 秒），而多元过滤器（mRMR、FCBF）在 $p > 1000$ 时面临着难以克服的内存限制。
GEMSS 原生处理缺失数据，而 ALFESE 变体则需要预处理。

真实世界应用

该方法在三个具有挑战性的数据集上进行了测试：

糖尿病代谢组学（ $n < p$ ）： 成功分离出 8 个不同的候选解，每个解都代表了与疾病状态相关的代谢物独特子集。
拟南芥基因组学（小样本量）： 仅凭 16 个样本，GEMSS 识别出 8 个不同的特征集（每个包含 1–4 个特征），所有特征集均实现了完美的预测性能（ $F1=1.0$ ），在传统方法可能选择任意子集的情况下提供了稳健的假设。
物理化学（共线性/噪声）： 在一个具有高共线性且标签不可靠的食品科学数据集中，GEMSS 识别出多个特征集（2–6 个特征），这些特征集均实现了高 F1 分数（>0.9），既证实了领域知识，又揭示了新的扩展。

5. 意义与主张

本文声称 GEMSS 弥合了纯预测建模与欠定系统中对多个可解释假设的需求之间的鸿沟。其主要意义在于将建模工作流从自动化预测转向辅助发现。

科学效用： GEMSS 返回的多个解在统计学视角上是等效的（具有可比拟的拟合度/损失），但这并不意味着它们在领域意义上同样重要或合理。该方法提供了一系列在统计学上合理的假设“菜单”，允许领域专家应用其上下文知识来评估并验证最可能的机制，而不是被迫接受单个可能具有任意性的解。
可扩展性与鲁棒性： 该方法被证明可扩展至超高维度，并对类别不平衡和高斯噪声具有鲁棒性，使其适用于组学和传感器数据分析。
局限性： 作者谦虚地承认，目前的验证依赖于线性假设和合成数据。他们指出，虽然该方法原生处理缺失数据，但极端的缺失情况（>20%）仍可能需要专门的插补策略。此外，其计算成本高于贪婪启发式算法，但其同时发现的能力证明了这一成本是合理的。

研究结论认为，GEMSS 为研究和工业研发中的决策提供了稳健的基础，在这些领域，理解底层机制与预测性能本身同样重要。