📊 statistics

GEMSS: A Variational Method for Discovering Multiple Sparse Solutions in Classification and Regression Problems

该论文介绍了 GEMSS，这是一种利用具有内置排斥机制的单一混合模型，来高效发现针对高维分类和回归问题的多个不同、稀疏且在统计上合理的解的变分方法，其在合成基准测试和实际应用中均优于现有基准方法。

原作者： Kateřina Henclová, Václav Šmídl

发布于 2026-08-03✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kateřina Henclová, Václav Šmídl

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

多重真相之谜

想象你是一名正在试图破案的侦探，但你发现的不是一个清晰的罪犯，而是三个不同的嫌疑人，他们都有同样确定的可能性犯下了完全相同的罪行。在数据科学领域，特别是在一个被称为“机器学习”的领域中，这种情况经常发生。科学家们经常使用计算机来寻找海量信息中的模式，比如试图弄清楚汤里的哪些配料让它味道好，或者哪些基因让植物长得高大。通常，他们想要找到一份单一的“最佳”配料表或基因表。

然而，当线索（特征）远多于用于检查的线索（样本），或者当线索彼此非常相似时，计算机就会感到困惑。这就像是在尝试选择一条去学校的最佳路线，而有三条不同的路都同样快速且安全。如果计算机仅仅选择其中一条路并告诉你：“这是唯一的路径”，那么它可能隐藏了另外两条同样完美的路径。这对科学家来说是一个大问题，因为他们想要了解事物是如何发生的，而不仅仅是预测结果。他们需要的是一份选项菜单，而不只是一个单一的答案。这篇论文介绍了一个新的工具来帮助解决这个谜题。

侦探的新工具箱：GEMSS

见见 GEMSS（高斯集成多稀疏解，Gaussian Ensemble for Multiple Sparse Solutions）。把它想象成一位超级聪明的侦探，这位侦探不仅会挑选一个嫌疑人，而是能构建一个单一且灵活的模型，能够同时在脑海中容纳三种不同的“真相”。

在过去，如果科学家想要为他们的数据寻找多种可能的解释，他们必须玩一场“猜测与检查”的游戏。他们会运行计算机程序，得到一个答案，然后稍微改变数据（比如增加一点噪声或移除一些线索），再次运行，并希望得到一个不同的答案。他们必须这样做数百甚至数千次，希望能偶然发现所有不同的有效解。这就像是通过一遍又一遍地盲目跑过迷宫，试图找到每一个出口。

这篇论文的作者 Kateřina Henclová 和 Václav Šmídl 创造了 GEMSS 来以不同的方式处理这个问题。与其运行一千次迷宫，GEMSS 在一次运行中就构建了一个解的“混合体”。想象一个合唱团，其中的每一位歌手都代表一个不同的解。GEMSS 的魔力在于，这些歌手被编程为避免唱出完全相同的音符。如果两个歌手试图站在同一个位置（代表同一个解），模型会将他们推开。这种“排斥力”迫使模型找到既能解释数据、又彼此截然不同的多个独立解。

他们的发现
研究人员使用一个特殊的、定制的测试方法对 GEMSS 进行了测试，在这个测试中，他们明确知道正确答案是什么。他们创建了一些场景，其中的“正确”解要么完全不同，要么高度重叠（共享许多相同的线索）。

结果非常明确：

GEMSS 是重叠领域的冠军： 当不同的解共享许多相同的特征时，GEMSS 在寻找所有解方面表现得显著更好。其他试图通过多次运行程序来强行分离解的方法，往往会偏离目标或陷入单一答案。
它快速且高效： 虽然其他方法需要运行数千次（就像为了通关而重启 30,000 次游戏视频），但 GEMSS 在单次运行中就能找到所有答案。在测试中，GEMSS 比排名第二的采用“重启”方法的竞争对手快了约 2.6 倍。
它适用于现实世界： 团队将 GEMSS 应用于真实数据，例如寻找糖尿病的生物标志物以及识别植物中的基因。在这些现实案例中，GEMSS 生成了多个不同的特征列表，这些列表在预测结果方面都具有高度的准确性。例如，在一项关于糖尿病的研究中，它找到了 8 套不同的生物标志物组合，这些组合在统计学上都是有效且各不相同的。

它并不是什么
论文谨慎地指出 GEMSS 不是什么。它并不声称自己是一个能瞬间解决所有问题的魔杖。研究人员表明，仅仅通过增加运行次数（增加“重启预算”）并不能帮助其他方法赶上 GEM了；即使经过 30,000 次重启，旧方法也无法达到 GEMSS 寻找重叠解的能力。他们还指出，虽然 GEMSS 非常擅长寻找这些多条路径，但它仍然依赖用户去解读哪条路径在科学上更有意义。

底线
这篇论文表明，当数据变得杂乱且复杂时，寻找单一的“最佳”答案可能是一个错误。相反，我们应该寻找一份同样优秀的解释菜单。GEMSS 提供了一种高效的新方法来生成这份菜单，帮助科学家和专家看到全貌，而不仅仅是单一狭隘的视角。作者甚至已将其工具免费发布在网上，因此任何人都可以无需成为编程专家即可尝试使用。

技术摘要：GEMSS —— 一种用于发现多个稀疏解的变分方法

1. 问题陈述

在欠定回归和分类问题中（即特征数量 $p$ 远大于样本数量 $n$ ，或者特征高度共线性时），多个截然不同的稀疏特征子集往往能产生等效的预测性能。这种现象被称为预测多重性（predictive multiplicity）或罗生门效应（Rashomon effect），为科学发现带来了挑战。传统的稀疏选择器（如 LASSO）通常只返回一个单一且任意的解，从而掩盖了其他在统计学上同样合理的解释。

目标是辅助发现（assisted discovery）：为领域专家提供一个由不同且高性能特征集组成的“菜单”，而非仅仅是一个点估计。现有解决此类问题的方法通常分为三类：

启发式重采样集成法：（例如随机 LASSO）通过扰动数据并重新求解，但缺乏后验保证。
后验-自助抽样法：（例如 BB-SSL）通过重新加权似然函数来采样后验分布，但计算成本通常很高。
专门的多重性方法：（例如 Enumeration LASSO、ALFESE）通过约束或枚举强制实现多样性，但并不一定针对真实的、高概率的后验模态（modes）。

2. 方法论：GEMSS

作者提出了 GEMSS（高斯集成多稀疏解，Gaussian Ensemble for Multiple Sparse Solutions），这是一种统一的变分推断方法，旨在直接近似稀疏支撑集的多元后验分布。

概率公式化： GEMSS 假设一个广义线性模型，并采用结构化尖峰与平板先验（Structured Spike-and-Slab prior），将稀疏度固定为恰好 $D$ 个非零系数。其系数的后验分布是多模态的，每个模态对应于一个独特的、近乎等效的特征子集。
变分近似： GEMSS 并非通过采样，而是使用 $K$ 个对角高斯分布的参数化混合分布来近似后验分布 $p(\beta | X, y)$ ：
$q(\beta) = \sum_{k=1}^{K} \alpha_k \mathcal{N}(\beta; \mu_k, \text{diag}(\sigma_k^2))$
通过最大化证据下界（ELBO）并利用随机梯度下降（Adam）来优化模型。
内置排斥机制： GEMSS 的核心机制是 ELBO 中 KL 散度项内的混合熵项（mixture entropy term）。该项起到了排斥力的作用：将两个混合成分置于同一个模态会增加样本的似然度，但会被熵项惩罚。因此，优化过程自然地驱动各成分向不同的模态移动，防止坍缩为单一解。
处理缺失值： 该方法通过仅在观测到的坐标上评估似然函数来原生处理缺失数据，从而避免了插补或删除行的情况。
解的提取： 每个混合成分 $k$ 产生一个候选解。特征的选择基于均值向量 $\mu_k$ 的量级（针对固定规模的基准测试），或通过 z-score 异常检测（针对现实世界中变量规模不定的支持集）。

3. 核心贡献

GEMSS 算法： 一个统一且连贯的变分模型，通过单次拟合即可返回多个不同的稀疏解，显式地对后验的多模态特性进行建模。
可复用的基准测试框架： 作者引入了一个合成数据生成器，其中通过构造已知解集的真实情况及其结构重叠程度。这使得能够对“集合级恢复”（Union-F1）和“结构保真度”（Dissimilarity）进行严格评估。
全面的实证评估： 论文通过控制变量，在不同程度的特征重叠、维度、噪声和缺失值情况下，与六种基准方法（Enumeration LASSO、ALFESE、Randomized LASSO 集成、BB-SSL 和掩码法）进行了对比。
现实世界验证： 应用于代谢组学和食品科学数据集，展示了其能够产生多个截然不同且具有高预测能力的解。
开源发布： 发布了 Python 包 gemss、基准测试仓库以及一个免费、无代码的在线应用（Hging Face Spaces），以实现技术民主化。

4. 实验结果

评估侧重于六个研究问题（RQs）：

RQ1（重叠恢复）： 在不同程度的特征重叠下，GEMSS 在恢复有效解集方面始终优于所有竞争对手。对于不相交的解，虽然差距较小，但随着重叠度的增加，差距显著扩大。值得注意的是，即使将 Randomized LASSO 集成的重启预算增加到 30,000 次，也无法缩小与 GEMSS 之间的差距。
RQ2（现实世界的预测力）： 在真实数据集（Diabetes, PCOS）上，GEMSS 生成的解既具有结构上的差异性（高 dissimilarity），又具有高预测性（高 F1）。像 Enumeration LASSO 这样的竞争方法往往返回近乎相同的解，而掩码法虽然强制了多样性，却以牺牲预测性能为代价。
RQ3（计算预算）： GEMSS 计算效率很高。单次拟合在约 2,000 次迭代时达到平台期，并在约 3,400 次迭代时收敛，同时返回所有解。其表现甚至优于给予了显著更多计算预算的集成方法。
RQ4（维度）： 随着维度增长（ $p$ 高达 5,000 及以上），GEMSS 仍能保持其领先优势，而集成方法性能下降更快。
RQ5（鲁棒性）： 在高噪声和缺失数据下，GEMSS 的性能下降较为平缓。不同于 ALFESE（无法处理缺失数据）或需要插补的方法，GEMSS 的原生似然处理使其能够在其他方法失效的情况下维持恢复指标。
RQ6（容量）： 最优混合成分数 $K$ 取决于问题的重叠结构。较高的 $K$ 有利于不相交的解，而较低的 $K$ 则能防止在高度重叠的场景中出现碎片化。

5. 重要性与主张

论文声称 GEMSS 填补了特征选择领域的一个关键空白：即从“寻找最佳单一模型”转向“发现一系列合理的模型景观”。

机制重于定理： 作者谦虚地将该方法的成功归因于一种实用的机制，而非理论保证，而非仅仅是找到所有模态的理论保证。GEMSS 的“优势”归功于 ELBO 中固有的变分排斥力（variational repulsion），它通过构造实现了成分的分离。这与独立重采样方法（如 Randomized LASSO）形成对比，后者难以解析靠近的后验模态。
实际效用： 其主要意义在于辅助发现。通过提供一组截然不同且在统计上具有竞争力的解，GEMSS 允许领域专家根据生物特异性、实际用途或其他领域约束来进行裁决，而不是接受一个算法性的任意选择。
局限性： 作者承认基准测试是合成的（这对于获取地面真值是必要的），且在高重叠优势方面是在特定的生成族上观察到的。他们还指出，虽然 GEMSS 使用线性模型，但可以通过特征工程（添加交互项）将其应用于非线性问题，尽管这会增加维度。

总之，GEMSS 被呈现为一个稳健、高效且易于使用的工具，用于揭示高维数据中的“罗生门效应”，在涉及高相关性和样本稀缺的场景下，为启发式集成法和专门的多重性封装方法提供了更优的选择。