🤖 machine learning

BBOmix: A Tabular Benchmark for Hyperparameter Optimization of Unsupervised Biological Representation Learning

本文介绍了 BBOmix，这是首个开源表格基准测试，包含跨越多种生物数据集和架构的 105,000 次评估，旨在严格评估用于无监督生物表示学习的超参数优化方法，并解决依赖重构损失作为下游效用代理指标的局限性。

原作者： Luca Thale-Bombien, Jan Ewald, Ralf König, Aaron Klein

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Luca Thale-Bombien, Jan Ewald, Ralf König, Aaron Klein

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图烘焙一个完美的蛋糕，但你的原料不是面粉和糖，而是像 DNA 和 RNA 这样复杂的生物数据。你拥有一个非常强大的烤箱（一台运行着名为“自动编码器”的“深度学习”模型的计算机），它可以将这些原始数据转化为简化的、有用的摘要。然而，问题在于，这个烤箱极其敏感。如果你稍微调整一下温度或搅拌速度，蛋糕要么完美呈现，要么彻底烤焦。

在生物学领域，研究人员通常必须猜测这个烤箱的最佳设置。他们通常只是使用“默认”设置，或者根据过去的经验进行猜测，这往往会导致做出平庸的蛋糕。而且，他们通常通过观察蛋糕的外观（重构）来判断好坏，而不是通过它的用途（例如预测疾病的实用性）来判断。

由此，BBOmix 应运而生。

作者们构建了一个庞大的、开源的“品鉴菜单”，以帮助研究人员在不需要亲自烘焙成千上万个蛋糕的情况下，找到完美的烤箱设置。以下是他们的方法，通过简单的概念进行了拆解：

1. 海量品鉴菜单（基准测试）

可以将 BBOmix 想象成一个巨大的预制蛋糕图书馆。

原料： 他们使用了来自两个巨大来源的真实世界数据：TCGA（一个庞大的癌症患者数据集合）和 SCHC（发育中的人类脑细胞数据）。
烤箱： 他们测试了四种不同类型的“烤箱”（神经网络架构），从标准设计到专门根据生物学规则构建的设计不等。
烘焙： 他们不仅仅是烤了几个蛋糕；他们烤了 105,000 个不同的版本。他们尝试了他们能想到的每一种设置组合（超参数），并且每个结果都运行了三次，以确保结果并非仅仅靠运气。
结果： 研究人员不再需要花费数月时间去烘焙和测试，他们现在只需查阅这个图书馆中的结果。这就像是一个数据库，上面写着：“如果你在 DNA 数据上使用设置 X，你会得到结果 Y。”

2. “好看”与“好吃”的测试

通常在烘焙时，我们通过蛋糕的外观（重构损失）来判断它。如果蛋糕看起来是一个完美的球体，我们就假设它是好的。但在生物学中，一个看起来完美的蛋糕可能并不能真正帮助你预测患者是否患有癌症（下游性能）。

作者利用他们的庞大库检查了这一点。

发现： 对于大多数类型的数据，如果蛋糕看起来很好（低重构损失），它通常也很好吃（高性能的任务表现）。因此，检查“外观”是一个不错的捷径。
例外情况： 然而，他们发现了一种特定的原料（癌症患者的 DNA 突变数据），在这种情况下，“好看”的蛋糕并不意味着它“好吃”（高性能）。在这种特定情况下，你不能信任视觉检查，你必须实际品尝它。

3. 秘方（超参数的重要性）

作者分析了他们的 105,000 个蛋糕，以找出烤箱上的哪些旋钮最重要。

大杠杆： 他们发现有两个设置是几乎所有食谱的“秘方”：Dropout（一种防止模型过度死记硬背数据的方法）和 学习率（模型学习的速度）。
小旋钮： 诸如烤箱有多深或使用了多少“权重衰减”（一种正则化手段）之类的设置，其重要性要小得多。
启示： 如果你想烤出一个好蛋糕，首先要确保温度和搅拌速度正确，至于烤盘的形状则没那么重要。

4. 聪明的烘焙师（优化方法）

论文还测试了不同的“烘焙师”（算法），看谁能最快找到最佳设置。

随机烘焙师： 只是随机猜测设置。起初效果还可以，但随后会变得很慢。
聪明烘焙师（迁移学习）： 这个烘焙师会观察其他类型蛋糕（例如 RNA 数据）成功的食谱，并利用这些知识更快地烘焙出新的蛋糕（例如 DNA 数据）。论文发现，这是一个巨大的省时工具。
多保真度烘焙师： 这个烘焙师会在蛋糕烘焙到一半时进行品尝。如果看起来已经烤焦了，他们会立即停止烘焙并转向下一个。这节省了大量的时间和电力。

总结

BBOmix 是一个使高水平科学民主化的工具。它将生物数据分析中昂贵且耗时的“试错”过程，转变为一个简单的查找表。它告诉我们：

我们拥有一个包含 105,000 个经过测试结果的庞大数据库。
检查模型是否“看起来好”通常是一个安全的捷径，但并非总是如此。
几个特定的设置（Dropout 和学习率）是最重要的，必须优先搞定。
使用能够从过去经验中学习或能及早停止糟糕实验的“聪明烘焙师”，是找到最佳结果的最有效方式。

其目标不是为你烤好蛋糕，而是给你一本食谱，这样你就不会在试图摸索清楚的过程中把自己的厨房给烧毁了。

技术摘要：BBOmix

问题陈述

高通量测序技术的快速发展产生了大规模、高维的组学数据集（基因组学、转录组学、蛋白质组学）。深度无监督学习架构，特别是自动编码器（AE），正越来越多地被用于该领域的降维和表示学习。然而，这些模型对架构选择和超参数配置高度敏感。

该领域的一个关键挑战在于，无监督优化通常依赖于最小化重构损失，但这可能无法很好地作为下游应用（如细胞类型分类、疾病预后）中实际效用的代理指标。在如此大规模的生物学数据上进行穷举式超参数优化（HPO）计算成本极高，迫使研究人员往往只能依赖次优的默认配置或手动调优。此外，现有的 HPO 基准测试（如 NAS-Bench-201、TabRepo）侧重于有监督设置，其优化目标与下游任务直接匹配，或者依赖于未能捕捉生物系统特有的噪声、稀疏性和调节模式的合成数据或计算机视觉数据。目前缺乏针对真实世界生物数据进行无监督表示学习的标准化的、预计算的基准测试。

方法论

作者引入了 BBOmix，这是首个针对真实世界生物数据进行无监督 HPO 的开源表格基准测试。其方法论包含以下组成部分：

1. 数据集与模态

该基准测试利用了两个成熟的多组学数据集：

TCGA（癌症基因组图谱）： 一个泛癌数据集，包含超过 10,000 个患者样本，涵盖 32 种癌症类型，包括转录组学（mRNA-seq）、表观遗传学（DNA 甲基化）和基因组学（突变评分）模态。
SCHC（单细胞人类皮层）： 一个包含超过 45,000 个单细胞测量值的数据集，包括 scRNA-seq 和 scATAC-seq，并带有细胞类型、年龄和性别的注释。

2. 架构

评估了四种不同的 AE 架构，涵盖了从标准模型到生物启发模型的范围：

Vanillix： 标准的全连接前馈 AE，具有批归一化（batch normalization）、Dropout 和 ReLU，最小化 MSE 重构损失。
Varix： 标准的 $\beta$ -变分自动编码器（ $\beta$ -VAE），最小化标准的 ELBO 损失。
Disentanglix： $\beta$ -TCVAE 的扩展版本，通过分解 KL 散度来惩罚总相关性（total correlation）、互信息（mutual information）和单维度 KL。
Ontix： 一种生物启发式的 VAE，其解码器受本体论（ontology）约束（可以是 Reactome 通路或基于染色体的基因位置），以增强潜在空间的解释性。

3. 实验设计

搜索空间： 为每种架构从覆盖共享超参数（输入维度、层数、编码因子、潜在维度、学习率、批大小、dropout、权重衰减）及架构特定参数（如 $\beta$ 、 $\beta_{tc}$ ）的搜索空间中均匀采样了 1,000 个配置。
执行： 每个配置在七个“数据集-模态”任务上训练 300 个 epoch，并使用三个独立的随机种子。
规模： 这导致了 105,000 次单独的训练运行（4 种架构 $\times$ 1,000 个配置 $\times$ 3 个种子 $\times$ 7 个任务），消耗了大约 10,000 个 Nvidia H100 GPU 小时。
数据格式： 结果以 Syne Tune 库的表格黑盒格式进行序列化，提供了 35 个不同的黑盒。每个条目都包含每 epoch 的重构损失、训练运行时长以及下游任务性能。

4. 评估指标

主要目标： 重构损失（在训练期间最小化）。
下游效用： 通过逻辑回归在各种临床和生物分类任务（如癌症类型、细胞类型、生存状态）上评估冻结的潜在嵌入（latent embeddings）的效用。性能使用受试者工作特征曲线下面积（AUC-ROC）进行衡量。

核心贡献

首个大规模无监督 HPO 数据集： BBOmix 在 35 个任务中提供了 105,000 次评估，使得无需昂贵的重新训练即可对 HPO 算法进行基准测试。
相关性分析： 作者系统地量化了重构损失与下游任务性能之间的相关性，为重构损失何时作为可靠代理提供了实证证据。
全面的 HPO 基准测试： 本文评估了三种范式下的最先进（SOTA）优化方法：
- 单保真度（Single-fidelity）： 随机搜索（Random Search）、TPE、BORE、REA、CQR。
- 多保真度（Multi-fidelity）： ASHA、BOHB 以及混合方法（ASHABORE、ASHACQR）。
- 迁移学习（Transfer Learning）： Zero Shot、Bounding Box、Quantile Transfer。

结果

重构损失作为代理

研究发现，重构损失通常是下游性能的一个强有力但并非完美的预测因子。

相关性： 对于大多数模态，Disentanglix、Vanillix 和 Varix 的重构损失与下游 AUC 之间的 Spearman 秩相关系数 ( $\rho$ ) 在 $-0.72 $到$ -0.88$ 之间。
例外情况： 相关性在 TCGA-DNA（基因组突变评分）模态中显著失效，该模态的相关性接近于零或呈弱正相关。这表明对于特定的生物学模态（如 DNA 突变评分），最小化重构损失并不一定会产生更好的下游任务表示。

超参数重要性

使用随机森林回归器的排列重要性（permutation importance）分析得出：

Dropout ( $p$ )： 在 Vanillix、Varix 和 Disentanglix 中，Dropout 始终是下游预测性能影响最大的超参数。
学习率（Learning Rate）： 是 Ontix 的主导因素，也是其他模型的强有力次要因素。
输入维度 ( $D$ )： 对重构损失影响很大，但对下游分类任务的影响较小。
架构特定项： 正则化项如 $\beta$ （在 VAE 中）和 $\beta_{tc}$ （在 Disentanglix 中）对下游性能的影响程度中等，但对重构损失的影响微乎其微，这表明它们塑造的是潜在几何结构而非重构保真度。

优化器性能

单保真度： CQR（共形分位数回归）实现了最低的归一化遗憾值（normalized regret）和最佳整体性能。BORE 和 REA 表现稍逊，但优于 TPE 和随机搜索。
多保真度： 利用每 epoch 学习曲线的方法（ASHA、BOHB 及其混合方法）达到了与单保真度方法相当的最终性能，但其墙钟时间（wall-clock time）减少了一个到两个数量级。ASHACQR 和 ASHABORE 表现出了特别强的随时性能（anytime performance）。
迁移学习： 与 CQR 相比，Bounding Box 和 Quantile Transfer 等方法通过利用相关任务的知识，显著降低了冷启动遗憾值。这表明超参数的重要性结构（例如学习率的主导地位）在不同生物数据类型和模型族之间具有部分可移植性。Zero Shot 方法提供了一个良好的初始起点，但很快就被能够主动更新代理模型的方法所超越。

重要性与主张

本文声称 BBOmix 使大规模无监督 HPO 研究在生物学领域实现民主化。通过提供严谨的基准，它允许研究人员：

在无需从头开始训练模型的极高计算成本下，评估 HPO 算法。
调查无监督目标与生物学效用之间的关系，强调重构损失何时失效。
证明迁移学习和多保真度方法在该领域非常有效，从而能以极低的成本快速识别高性能配置。

作者将 BBOmix 定位为开发领域特定 HPO 推荐框架的基础，这些框架可以为新的生物学数据集建议最优的架构和超参数，从而降低该领域从业者的准入门槛。