技术摘要：长寿科学与深度衰老时钟中的前 Transformer 模型研究

问题陈述

计算生物老年学领域依赖于“衰老时钟”——即通过将高维分子或生理数据映射到生物年龄估计值的模型。与实际年龄的偏差（年龄加速）是预测发病率和死亡率的重要指标。虽然该领域在历史上一直使用前 Transformer 方法（惩罚回归、核机器、树集成以及 2017 年之前的深度网络），但随着注意力机制驱动的 Transformer 在通用人工智能领域的统治地位，一个关键问题随之而来：在衰老研究特定的数据条件下，Transformer 是否优于这些既有的成熟方法？

现有文献通常从先验角度认为，衰老队列（样本量小、维度高、标签噪声大且有监管要求）更适合精简的模型，但这种观点一直缺乏通过头对头比较进行的实证验证。本文旨在通过开展一项受控基准测试来填补这一空白，以确定向 Transformer 的迁移是否合理，或者前 Transformer 工具包是否仍是理性的默认选择。

研究方法

本研究建立了一个统一的基准测试，涵盖了六个公共队列和五种数据模态：

1. DNA 甲基化： GSE40279（血液，450K 芯片，$n=656$，$p \approx 20,000$）。
2. 血液生化指标： NHANES（临床指标，$n \approx 34,000$，34 个特征）。
3. 转录组： GTEx v8（全血，$n \approx 755$，5,000 个基因）。
4. 肠道微生物组： American Gut（16S 特征，$n \approx 9,500$，$\sim 1,500$ 个分类单元）。
5. 加速度计数据： NHANES（7 天分钟级序列，$n \approx 7,000$）。
6. 脑部 MRI： Cam-CAN（T1 结构扫描，$n \approx 650$）。

模型类别： 共评估了八种不同的模型类别：

• 经典前 Transformer 模型： Elastic Net（弹性网络）、Kernel SVR（核支持向量回归）、Random Forest（随机森林）、GBDT（梯度提升决策树）。
• 前 Transformer 深度网络： MLP（多层感知机），以及针对模态原生设计的深度网络（用于表格数据的 Autoencoder，用于加速度计数据的 ConvLSTM，用于 MRI 的 3D-CNN）。
• Transformer 模型： 包括从头训练（Tr-scr）和预训练后微调（Tr-pre）变体（用于表格数据的 FT-Transformer/TabTransformer，用于加速度计数据的 Sequence Transformer，用于 MRI 的 Vision Transformer）。

实验方案：

• 评估： 采用统一的嵌套交叉验证协议（5 折外层循环重复 10 次），所有模型使用相同的数据拆分、特征和随机种子。
• 超参数调优： 在内层循环中使用 Optuna（100 次试验）。
• 指标：
  • 准确性： 平均绝对误差（MAE）以及相对于实际年龄的 Pearson 相关系数。
  • 效率： 相对于 Elastic Net 的训练计算成本。
  • 可解释性： 文献验证的衰老标记物在顶层归因特征中的占比。
  • 生物学有效性： 年龄加速残差针对全因死亡率的风险比（Hazard Ratio, HR）（在 NHANES 上进行测试）。
  • 迁移性： 在 GSE40279 上训练并在独立队列 GSE87571 上测试时的性能下降程度（$\Delta$MAE）。

关键结果

1. 不同模态下的准确性

• 表格组学数据： 在甲基化、转录组和微生物组数据上，惩罚回归（Elastic Net）和梯度提升算法表现最佳或并列最佳。
  • 甲基化： Elastic Net 实现了最低的 MAE（3.42 年）；从头训练的 Transformer 表现最差（5.22 年），原因是过拟合。
  • 转录组： GBDT 领先（8.07 年）；从头训练的 Transformer 垫底（9.90 年）。
• 结构化数据： 在加速度计和 MRI 数据上，模态原生的前 Transformer 深度网络（ConvLSTM 和 3D-CNN）优于所有其他类别。
  • 加速度计： ConvLSTM（12.66 年）对比 Transformer（>13 年）。
  • MRI： 3D-CNN（4.74 年）对比 Vision Transformer（7.48 年）。
• 大样本量队列： 唯一一个 Transformer 胜出的情况是 NHANES 血液化学指标队列（$n \approx 34,000$）。预训练 Transformer 实现的 MAE（6.40 年）略低于 GBDT（6.50 年），差距仅为 0.10 年。
• 总体情况： 虽然预训练 Transformer 在所有队列中的平均差距最小（0.18 年），但这一综合优势完全是由那个单一的大样本量队列驱动的。

2. 数据效率与计算成本

• 平衡点： 在 NHANES 队列中，只有当训练样本量达到 $n \approx 23,000$ 时，预训练 Transformer 才开始超越梯度提升模型。在此阈值之下，前 Transformer 模型具有绝对优势。
• 计算成本： 为了实现 0.05 年的平均差距改善，预训练 Transformer 的计算成本约为 Elastic Net 的 21,000 倍，约为原生深度网络的 23 倍。从头训练的 Transformer 效率最低。

3. 可解释性与标记物恢复

• 稀疏线性模型（Elastic Net）和树集成模型（GBDT）恢复文献验证的衰老标记物的比例显著更高（分别为 0.74 和 0.73），而深度学习和 Transformer 模型仅为 0.29–0.46。
• 深度学习和 Transformer 的归因分布在许多弱权重的输入上，呈现弥散状态；而稀疏模型则能识别出具体的已知生物标志物（如血清白蛋白、C-反应蛋白）。

4. 生物学有效性（死亡率预测）

• 悖论： 拥有最低实际年龄误差的模型（预训练 Transformer）却携带了最弱的死亡率信号（风险比 HR $\approx 1.13$ 每标准差）。
• 风险分层： Transformer 变体在风险分层方面排名垫底。相反，GBDT 虽然在年龄准确度上与 Transformer 几乎持平（6.50 vs 6.40 年），但展现出了更强的死亡率信号（HR $\approx 1.27$）。
• 结论： 最小化实际年龄误差并不等于最大化生物学信号；高容量模型似乎学习到的残差对于死亡风险的指示作用较弱。

5. 跨队列迁移

• 当将甲基化时钟从 GSE40279 迁移到 GSE87571 时，Elastic Net 的性能退化最小（$\Delta$MAE +1.2 年）。
• 从头训练的 Transformer 退化最严重（+4.0 年），其次是原生深度网络（+2.8 年）。预训练 Transformer 表现出中等的鲁棒性（+1.9 年），这表明自监督预训练有助于迁移，但仍不及稀疏线性模型。

意义与主张

本文得出结论：针对人类衰老研究的典型数据条件（小 $n$、高 $p$、表格组学、结构化影像），前 Transformer 工具包是理性的默认选择。

• 结构优势： 前 Transformer 模型（惩罚回归、GBDT、ConvLSTM、3D-CNN）不仅是“遗产”工具，而且在 $p \gg n$ 的情形以及处理结构化数据所需的特定归纳偏置方面，在结构上更具优势。
• Transformer 的局限性： 在典型的衰老研究场景下，Transformer 并不在准确性上取胜。其唯一的优势似乎仅在于特定的样本量规模（$n > 23,000$）或大规模无标签语料库（用于预训练），即便如此，其带来的准确性提升也微乎其微（0.10 年），且伴随着极高的计算成本。
• 生物学有效性： 通过高容量模型追求最小化实际年龄误差可能适得其反，因为这些模型产生的年龄加速残差与死亡率的相关性较弱。
• 建议： 注意力机制应被视为一种针对性的补充，而非替代品。只有当特定的队列提供了能够与 Transformer 的归纳偏置相匹配的真实序列结构和无标签规模时，使用它们才是合理的。对于绝大多数衰老研究而言，前 Transformer 工具包在准确性、可解释性、迁移性和生物学有效性之间提供了最佳的平衡。