Longevity Bench: Are SotA LLMs ready for aging research?

本文提出了名为 LongevityBench 的基准测试，旨在通过涵盖多种生物数据类型和预测任务的评估体系，检验最前沿的大语言模型是否真正掌握衰老生物学原理并具备将其应用于生物医学研究的实用能力。

要点

这是一篇关于**“长寿基准测试”（LongevityBench）的研究报告。简单来说，这就是一场“AI 生物学家资格考试”**，目的是看看现在最聪明的人工智能（大语言模型，LLM）到底有没有真正“懂”变老这件事，还是只是在背课文。

想象一下，你正在招聘一位助手来帮你研究人类如何长寿。你面前有 15 位来自不同公司（如 OpenAI、Google、Anthropic 等）的“超级天才”候选人。为了测试他们，你设计了一套特殊的试卷，这就是LongevityBench。

🧬 这场考试考了什么？

这就好比给 AI 出了一套**“生物侦探”**的考题，涵盖了人类变老过程中的各种线索：

1. 看体检报告猜寿命（临床数据）：

   • 题目： 给你一个人的体检数据（血压、血糖、年龄等），问：“这个人还能活 10 年吗？”或者“这两个人谁活得更久？”
   • 比喻： 就像老中医看面相和脉象，或者像保险精算师看数据表，AI 需要判断风险。

2. 看基因密码猜年龄（表观遗传学）：

   • 题目： 给你一段 DNA 甲基化数据（就像 DNA 上的“时间戳”），问：“这个人大概多少岁？”
   • 比喻： 就像看一本旧书的页码磨损程度，或者看树木的年轮，AI 需要读出时间的痕迹。

3. 看细胞活动猜衰老（转录组与蛋白质）：

   • 题目： 给你细胞里成千上万个基因或蛋白质的活跃程度，问：“这个样本是来自年轻人还是老年人？”
   • 比喻： 就像听一个工厂的机器轰鸣声，AI 需要分辨这是“新工厂”（年轻）还是“老旧工厂”（衰老）在运作。

4. 做基因实验（遗传干预）：

   • 题目： 告诉你给果蝇或老鼠加了两个基因突变，问：“它们会比普通老鼠活得更久吗？”
   • 比喻： 就像给赛车改装引擎，AI 需要预测改装后是跑得更快（长寿）还是直接散架（早逝）。

🏆 考试结果如何？

这次考试邀请了 15 位“超级天才”（包括 GPT-5、Gemini 3、Claude 4.5 等当时最先进的模型）参加。结果非常有趣，也让人清醒：

• 没有全能冠军： 就像没有哪个学生能在数学、语文、体育和音乐所有科目都拿满分一样。没有一款 AI 在所有题目上都表现完美。

  • 有的 AI 擅长看体检报告（比如 Google 的 Gemini 3 Pro），但在看基因数据时却像个初学者。
  • 有的 AI 擅长猜癌症病人的生存期（比如 Anthropic 的 Claude），但在其他题目上表现平平。
  • 目前的“状元”： Google 的 Gemini 3 Pro 综合排名最高，OpenAI 的 GPT-5 和 o3 紧随其后。

• 最大的弱点：死记硬背 vs. 真正理解

  • 题目换种问法就懵了： 这是最让人惊讶的发现。如果题目问“谁活得更久？”，AI 能答对；但如果把同样的数据换一种问法（比如“谁先去世？”或者“把年龄分成几个档次选”），AI 的得分就会大幅下降，甚至不如瞎猜。
  • 比喻： 这就像学生背熟了“苹果是红色的”，但如果你问“红色的水果一定是苹果吗？”，他就答不上来了。这说明 AI 并没有真正理解“衰老”背后的生物学逻辑，它只是在玩“找规律”的游戏，而不是在“做研究”。

• 某些领域表现特别差：

  • 在蛋白质（Proteomics）相关的题目上，所有 AI 都表现得很糟糕，几乎是在乱猜。
  • 比喻： 就像让一个只读过医学书的人去修精密的瑞士手表，他完全不知道那些零件（蛋白质）是怎么配合工作的。

💡 这对我们意味着什么？

这篇论文给科学家们泼了一盆冷水，但也指明了方向：

1. 别太迷信 AI： 目前，AI 还不能完全替代生物学家去研究衰老。如果你让它直接预测某个新药能不能让人长寿，它可能会一本正经地胡说八道。
2. AI 是个好助手，但不是决策者： 它们可以帮科学家写代码、查文献、整理数据，但在做关键的科学判断时，人类专家必须亲自把关。
3. 未来的路： 作者建立这个“考试”不是为了羞辱 AI，而是为了给 AI 补课。通过不断测试，告诉 AI 开发者：“看，你们的孩子在这里不懂，那里也不懂，快去训练它！”

🌟 总结

这就好比我们给 AI 发了一张**“生物学家实习证”。目前的测试结果显示，这些实习生虽然聪明绝顶，背了很多书，但缺乏真正的“生物直觉”**。它们能处理数据，但还没学会如何像生物学家那样思考生命的奥秘。

LongevityBench 就是那个严格的考官，它的存在是为了确保未来的 AI 不仅仅是“会说话的百科全书”，而是真正能帮我们解开长寿之谜的**“智慧伙伴”**。

技术摘要

LongevityBench 论文技术总结

1. 研究背景与问题 (Problem)

衰老生物学是一个高度复杂、信息密集且跨组织、跨物种的过程。尽管深度学习在衰老研究（如衰老时钟、生物标志物发现）中已有应用，但当前**通用大语言模型（LLMs）**在衰老生物学领域的实际能力尚未经过系统评估。

主要问题在于：

• 缺乏评估标准：目前没有基准测试（Benchmark）能判断 LLM 是否真正理解了衰老的生物学原理，还是仅仅在进行表面模式匹配或事实记忆。
• 数据解读能力存疑：LLM 能否将低水平的生物数据（如转录组、甲基化、蛋白质组）转化为表型层面的结论（如寿命预测、生存分析）？
• 过度依赖风险：科研界对过度依赖 AI 存在担忧，但缺乏实证数据来校准用户信任度。

2. 方法论 (Methodology)

作者提出了 LongevityBench，这是一个专为评估基础模型在衰老生物学领域能力而设计的综合基准测试框架。

2.1 数据集构建

LongevityBench 整合了 7 个公开数据源，涵盖多种生物数据类型，共包含 30,193 个提示（Prompts）（约 5000 万 Token）：

1. 人群生存数据 (NHANES-IV)：基于临床血液检测和病历，预测个体生存时间（二分类、成对比较、回归、多分类）。
2. 衰老轨迹 (Open Genes)：预测基因在人类组织中的表达随年龄变化的方向（上调/下调）。
3. 多突变体寿命 (Synergy Age)：基于果蝇和小鼠实验，评估基因突变对寿命的联合影响。
4. 癌症生存 (TCGA)：基于 RNA-seq 数据和诊断信息，预测无进展生存期（PFS）。
5. 甲基化衰老 (GEO)：基于 DNA 甲基化谱（CpG 位点）预测年龄。
6. 转录组衰老 (GTEx)：基于多组织 RNA 表达预测年龄。
7. 蛋白质组衰老 (Olink)：基于血浆蛋白质组数据预测年龄。

2.2 任务格式

为了测试模型对语义的鲁棒性，每种数据类型均设计了多种任务格式：

• 二分类/多分类：例如“是否存活超过 10 年？”或“属于哪个年龄段？”。
• 成对比较 (Pairwise)：例如“谁活得更长？”或“哪个样本更老？”。
• 回归任务：预测具体的生存时间（月）或寿命增加百分比。
• 生成任务：根据部分基因/蛋白列表，补全剩余的高表达分子列表。

2.3 评估对象与指标

• 模型：测试了 15 个最先进的 LLM，包括 OpenAI (GPT-4.1, GPT-5, o3 等), Anthropic (Claude Sonnet 4.5), Google (Gemini 2.5/3 系列), xAI (Grok-3/4), 和 DeepSeek (R1)。
• 指标：
  • 分类/成对任务：准确率 (Accuracy)。
  • 生成任务：Jaccard 指数。
  • 回归任务：平均绝对误差 (MAE)。

3. 关键贡献 (Key Contributions)

1. 首个衰老生物学专用基准：建立了 LongevityBench，填补了评估 LLM 在衰老研究、生存分析和多组学解释方面能力的空白。
2. 多维度评估框架：不仅评估准确率，还通过改变提示格式（如从二分类改为成对比较）来测试模型内部生物学表征的一致性。
3. 揭示模型局限性：系统性地指出了当前 SotA 模型在特定模态（如蛋白质组）和特定任务格式（如回归预测）上的显著缺陷。
4. 指导模型开发：提出了将 LongevityBench 作为“科学多模态 AI 健身房（MMAI Gym）”的一部分，用于通过监督微调（SFT）和强化微调（RFT）训练更懂生物学的 AI。

4. 主要结果 (Results)

4.1 总体排名

• Google Gemini 3 Pro 表现最佳，平均排名为 5.00，在 17 项任务中 7 项排名第一。
• OpenAI 的 GPT-5 和 o3 紧随其后（平均排名 5.06）。
• xAI (Grok)、DeepSeek-R1 和 Anthropic (Sonnet 4.5) 整体表现中等或较低，但在特定任务（如癌症生存预测）中有亮点（Sonnet 4.5 在癌症生存任务中准确率达 0.697）。

4.2 模态与任务差异

• 临床数据表现较好：基于 NHANES 临床数据的二分类生存预测，顶级模型准确率超过 0.85。
• 组学数据挑战巨大：
  • 转录组：在成对比较任务中，所有模型的表现均接近随机猜测（0.48-0.55），但在多分类任务中表现有所提升，表明模型编码了衰老模式但难以在特定格式下提取。
  • 蛋白质组：表现最差，生成任务的 Jaccard 指数极低（<0.03），远低于转录组任务（>0.15），可能源于训练数据中蛋白质组学数据的稀缺。
• 格式依赖性 (Format Dependence)：
  • 模型排名在不同问题格式下极不稳定。例如，Gemini 3 Flash 在多分类任务中表现优异，但在成对比较中排名靠后。
  • 回归任务的系统性偏差：在预测具体生存时间时，所有模型都倾向于低估长生存期（将预测压缩在 50-100 个月区间），即使它们在二分类任务中表现良好。这表明模型未能正确权衡“治疗成功”或“长期缓解”的信息。

4.3 上下文利用能力

• 部分模型（如 Gemini 3 Pro, GPT-4.1）在提供额外的生物学注释（如 GO 术语、实验背景）时，性能有显著提升。
• 而 o3 模型在有无额外上下文时表现稳定，暗示其可能在训练阶段已内化了这些生物学知识。

5. 意义与展望 (Significance)

• 对科研人员的指导：
  • 研究人员应根据具体任务选择模型，不能仅依赖综合排名。
  • 对于临床生存预测，LLM 可作为辅助工具，但回归预测需谨慎。
  • 对于蛋白质组等新兴模态，LLM 目前不可靠，需实验验证。
  • 生成式任务目前仅适合作为假设生成工具，而非生产级应用。
• 对 AI 开发的启示：
  • 当前的 LLM 缺乏对衰老生物学连贯的内部表征，更多依赖表面相关性。
  • LongevityBench 可作为训练目标，引导模型学习从低层生物数据到高层表型的逻辑推理，而非简单的模式匹配。
• 未来方向：
  • 持续更新基准以追踪模型进步。
  • 扩展任务范围至药物筛选、跨物种翻译等。
  • 解决推理成本、延迟及输出格式合规性等问题。

总结：LongevityBench 揭示了当前最先进的 LLM 在衰老生物学领域“既强又弱”的现状：它们能处理临床文本数据，但在解读复杂组学数据和进行精确数值推理方面仍存在显著缺陷。该基准为构建真正理解生命科学的下一代 AI 奠定了评估基础。