BOTANIC-0: a series of foundation models for plant genomic data

本文介绍了 Botanic0 系列植物基因组基础模型，该系列包含 1 亿至 10 亿参数，在 43 种系统发育多样的植物基因组上进行预训练，并在零样本和微调设置下于多种基因组预测任务中展现出与最先进模型相媲美的性能，从而为作物改良和基因型到表型建模奠定了基础。

要点

这篇论文介绍了一个名为 Botanic-0 的“植物基因组大模型”家族。为了让你轻松理解，我们可以把这项技术想象成教一个超级聪明的机器人去阅读植物的“生命天书”。

以下是用通俗语言和生动比喻对这篇论文的解读：

1. 核心概念：植物界的“语言大师”

想象一下，DNA 序列（A、T、C、G 这四个字母的排列组合）就像是一本极其复杂的植物生命说明书。

• 以前的做法：科学家像是一个个勤奋的图书管理员，需要一页一页地手动翻阅，试图找出哪一行字决定了“抗干旱”或“产量高”。这非常慢，而且容易漏掉细节。
• Botanic-0 的做法：他们训练了一个 AI 机器人，让它像婴儿学说话一样，通读了 43 种不同植物的“天书”（从水稻到小麦，从拟南芥到香蕉）。这个机器人不需要人告诉它哪段文字代表什么，它自己通过大量阅读，学会了植物 DNA 的“语法”和“逻辑”。

2. 这个机器人有多强？（三个版本）

研究团队训练了三个不同体型的机器人，就像手机有“标准版”、“Pro 版”和"Ultra 版”：

• Botanic0-S (小)：1.14 亿参数，像个聪明的本科生。
• Botanic0-M (中)：2.6 亿参数，像个经验丰富的研究生。
• Botanic0-L (大)：近 10 亿参数，像个博学的教授。
  发现：机器人读的书越多、脑子越大（参数越多），它理解得就越透彻。而且，它不仅能读懂它“读”过的植物，还能举一反三，理解它从未见过的植物（比如它没读过香蕉，但读了小麦和水稻后，也能猜出香蕉基因大概长什么样）。

3. 它能做什么？（三大超能力）

这个机器人不仅仅是“读过书”，它现在能帮科学家解决大难题：

• 能力一：给基因“排雷” (预测突变)

  • 比喻：就像你在写文章时，如果不小心把“爱”写成了“受”，句子就通不通了。Botanic-0 能一眼看出，如果某个植物的 DNA 字母变了（突变），是会让植物“生病”（有害），还是“没事”（中性）。
  • 应用：帮助科学家快速筛选出哪些基因突变是危险的，哪些是可以用来改良作物的。

• 能力二：读懂“基因地图” (识别功能区域)

  • 比喻：DNA 里有很多乱码（非编码区）和真正的指令（编码区）。Botanic-0 能像侦探一样，把 DNA 长卷里的“开关”（启动子）、“指令区”（基因）和“垃圾区”区分开来。
  • 应用：帮科学家快速找到控制植物生长、开花或抗病的“关键开关”。

• 能力三：预测“未来表现” (基因型到表型)

  • 比喻：以前科学家要种几年地，看植物长得好不好。现在，Botanic-0 看着 DNA 序列，就能预测这株植物长出来会不会抗旱、会不会高产。
  • 应用：大大缩短育种时间。以前培育一个新品种要 8 年，现在可能只需要几年甚至更短，让农民能更快用上抗灾的新种子。

4. 为什么这很重要？（解决现实危机）

• 背景：气候变化让天气越来越极端（干旱、洪水、新害虫），而我们要养活的人口却在增加。
• 痛点：传统的育种太慢了，等我们培育出抗灾品种，可能害虫已经进化了，或者气候又变了。
• Botanic-0 的价值：它就像给育种专家装上了“透视眼”和“加速器”。它能帮我们在实验室里快速筛选出最好的基因组合，把“从实验室到田间地头”的时间大幅缩短，确保全球粮食安全。

5. 总结：这是第一步，未来更强大

这篇论文只是Botanic 家族的第一代产品。

• 现状：它已经证明，用 AI 大规模学习植物基因是可行的，而且效果很好。
• 未来：团队计划训练更大的模型，不仅看 DNA，未来还要结合植物的“照片”（图像）、“体检报告”（蛋白质数据）和“环境数据”（天气、土壤），打造一个真正的全能植物 AI 大脑。

一句话总结：
Botanic-0 是一个通过“阅读”43 种植物 DNA 而学会的超级 AI，它能帮人类更快地读懂植物的生命密码，从而培育出更能抵抗气候变化、产量更高的超级作物，守护我们的饭碗。

技术摘要

1. 研究背景与问题 (Problem)

• 挑战： 全球气候变化加剧了对抗逆、高产作物的需求，但传统作物育种周期长（新品种开发需长达 8 年），且难以快速应对病原体适应和新环境压力。
• 瓶颈： 虽然全基因组关联分析（GWAS）和泛基因组学已能定位性状相关区域，但将遗传变异转化为机制性理解（即确定哪些变异是因果性的，以及它们如何影响基因调控和表型）仍极具挑战性。
• 现有局限： 植物基因组具有高度复杂性（非编码区大、结构变异多、进化多样性高），且缺乏大规模、标准化的植物基因组预训练模型。现有的通用基因组语言模型（gLMs）在植物领域的表现往往不如在人类或动物领域显著，且缺乏针对植物特定任务的大规模基准测试。
• 目标： 开发一套专门针对植物基因组的基础模型，能够直接从 DNA 序列中学习调控生物学规律，加速从实验室发现到田间应用的转化。

2. 方法论 (Methodology)

2.1 模型架构与规模

Botanic-0 系列包含三个不同规模的 Transformer 架构模型，均基于掩码语言建模（MLM）进行预训练：

• Botanic0-S: 1.14 亿参数 (114M)
• Botanic0-M: 2.6 亿参数 (260M)
• Botanic0-L: 9.91 亿参数 (991M)
• 架构细节： 采用类似 ESM-2 的架构，专为 DNA 数据设计。
• Tokenization: 使用 6-mer（6 碱基片段）作为 Token，而非单碱基。
• 上下文长度： 6,000 bp（约 1,024 个 Token）。

2.2 预训练数据 (Pre-training Dataset)

• 数据来源： 从 NCBI 下载了 48 种植物的基因组组装，最终使用 43 种 具有系统发育多样性的植物物种作为训练集。
• 验证集： 预留了 5 种未见过的物种（包括水稻、开心果、大麦、生姜、香蕉）作为独立验证集，以评估模型的泛化能力。
• 数据处理：
  • 仅保留核 DNA，过滤掉线粒体和叶绿体 DNA。
  • 将基因组序列切割为 6,100 bp 的重叠窗口（50 bp 重叠），最终提取 6,000 bp 的序列。
  • 数据集由约 1150 万条序列组成，其中 87.7% 为基因间区（Intergenic），反映了植物基因组的真实分布。
  • 数据格式为 JSONL，便于云端流式训练。

2.3 训练策略

• 任务： 掩码语言建模（MLM），随机掩码 6-mer 序列进行预测。
• 优化器： AdamW，采用 Warmup-Stable-Decay 学习率调度策略。
• 硬件： 使用 8 张 GPU（A100/H100/B200）进行分布式训练，Botanic0-L 训练耗时约 10 天。
• 训练步数： 约 15 万步（Global Steps），虽少于部分竞品，但下游任务性能尚未饱和。

2.4 评估方法

• 零样本（Zero-shot）评估： 计算有害突变与参考等位基因的对数似然比（LLR），评估模型对功能约束的捕捉能力。
• 探针任务（Probing）： 在冻结预训练权重的情况下，使用线性分类器或 XGBoost 对嵌入向量进行微调，评估其在标准基准（如 PlantCAD 和 PGB）上的表现。
• 微调（Fine-tuning）： 使用 IA³（一种参数高效微调技术）在 17 个 PGB 数据集上进行全任务微调。

3. 关键贡献 (Key Contributions)

1. 首个大规模植物专用基础模型系列： 发布了 Botanic0-S/M/L 三个模型，是首个在 43 种多样化植物基因组上预训练的基础模型系列。
2. 验证了植物基因组模型的扩展性（Scaling Laws）： 实验表明，随着模型参数量增加（从 114M 到 991M）和训练步数增加，模型在未见物种上的泛化能力和下游任务性能均呈现持续上升趋势，未出现明显的性能饱和。
3. 建立了可复现的基准与开源模型： 所有模型已在 Hugging Face 开源，并严格在原始未修改的基准数据集（PGB, PlantCAD）上进行评估，为社区提供了公平的对比基准。
4. 证明了多物种预训练的有效性： 即使在训练数据中未包含某些物种，模型仍能通过跨物种学习捕捉通用的植物基因组规律（如启动子、剪接位点等）。

4. 主要结果 (Results)

• 预训练损失与泛化： 训练集和验证集（5 种未见物种）的损失均随训练步数持续下降，表明模型未过拟合，且具备跨物种迁移能力。
• 零样本突变评分： Botanic0-L 在区分有害突变方面的对数似然比（LLR）与最先进的 PlantCAD 和 GPN 模型高度相关，优于 AgroNT。
• 嵌入向量质量（Probing）：
  • 基因组区域分类： 在拟南芥基因组区域分类任务中，Botanic0-L 的 XGBoost 分类准确率达到 0.641，显著优于 AgroNT (0.542)。嵌入空间能清晰区分 CDS、内含子、UTR 等区域。
  • 标准基准表现： 在 PlantCAD 的 5 个二元分类任务（TIS, TTS, Donor, Acceptor, Conservation）中，Botanic0 系列模型表现与 SOTA 模型（如 PlantCaduceus, PlantCAD2）相当或更具竞争力。
  • 鲁棒性： Botanic0 模型对 L2 正则化强度的敏感度较低，表现出更稳定的性能。
• 微调性能： 在 PGB 数据集（包括启动子强度、终止子强度、增强子区域等）上，Botanic0 经过 IA³ 微调后，性能与 AgroNT 相当。
  • 注： 对于启动子/终止子强度等简单统计特征明显的任务，预训练带来的提升不如复杂任务显著，因为小模型也能从数据中学习这些简单模式。
• 扩展性分析： 下游任务性能随预训练步数增加而提升，且 Botanic0-L 在 15 万步时性能尚未饱和，暗示更大规模模型仍有巨大潜力。

5. 意义与展望 (Significance & Future Work)

• 加速作物改良： Botanic0 为从 DNA 序列直接预测基因调控、变异效应和表型提供了强大的工具，有望缩短育种周期。
• 数据选择的重要性： 研究指出，针对特定领域（植物）精心筛选的数据（43 种植物）比包含大量非目标物种的通用数据（如 NTv2）更有效。NTv3 虽包含多物种，但在植物任务上表现不如专门训练的 PlantCAD2 或 Botanic0，强调了领域特定数据的价值。
• 未来方向：
  • 架构改进： 引入反向互补（RC）等变性（Equivariance）架构，以更好地处理 DNA 双链特性。
  • Tokenization 优化： 虽然 6-mer 有效，但单碱基 Tokenization 可能是高分辨率任务的未来趋势。
  • 多模态融合： 未来的 Botanic 模型将整合转录组、表观组、环境数据等多模态信息，以解决从基因型到表型的复杂映射问题，实现真正的“表型级”预测。
  • 数据平衡： 建议过采样功能区域（如外显子、调控区），以平衡功能区与基因间区的比例，提高模型对功能区域的关注。

总结： Botanic-0 标志着植物基因组 AI 研究的重要一步，证明了大规模自监督学习在植物领域的有效性，并为未来的作物设计、基因编辑和精准育种奠定了坚实的模型基础。