🧬 biology

JEPA-DNA: Grounding Genomic Foundation Models through Joint-Embedding Predictive Architectures

JEPA-DNA 引入了一种与模型无关的持续训练框架，该框架将联合嵌入预测架构（Joint-Embedding Predictive Architectures）与传统的生成式目标相结合，旨在将基因组基础模型从标记级重建转向语义对齐，从而在多种基因组基准测试中实现了最先进的性能。

原作者： Ariel Larey, Elay Dahan, Amit Bleiweiss, Raizy Kellerman, Guy Leib, Omri Nayshool, Dan Ofer, Tal Zinger, Dan Dominissini, Gideon Rechavi, Nicole Bussola, Simon Lee, Shane O'Connell, Dung Hoang, Mariss

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ariel Larey, Elay Dahan, Amit Bleiweiss, Raizy Kellerman, Guy Leib, Omri Nayshool, Dan Ofer, Tal Zinger, Dan Dominissini, Gideon Rechavi, Nicole Bussola, Simon Lee, Shane O'Connell, Dung Hoang, Marissa Wirth, Alexander W. Charney, Nati Daniel, Yoli Shavit

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，人体就像一座宏大而古老的图书馆。在这座图书馆里，每一条关于构建和运行一个人的指令，都是用仅由 A、C、G 和 T 这四个字母组成的编码写成的。这就是 DNA。长期以来，科学家们一直试图教会计算机阅读这座图书馆，希望如果计算机能理解 DNA 的“语法”，它就能预测我们的身体如何运作、为什么会生病，或者如何修复遗传缺陷。

为了实现这一目标，研究人员使用了被称为“基础模型”（Foundation Models）的技术。把它们想象成超级聪明的学生，已经阅读了数百万本书（DNA 序列），并掌握了这种语言的规则。通常，这些学生通过玩“填空游戏”来学习。如果你遮住句子中的一个单词，学生必须根据周围的词来猜出它是什么。这对于学习句子的局部规则（比如单词如何组合在一起）非常有效。但问题在于：了解语法并不总是意味着你理解了“故事”。一个学生可能知道“猫坐在……”后面通常跟着“垫子上”，但他可能并不理解猫其实是在躲避一只狗，或者整个场景其实是一个更大谜团的一部分。在 DNA 中，这意味着计算机擅长发现微小的模式，但往往会错过不同代码部分如何协同控制生命的宏观图景。

这就是名为 JEPA-DNA 的一项新研究发挥作用的地方。研究人员（来自 NVIDIA 以及以色列和美国的医疗中心团队）决定升级这些阅读 DNA 的“学生”。他们引入了一种新的训练方法，迫使计算机不再仅仅是猜测缺失的字母，而是开始猜测缺失部分的“意义”。与其问“这里应该填什么字母？”，不如问“这段 DNA 这一整块区域的任务是什么？”

该团队在 17 种不同的任务上测试了这种新方法，范围从寻找基因起始位置（启动子）到预测遗传变化如何影响健康。他们尝试将此方法应用于三种不同类型的 DNA 阅读计算机（DNABERT-2、NTv3 和 HyenaDNA），以确保它对所有人（所有模型）都有效。结果令人印象深刻：通过加入这种这种“以意义为中心”的训练，计算机在几乎所有任务上的表现都得到了提升。例如，在一项名为“GUE Promoter”的任务中，新方法的性能提升了超过 11%。在另一项涉及疾病变异的任务中，它识别问题的能力提升了 12% 以上。

论文指出，这种方法之所以奏效，是因为它教会了计算机去观察“森林”而不仅仅是“树木”。虽然旧的方法擅长记忆局部语法（字母的具体顺序），但 JEPA-DNA 帮助模型理解全局功能语境（即那段序列在体内实际起到的作用）。研究人员发现，这种新的学习方式创造了一个生物学的“世界模型”，在这种模型中，计算机理解的是生命的规则，而不只是拼写。他们甚至证明了这种方法比目前现有的最佳模型表现更优，为这些 AI 系统所能达到的成就树立了新的标杆。这就像是将一个擅长拼写的学生，培养成了一位能够同时理解情节、人物和主题的文学评论家。

技术摘要：JEPA-DNA

问题陈述

基因组基础模型（GFMs）通过将大语言模型（LLM）架构应用于基因组数据，推动了 DNA 序列建模的发展。然而，目前的 GFM 主要依赖于生成式自监督目标，例如掩码语言模型（MLM）或下一 Token 预测（NTP）。虽然这些方法在捕捉局部序列语法和识别基序（motifs）方面非常有效，但这些基于 Token 级的重建范式往往优先考虑高频序列“噪声”（例如重复元件），而非全局功能上下文。因此，模型可能会获得极高的语法保真度，却无法内化支配基因组功能的更高级别的调控逻辑或长程相互作用。在现有的生成式目标中，基因组语法与生物学语义之间存在着难以逾越的鸿沟。

方法论：JEPA-DNA 框架

为了解决这一局限性，作者引入了 JEPA-DNA，这是一个将联合嵌入预测架构（JEPA）与传统生成式目标相结合的模型无关型持续训练框架。JEPA-DNA 不再仅仅预测原始 Token，而是迫使模型预测被掩码基因组片段的潜在功能表示。

架构组件

该框架通过一个由以下部分组成的 JEPA 分支来增强标准的 GFM 主干网络（ $E_\theta$ ）：

上下文编码器 ( $E_\theta$ )： 处理掩码输入序列 $x$ ，生成上下文潜在表示 $h_{ctx}$ 。
目标编码器 ( $E_{\bar{\theta}}$ )： 结构上是上下文编码器的副本，其权重通过指数移动平均（EMA）进行更新。它处理未被掩码的目标序列 $y$ ，产生潜在目标 $z$ 。
预测器头 ( $P_\phi$ )： 将上下文表示映射到目标潜在空间，学习将源自上下文的特征与目标编码器的嵌入进行对齐。
序列聚合器 ( $A$ )： 将潜在序列压缩为全局表示（例如使用 [CLS] token、最后一个 token 或均值池化），以促进全局语义对齐。

训练策略

JEPA-DNA 采用多目标持续训练程序：

双重掩码（Dual-Masking）： 利用基于跨度（span-based）的掩码策略，并配合逐渐增加掩码比例和跨度长度的调度器，从而挑战模型推断长程依赖的能力。
重掩码（Re-masking）： 在上下文编码器的输出中，用可学习的潜在 [MASK] 嵌入替换被掩码的位置，以防止出现平凡映射（trivial mappings）。
复合损失函数： 模型通过最小化总损失（ $L_{total}$ $L_{t o t a l}$ ）进行优化，该损失平衡了四个组成部分：
1. LLM 损失 ( $L_{llm}$ )： 标准的 MLM 或 NTP 损失，以保持 Token 级的精确度。
2. 潜在预测损失 ( $L_{jepa}$ )： 一种余弦相似度损失，强制预测的全局潜在表示（ $\hat{z}_{glob}$ ）与目标全局表示（ $z_{glob}$ ）对齐。
3. 方差损失 ( $L_{var}$ )： 确保嵌入维度在批次（batch）内保持足够的方差，以防止信息坍缩。
4. 协方差损失 ( $L_{cov}$ )： 鼓励嵌入维度之间的去相关性，以防止冗余表示（基于 VICReg）。

该框架旨在兼容多种架构（如 Transformer、状态空间模型 HyenaDNA）和分词方法，仅需一个聚合算子即可将序列压缩为潜在表示。

核心贡献

创新的训练框架： 引入了一个持续训练框架，将学习目标从字面上的 Token 重建转向通过 JEPA 实现的潜在特征对齐。
架构无关性： 证明了 JEPA-DNA 是一种通用的“表示提升”机制，能够兼容领先的 GFM（如 DNABERT-2、NTv3、HyenaDNA）以及 MLM 和 NTP 目标。
达到最先进性能（SOTA）： 通过弥合生成精度与潜在语义接地（grounding）之间的差距，在监督线性探测任务中建立了新的性能上限。
协同分析： 表征了生成式目标与潜在目标之间的相互作用，表明混合方法优于纯重建或纯对比方法。

实验结果

该框架在 17 个多样化的基因组基准任务上通过线性探测和零样本协议进行了评估。

线性探测： JEPA-DNA 在所有三种测试的主干架构上均表现出一致的增益。
- DNABERT-2： 在 9 个任务中的 6–8 个任务中实现了性能提升，AUROC 增幅高达 +8.0%。
- NTv3： 在 9 个任务中的 8 个任务中实现了性能提升。
- HyenaDNA： 在 9 个任务中的 7 个任务中实现了性能提升，其中启动子识别（+11.22%）和剪接位点分类（+10.28%）的增幅尤为显著。
- 任务特异性： 在依赖更广泛调控上下文的任务（如启动子、剪接位点、meQTL、因果 eQTL）中增益最为明显；而在由精细局部变化驱动的任务（如编码致病性）中，结果表现出较大的波动。
零样本评估： 使用 DNABERT-2，JEPA-DNA 在 8 个临床和适应性评分基准中的 6 个中提升了性能，包括在疾病变异预测上实现 +12.06% 的 AUROC 增幅。
消融研究：
- VICReg 正则化： 被确定为解锁混合范式收益的关键。
- 预测器架构： 基于注意力的预测器（4 层）优于 MLP 和更深层的架构。
- 损失组成： 潜在空间对齐提供的信号比单纯的 Token 重建（+2.06%）更具信息量（+3.86%），但最优配置需要两者的结合。

意义

论文声称，JEPA-DNA 通过成功地将基因组基础模型锚定在生物学语义中，确立了基因组基础模型的新 SOTA。通过将学习信号从 Token 恢复转向语义对齐，该框架迫使模型学习对低级序列噪声具有不变性的抽象功能特征。这种方法弥合了基因组语法与生物学逻辑之间的鸿沟，提供了一种可扩展的路径，无需多序列比对的计算开销或对比负采样的数据需求，即可实现基础模型的语义落地。作者将 JEPA-DNA 定位为现有 GFM 的一种通用持续训练阶段，而非替代品，旨在增强任何现有基因组基础模型的表示质量。