💻 bioinformatics

PARNET: A CLIP-SEQ-BASED FOUNDATION MODEL FOR RNA SEQUENCE REPRESENTATION LEARNING

PARNET 是一种专门基于实验性 CLIP-seq 数据训练的新型 RNA 基础模型，用于预测碱基分辨率的 RBP 结合图谱，与传统的基于序列的语言模型相比，它在多种下游任务中展现出了卓越的性能和机制解释性。

原作者： Moyon, L., Tirabassi, A., Baranowskii, A., Capitanchik, C., Kuret Hodnik, K., Wilkinson, L., Londhe, S., Dumbovic, G., Gagneur, J., Ule, J., Horlacher, M., Marsico, A.

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Moyon, L., Tirabassi, A., Baranowskii, A., Capitanchik, C., Kuret Hodnik, K., Wilkinson, L., Londhe, S., Dumbovic, G., Gagneur, J., Ule, J., Horlacher, M., Marsico, A.

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你的身体是一座繁忙且高科技的城市。在这座城市中，DNA 是储存在市议会中的主蓝图，但实际的工作是在街道上进行的。为了将蓝图送到施工现场，城市会发出名为 RNA 的副本。这些 RNA 信息就像是运送指令以建造蛋白质（维持城市运转的工人）的运输卡车。但问题在于，这些 RNA 卡车非常脆弱，而且它们携带的指令可能会混乱或模糊。如果一辆卡车损坏、迷路或交付了错误的货物，整个城市都可能面临混乱，从而导致疾病。

为了保持一切顺畅运行，城市雇佣了一支庞大的专业交通管制团队，称为 RNA 结合蛋白（RBP）。这些控制器不仅驾驶卡车，还阅读 RNA 信息，决定它们应该去哪里、停留多久，以及是应该被翻译成蛋白质还是被丢弃。它们就像一段复杂的、看不见的编码，决定了每一条 RNA 信息的命运。多年来，科学家们一直试图通过计算机破解这段代码，但这就像仅仅通过观察棋盘上的棋子来猜测游戏的规则一样困难。一个大问题是：我们能否构建一台聪明的计算机，它不仅能理解 RNA 信息中的字母，还能理解交通控制器是如何与它们相互作用以控制城市生命的？

于是，Parnet 出现了——这是一种新型的“超智能”计算机模型，它声称找到了理解这一生物交通系统的捷径。Parnft 并没有尝试通过在黑暗中阅读数百万条 RNA 信息来猜测规则（这种方法被称为自监督学习，就像一个学生试图通过阅读一本没有图片的书来学习语言），而是通过观察交通控制器的实际行动来学习。研究人员利用一个包含 223 种不同实验的大规模数据集对 Parnet 进行了训练，在这些实验中，科学家们实际观察了 150 种不同类型的 RNA 结合蛋白如何抓取 RNA 链。你可以把它想象成通过向学生展示成千上万段交通控制器工作的视频来教导他们，而不是仅仅给他们一本字典。

结果非常强大。Parnet 学会了精确预测这些蛋白质会在 RNA 链上的哪个位置结合，精确度甚至可以达到单个字母级别，其准确性远高于以往的模型。但真正的奇迹发生在研究人员测试 Parnet 究竟学到了什么的时候。他们“冻结”了模型的“大脑”，并利用其内部知识去解决其他它从未见过的谜题。在没有任何额外训练的情况下，Pell 能够成功预测：

哪些 RNA 信息会粘附在细胞的“墙壁”（染色质）上，哪些会自由漂浮。
一条信息转化为蛋白质的效率（翻译效率）。
特定的 RNA “剪切与粘贴”事件（剪接）是会正确发生还是出错。
甚至微小的遗传“打字错误”（突变）对疾病的影响。

Parnet 的特别之处在于，它不仅给出了正确答案，还解释了“为什么”。因为它直接从蛋白质与 RNA 的相互作用中学习，所以它可以指出导致预测结果的特定“交通控制器”和特定的 RNA 模式。例如，如果它预测某个突变会导致疾病，它可以向你展示该突变破坏了特定蛋白质的结合位点，从而有效地造成了交通拥堵。

论文指出，这种方法——直接从蛋白质与 RNA 的物理相互作用中学习——比目前仅仅通过读取序列来构建生物 AI 的趋势，是一种更高效且更具可解释性的方式。虽然该模型是在仅有两种人类细胞类型的数据上进行训练的，但它展示了自己可以泛化到未见的细胞类型，甚至可以预测像 ALS（肌萎缩侧索硬化症）这类疾病中蛋白质如何结合，在 ALS 中，一种名为 TDP-43 的蛋白质会变得异常活跃。作者谨慎地指出，虽然 Parnet 是一个巨大的进步，但它并不完美；它目前只了解它所接受过训练的蛋白质，并且尚未考虑 RNA 的 3D 形状或化学修饰。然而，通过将其知识建立在真实的、经过测量的生物相互作用之上，Parnet 为理解控制细胞功能的复杂代码提供了一个清晰且具有解释性的窗口，这有助于科学家确定哪些遗传突变值得用于研究新疗法。

技术摘要：PARNET —— 基于 CLIP-Seq 的 RNA 序列表示学习基础模型

问题陈述

RNA 结合蛋白（RBPs）编织了一个复杂的组合调控“密码”，支配着 RNA 的剪接、稳定性、定位和翻译。虽然深度学习已经改变了基因组学，但现有的 RNA 基础模型主要依赖于在大型无标签序列语料库上训练的自监督目标（例如掩码语言模型）。这些模型学习基于序列统计和保守性的通用表示，但缺乏与控制 RNA 功能的调控原理的直接联系。因此，它们通常需要针对下游任务进行大量的微调，并且可能无法高效地捕捉与转录后调控最相关的序列特征。作者认为，了解一个 RNA 的结合伴侣可以为理解其加工过程和功能提供直接见解，这表明一个能够密集表示 RNA 相互作用组（interactome）的模型，可以作为多样化 RNA 任务的更优基础。

方法论

数据与预处理

该模型 Parnet 完全基于来自 ENCODE 数据库的实验 eCLIP-seq 数据进行训练。数据集包含来自两种细胞系（K562 和 HepG2）的 223 个 eCLIP 实验，涵盖 150 种独特的 RBPs。

输入： 从 GENCODE (v48) 中提取原始 RNA 序列，将其切分为 60 长度为 600 个核苷酸且重叠 150 个核苷酸的序列，并进行独热编码（one-hot encoding）。
信号处理： 对于每个实验，合并生物学重复，并在每个核苷酸位置提取 5' 端读段起始计数（read-start counts）。使用大小匹配输入（SMI）对照组来估计位点特异性的背景噪声。

模型架构

Parnet 将单任务 RBPNet 架构扩展为多任务框架：

骨干网络（Backbone）： 一个带有残差块（共 9 个块）的一维卷积神经网络（1D CNN）处理输入序列。为了适应多任务性质，模型规模从 RBPNet 的 0.5M 参数扩展到了 2100 万参数。
输出头（Output Heads）： 共享的骨干网络分支出 223 个任务特定的输出头，对应于每个 eCLIP 实验。
信号分解： 每个输出头预测一个“总轨迹”（total track）（模拟 eCLIP 信号），该轨迹被建模为两个成分的混合：
1. 目标轨迹（Target Track）： 蛋白质特异性的结合信号。
2. 对照轨迹（Control Track）： 实验背景（SMI）信号。
- 总信号定义为 $p_{total} = \pi \times p_{target} + (1 - \pi) \times p_{control}$ ，其中 $\pi$ 是一个学习到的混合系数。
损失函数： 模型最小化 target 轨迹和 control 轨迹的负对数似然。关键在于，添加了一个 惩罚项 ( $\lambda \pi$ ) 到损失函数中，以激励模型最大限度地利用 control 轨迹来处理背景噪声，从而实现对 target 轨迹的“去噪”，以分离出真实的蛋白质-RNA 相互作用。

训练策略

目标： 端到端监督训练，直接从原始 RNA 序列预测碱基分辨率的 RBP 结合谱。
优化： 使用 AdamW 优化器，并根据验证性能进行早停（early stopping）。
超参数： 研究确定惩罚因子 $\lambda = 10$ 是在去噪与保留基序（motif）信号之间取得平衡的最佳折衷方案。

核心贡献

新颖的预训练策略： Parnet 引入了一种基于实验测量的蛋白质-RNA 相互作用（CLIP-seq）而非自监督序列重建的基础模型预训练策略。这提供了更强、具有生物学动机的归纳偏置（inductive biases）。
多任务学习： 通过对 223 个 eCLIP 实验进行联合建模，Parnet 捕捉了复杂的、组合式的 RBP 结合模式，并利用了相关过程（如共结合模式）之间的相关性，从而提高了在低质量数据集上的性能。
机制可解释性： 不同于黑盒语言模型，Parnet 的预测可以通过集成梯度（Integrated Gradients）和嵌入空间查询追溯到特定的 RBP 及其序列基序，从而将计算预测与分子机器直接联系起来。
高效性： 尽管其参数量（21M）显著少于许多现有的基因组基础模型（如 Nucleotide Transformer, Evo2），但 Parnet 在多种下游任务中实现了最先进的性能，且仅需极少或无需微调。

结果

1. 改进的结合谱预测

准确性： Parnet 优于单任务 RBPNet 模型，在预测值与观测到的 read-start counts 之间的 Pearson 相关系数上平均提升了 35%，Spearman 相关系数提升了 19%。
泛化能力： 模型可以泛化到未见的细胞类型和实验类型。例如，尽管仅在不表达 STMN2 的 K562 eCLIP 数据上进行训练，它仍成功恢复了 SH-SY54 细胞中 TDP-43 对 STMN2 隐蔽外显子的结合。
去噪： 增加 $\lambda$ 惩罚项能有效分离真实的结合基序（如 RBFOX2, QKI）与背景噪声（如富含 G 或 U 的模式），从而生成的 target 轨迹与 in vitro 基序（RNAcompete, RNA Bind-n-Seq）具有更高的一致性。

2. 恢复调控逻辑

剪接调控： Parnet 重现了位置依赖性的剪接调控。由 Parnet 预测生成的 RNA 剪接图谱能够正确识别剪接增强子（如外显子区域的 SR 蛋白）和剪接抑制因子（如 3' 剪接位点的 PTBP1）的截然不同的结合模式，这与源自实验 RNA-seq 敲降数据的模式相吻合。
零样本性能（Zero-Shot Performance）： 冻结的 Parnet 嵌入（无需微调）在包括以下任务在内的各项任务中，表现达到或超过了规模更大的自监督 RNA 和基因组语言模型（RiNALMo, Nucleotide Transformer）：
- RNA 生物类型分类： 区分 mRNA、lncRNA、miRNA 等。
- 基因组区域分类： 识别 CDS、UTR 和内含子。
- lncRNA 染色质定位： 预测染色质解离半衰期（与神经网络的 Pearson $r=0.54$ ），能够区分保留在染色质中的 lncRNA 与核质中的 lncRNA。
- 翻译效率 (TE)： 在多个细胞类型（HEK293, 肌肉, PC3）中预测 TE，性能优于专门工具 Optimus 5-Prime 和 FramePool。
- 剪接位点识别： 在三分类任务（供体、受体、非剪接）中实现 >90% 的 AUROC/AUPRC，优于 Spliceator 和 RiNALMo。
- 内含子保留： 通过捕捉剪接抑制和增强元件，准确预测内含子保留事件（AUROC 0.90）。

3. 变异效应预测

零样本变异评分： Parnote 嵌入能有效区分 MutSpliceDB 数据集中的功能性剪接改变变异与良性对照，实现 AUPRC 为 0.801，超过了 SpliceAI (0.794) 和 RiALMo。
机制洞察： 模型可以识别哪些特定的 RBP 被突变所破坏。例如，它正确识别出一种致病性 NF1 变异（被 SpliceAI 漏掉）破坏了 U2AF1/U2AF2 的结合，以及一种 RB1 变异破坏了 PRPF8/AQR 的结合。

重要性与主张

论文声称，Parnet 建立了 RBP 相互作用组作为 RNA 生物学中一个紧凑、功能充分且可解释的基础模型预训练基础。

优越的有监督功能性预训练： 作者认为，将表示锚定在实验功能数据（RBP 结合）中，比使用自监督重建目标（优化序列似然而非功能）在调控任务中更为有效。这体现在 Parnet 能够以极少的微调实现对复杂下游任务（剪接、翻译、定位）的泛化，而自监督模型往往需要特定任务的微调，且更容易受到序列长度和 GC 含量等混杂偏差的影响。
可解释性： 一个关键的主张是 Parnet 提供了独特的可解释性优势。由于其训练目标是预测 RBP 结合，其内部表示可以直接通过查询，揭示哪些特定的蛋白质和基序驱动了 RNA 特性或变异效应的预测。
高效性： 该模型证明，一个相对较小的、具有功能基础的模型（21M 参数）可以超越规模大出数个数量级且基于自监督学习的模型。

作者总结道，Parnet 弥合了单任务结合预测与集成转录后调控建模之间的鸿沟，为从变异优先级排序到设计具有定制化调控属性的 RNA 等计算 RNA 生物学领域，提供了一个通用的基础。