GRASP: Gene-relation adaptive soft prompt for scalable and generalizable gene network inference with large language models

本文提出了 GRASP 框架，这是一种基于三个虚拟令牌的可训练参数高效软提示方法，通过结合基因特异性与关系感知组件，显著提升了大语言模型在基因网络推断任务中的可扩展性、泛化能力以及对未注释相互作用的识别效果。

要点

这篇论文介绍了一种名为 GRASP 的新方法，它利用大型语言模型（LLM）来更聪明、更准确地绘制“基因网络图”。

为了让你轻松理解，我们可以把这项研究想象成在一个巨大的图书馆里寻找失散多年的“基因朋友”。

1. 背景：基因网络是什么？

想象一下，细胞里住着成千上万个基因（就像图书馆里的书）。这些基因并不是孤立存在的，它们之间有着各种各样的关系：

• 有的像好朋友，手拉手一起工作（蛋白质相互作用）。
• 有的像上下级，一个指挥另一个干活（基因调控）。
• 有的像快递员，给另一个基因贴上标签（磷酸化修饰）。

科学家想要画出所有这些关系的地图（基因网络），但这非常困难，因为基因太多，关系太复杂，而且每种关系的“性格”都不一样。

2. 问题：以前的方法为什么不够好？

以前，科学家试图让 AI（大型语言模型）来帮忙找这些关系。AI 读过很多生物医学文章，肚子里很有“墨水”。但是，怎么让 AI 去猜两个基因是不是朋友，取决于你怎么问它（也就是“提示词 Prompt"）。

• 以前的做法（固定提示词）： 就像给 AI 发一张一模一样的问卷，问所有基因对：“你们俩是朋友吗？”
  • 缺点： 基因性格各异，有的基因很出名，有的很冷门。用同一张问卷问所有人，AI 容易答非所问，或者忽略细节。
• 另一种做法（简单的软提示）： 给 AI 加几个通用的“魔法词”，让它在回答前稍微思考一下。
  • 缺点： 这些“魔法词”对所有基因对都是一样的，无法针对具体的两个基因（比如“基因 A"和“基因 B"）进行个性化定制。

3. 解决方案：GRASP 是怎么做的？

GRASP（基因关系自适应软提示）就像是一个超级聪明的“私人定制向导”。

它不再用同一张问卷问所有人，而是为每一对基因（比如“基因 A"和“基因 B"）现场生成三个专属的“虚拟提示词”。

我们可以用**“三个步骤”**来比喻它的工作流程：

1. 第一步：给每个基因画“个人简介” (基因向量编码)

   • GRASP 先让 AI 快速阅读关于“基因 A"和“基因 B"的所有资料，然后给它们各写一段简短的“个人简介”。
   • 比喻： 就像在相亲前，先分别了解男方的爱好和女方的特长，而不是只看名字。

2. 第二步：制造“专属魔法词” (因子化软提示合成)

   • 这是 GRASP 最厉害的地方。它把这两个“个人简介”变成数学向量，然后像调鸡尾酒一样，混合出三个新的“虚拟词”。
   • 词 1： 专门描述“基因 A"的特点。
   • 词 2： 专门描述“基因 B"的特点。
   • 词 3： 描述它们俩在一起时产生的化学反应（比如它们的差异或互补）。
   • 比喻： 就像给两个朋友分别戴上特制的“眼镜”，让他们能看清彼此，而不是戴一副通用的眼镜。

3. 第三步：让 AI 做最终判断

   • 把这三个“专属魔法词”贴在问题后面，再问 AI：“基于这些定制信息，你们俩有关系吗？”
   • 因为问题变得非常具体和个性化，AI 就能给出更准确的答案。

4. 为什么 GRASP 这么牛？（实验结果）

论文在三个不同的“考场”测试了 GRASP，结果它都赢了：

• 考场一：蛋白质相互作用（找物理接触的朋友）
  • 在人类超过 200 万对基因中，GRASP 找朋友的能力最强，不仅找得准，连那些平时被忽略的“中等社交”基因也能准确识别。
• 考场二：跨物种迁移（举一反三）
  • 用人类的数据训练好的模型，直接去猜鸡、牛、狗的基因关系。虽然物种不同，但 GRASP 依然表现最好，说明它学到了通用的“交友逻辑”，而不仅仅是死记硬背人类的名字。
• 考场三：发现“隐形朋友”（挖掘未知）
  • 这是最精彩的部分。有些基因对，在现有的数据库里被标记为“没关系”（因为是随机生成的负样本），但实际上它们可能有真实的生物学关系。
  • GRASP 竟然能识破这些伪装，给这些“隐形朋友”打高分！
  • 比喻： 就像侦探能发现两个看似无关的人，其实私下里在共同策划一个项目。论文举了一个例子：GRASP 发现 INSR（胰岛素受体）和 PTPRF（一种酶）有关系，并解释说是因为它们在胰岛素信号通路中互相调节。这后来被证实是符合科学事实的。

5. 总结：这意味着什么？

• 以前： 我们试图用一把通用的钥匙去开所有的锁，或者给每个锁配一把一模一样的钥匙。
• 现在 (GRASP)： 我们为每一把锁（每一对基因）现场锻造一把独一无二的钥匙。
• 优势：
  • 省钱省力： 只需要微调极少的参数（就像只换几个零件），就能让巨大的 AI 模型变得非常聪明。
  • 发现新知： 它不仅能复习旧知识，还能从 AI 读过的海量文章中，挖掘出科学家还没发现的“隐藏关系”。

简单来说，GRASP 让 AI 从一个“只会背书的学霸”，变成了一个“懂得察言观色、能根据具体情况灵活分析的生物学家”，从而帮助我们更快地绘制出生命的复杂地图。

技术摘要

这是一份关于论文《GRASP: Gene-relation adaptive soft prompt for scalable and generalizable gene network inference with large language models》（GRASP：基于大语言模型的可扩展且通用的基因网络推断的基因关系自适应软提示）的详细技术总结。

1. 研究背景与问题 (Problem)

• 基因网络（GNs）的重要性与复杂性：基因网络编码了多样化的分子关系（如蛋白质相互作用 PPI、基因调控网络 GRN、磷酸化网络等），是理解细胞功能和疾病机制的核心。然而，由于相互作用类型的异质性，现有的计算方法通常针对特定网络上下文进行优化，缺乏通用性。
• 大语言模型（LLMs）的潜力与局限：LLMs 通过预训练内化了海量的生物医学文本知识，为基因网络推断提供了统一的语言基础。然而，LLM 在生物医学领域的推断效果高度依赖于提示词（Prompt）的设计。
  • 固定提示（Fixed Prompts）：为所有基因对提供相同的上下文，无法捕捉基因功能和相互作用的异质性。
  • 简单文本追加：直接在提示词中追加冗长的基因描述往往适得其反，可能掩盖关键的相互关系信号。
  • 现有软提示（Soft Prompts）：标准的软提示学习每个任务共享的一组虚拟 Token，缺乏捕捉**实例级（Instance-level）**生物变异性的能力。
• 核心挑战：如何以一种鲁棒且参数高效的方式，根据每个基因对的特定上下文来调节 LLM 的基因网络推断能力，同时保持可扩展性以处理数百万个候选相互作用。

2. 方法论 (Methodology)

作者提出了 GRASP (Gene-Relation Adaptive Soft Prompt)，这是一个参数高效且可训练的框架，其核心思想是为每个查询的基因对生成**实例自适应（Instance-adaptive）**的软提示。

核心架构流程：

1. 领域自适应预训练 (Domain-Adapted CPT)：

   • 在 630 万篇基因相关 PubMed 文章的标题和摘要上对基础 LLM（Gemma-3-4B 和 Llama-3.1-8B）进行持续预训练，增强其生物知识内化能力。

2. 基因向量编码 (Gene Vector Encoding)：

   • 对于每个基因 $g$，利用 LLM 生成简短的文本摘要。
   • 将摘要输入 LLM，对最后一层隐藏状态进行平均池化（Mean Pooling），得到固定维度的基因向量 $s_g$。这些向量在后续微调中保持不变（预计算并存储）。

3. 因子化软提示合成 (Factorized Soft Prompt Synthesis)：

   • 这是 GRASP 的核心创新。它不直接学习固定的嵌入，而是通过因子化方式生成提示。
   • 输入：对于基因对 $(a, b)$，构建三个上下文向量：
     1. 基因 $a$ 的向量 $s_a$
     2. 基因 $b$ 的向量 $s_b$
     3. 关系向量 $u_{a,b} = |s_a - s_b|$（元素级绝对差，编码对比特征）
   • 映射机制：每个上下文向量 $z$ 通过以下公式映射为软提示嵌入 $P(z)$：
     $$P(z) = C(z)B(z)$$
     • $C(z)$ (基因特异性系数矩阵)：通过线性投影 $W_c z + b_c$ 生成，捕捉特定基因对的信号。
     • $B(z)$ (共享原型矩阵)：由 $K$ 个全局基矩阵 $\{B^{(k)}\}$ 的凸组合构成，权重 $\alpha(z)$ 通过 Softmax 计算。这代表了通用的相互作用模式。
   • 输出：最终生成3 个自适应虚拟 Token（2 个基因特异性 + 1 个关系特异性），作为后缀附加到输入提示中。

4. 分类头与训练：

   • 冻结 LLM 主干，仅微调分类头（MLP）和软提示参数。
   • 使用二元交叉熵损失（BCE）进行训练。

3. 关键贡献 (Key Contributions)

1. 实例自适应框架：首次提出为每个基因对动态生成软提示，而非使用任务共享的静态提示，有效平衡了实例特异性与参数共享。
2. 参数高效性：仅通过3 个虚拟 Token即可实现复杂的上下文调节，极大地降低了参数量，使其能够扩展到数百万级的基因对推断任务。
3. 因子化设计：通过“基因特异性系数”与“共享原型基”的解耦，既捕捉了特定基因对的独特信号，又利用了通用的相互作用模式，增强了模型的泛化能力。
4. 无需表达谱数据：GRASP 仅依赖文本衍生的表示，无需基因表达谱或蛋白质结构数据，即可在多种网络类型中取得优异性能。

4. 实验结果 (Results)

作者在三个不同的基因网络推断任务上评估了 GRASP：

• 大规模蛋白质相互作用 (PPI) 推断：

  • 数据集：210 万 + 人类 PPI 对（来自 BioGRID, STRING 等）。
  • 性能：GRASP 在所有骨干网络（Gemma, Llama）上均取得了最佳的精确率 - 召回率权衡。相比基线方法，平均相对提升精确率 6%，召回率 10%。
  • 跨物种泛化：在鸡、牛、狗的 PPI 数据集上（剔除与人类训练集重叠的基因对），GRASP 在 ROC-AUC 指标上表现最佳，显示出更强的跨物种泛化能力。
  • 子网络分析：在 COG4 和 ZIC1 等子网络中，GRASP 能更准确地恢复已知相互作用并减少假阳性。

• 单细胞扰动基准 (CausalBench)：

  • 任务：基于 Perturb-seq 数据推断基因调控关系（零样本设置）。
  • 性能：在 K562 和 RPE1 细胞系中，GRASP 在生物 F1 分数上优于所有其他提示策略及基于表达谱的基线（GRNBoost）。尽管不使用表达数据，GRASP 在统计指标上也具有竞争力。

• 磷酸化网络推断 (Kinase-Substrate)：

  • 任务：预测激酶 - 底物关系（小样本设置，8750 对）。
  • 性能：GRASP 再次全面超越基线。值得注意的是，在此任务中，直接追加基因描述的固定提示反而降低了性能，而 GRASP 通过压缩摘要为潜在向量避免了噪声干扰。

• 未注释相互作用的恢复 (Biological Discovery)：

  • 发现：GRASP 能够识别出在训练集中被标记为“负样本”但在独立数据库（IID）中验证为真实的相互作用（Hidden Positives）。
  • 证据：在隐藏正样本与真实负样本的分布分离度上，GRASP 的 Cohen's d 达到 1.88（接近完全分离），远超其他方法。
  • 案例：模型成功推理出 INSR 和 PTPRF 之间的相互作用（胰岛素信号通路），并给出了符合生物学机制的解释。

5. 意义与影响 (Significance)

• 方法论突破：证明了**实例自适应提示调节（Instance-adaptive prompt conditioning）**是 LLM 进行生物预测的有效策略。它解决了固定提示无法处理生物异质性的痛点。
• 可扩展性与通用性：GRASP 提供了一种可扩展的框架，能够统一处理 PPI、调控网络和磷酸化网络等多种任务，无需针对每种网络类型重新设计特征工程。
• 生物发现潜力：GRASP 不仅能拟合已知数据，还能捕捉超出当前注释数据库的生物信号，具有作为实验验证优先排序工具的潜力，辅助发现新的生物学机制。
• 未来方向：虽然目前仅基于文本，但该方法为融合表达谱、结构数据等多模态信息的混合框架奠定了基础。同时，研究也指出了 LLM 知识偏差（偏向高研究热度基因）和缺乏方向性建模等局限性。

总结：GRASP 通过引入轻量级、实例自适应的软提示机制，显著提升了大语言模型在基因网络推断任务中的准确性、泛化能力和生物发现潜力，为利用 LLM 解决复杂的生物信息学问题提供了新的范式。