🧬 biology

Steering Generative Models for Protein Design: Aligning and Conditioning Strategies

这篇综述文章系统梳理并分类了通过修改模型参数（如强化学习）或保持参数不变（如条件生成、检索增强等）来引导生成式模型生成具有特定属性蛋白质的策略，以解决模型倾向于采样高概率分布而忽略低概率但高价值区域的问题。

原作者： Filippo Stocco, Michele Garibbo, Noelia Ferruz

发布于 2026-02-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Filippo Stocco, Michele Garibbo, Noelia Ferruz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

这篇论文就像是一份**“蛋白质设计导航指南”**。

想象一下，蛋白质是生命的“乐高积木”，它们有各种各样的形状和功能（比如像钥匙一样打开细胞，或者像酶一样加速化学反应）。过去，科学家主要靠“自然进化”来寻找这些积木，但自然进化很慢，而且它只喜欢那些“普通、安全”的积木，很少会创造出那些“超级厉害但很罕见”的新功能。

现在，我们有了生成式人工智能（AI），它像是一个读过无数本“蛋白质百科全书”的超级天才。它能根据学过的知识，自己发明出新的蛋白质。

但是，这个天才有个大问题：
因为它读的都是“自然界的书”，所以它生成的蛋白质大多也是“平平无奇”的，就像它只会模仿别人，不敢创新。它总是倾向于生成那些最常见的、概率最高的蛋白质，而忽略了那些虽然概率低、但可能具有超强功能（比如能抵抗极高温、能高效分解塑料）的“宝藏区域”。

这篇论文就是为了解决这个问题：如何给这个 AI 装上“方向盘”和“导航仪”，让它能精准地驶向我们想要的特定功能，而不是漫无目的地乱跑？

作者把控制 AI 的方法分成了两大类，我们可以用两个生动的比喻来理解：

第一类：给 AI“重新培训”（修改模型参数）

比喻：给厨师换食谱，或者给厨师上特训班。

这种方法的核心是直接修改 AI 的大脑（参数），让它从“只会做家常菜”变成“专门做米其林大餐”。

监督微调 (SFT)：
- 做法： 给 AI 看一堆我们特别想要的“完美蛋白质”样本，让它照着学。
- 比喻： 就像给厨师看一本全是“顶级牛排”的食谱，让他只练这一道菜。
- 缺点： 厨师可能只会做这一种牛排，而且如果食谱里的牛排质量参差不齐，厨师做出来的也可能不好。
强化学习 (RL)：
- 做法： 不直接给样本，而是给 AI 一个“评分系统”。AI 自己尝试生成蛋白质，如果生成了好的，就给它“奖励”（加分）；如果不好，就“惩罚”（扣分）。AI 为了拿高分，会自己摸索出更好的策略。
- 比喻： 就像让厨师在厨房里自由发挥，你尝一口说“太咸了”（扣分），他说“好，下次少放盐”；你说“太香了”（加分），他就记住这个味道。慢慢地，他就能做出你心中完美的菜，甚至可能发明出你都没想过的新菜式。
- 代表算法： 像 PPO、DPO 这些，就是让 AI 在“试错”中变聪明的高级技巧。

第二类：给 AI“指路”但不改大脑（固定参数，调整生成过程）

比喻：给厨师发“点单指令”或“临时助手”，而不是重新培训他。

这种方法不改变 AI 原本的大脑，而是在它生成蛋白质的过程中，通过外部手段“引导”它。

提示词工程 (Prompting)：
- 做法： 在输入给 AI 的指令里，明确写上“我要一个能耐高温的酶”。
- 比喻： 就像点菜时跟厨师说：“我要一份不加葱、多放辣、必须用牛肉的炒饭”。厨师（AI）会根据这个指令调整他的输出。
检索增强 (RAG)：
- 做法： 让 AI 在生成时，先去查一下外部数据库，看看有没有类似的优秀案例可以参考。
- 比喻： 厨师在炒菜时，旁边有个助手递给他一张“今日特供参考卡”，上面写着别人成功的配方，厨师照着参考，做得更靠谱。
激活导向 (Activation Steering)：
- 做法： 直接干预 AI 内部思考的“神经信号”。比如，发现 AI 脑子里有一个信号代表“稳定性”，我们就人为地加强这个信号。
- 比喻： 就像给厨师的脑子里装了一个“稳定器”，当他手抖想乱加料时，这个稳定器会强行让他手稳下来，专注于“稳定性”。
贝叶斯引导与采样控制：
- 做法： 在 AI 决定“下一个氨基酸是什么”的时候，用数学公式重新计算概率，或者调整它“随机性”的大小（比如让它更保守一点，或者更大胆一点）。
- 比喻： 就像在厨师做决定时，你在他耳边说：“别选那个普通的，选那个虽然少见但可能更好吃的选项”，或者“这次别太冒险，按常规来”。

总结与未来挑战

这篇论文告诉我们，现在的技术已经能让 AI 设计出以前想都不敢想的蛋白质了（比如更亮的荧光蛋白、更稳定的酶）。

但是，还有两个大难题：

“尺子”不好用： 我们怎么判断 AI 生成的蛋白质好不好？很多时候我们缺乏准确的“评分标准”（比如怎么在电脑里准确预测一个酶能不能分解塑料？）。如果评分不准，AI 就会走偏。
“创新”的边界： 我们不确定 AI 是真的发明了全新的东西，还是只是把书里学过的东西重新拼凑了一下。

未来的方向：
最好的办法可能是**“人机回环”**：AI 设计 -> 实验室做实验验证 -> 把实验结果反馈给 AI -> AI 再改进。这样，AI 就能不断从真实的自然界中吸取营养，真正创造出属于人类的、前所未有的生命奇迹。

一句话总结：
这篇论文就是教我们如何从“盲目模仿自然”进化到“精准设计未来”，给蛋白质设计的 AI 装上最聪明的导航系统。

这是一篇关于生成式人工智能在蛋白质设计中的应用，特别是如何**引导（Steering）和对齐（Aligning）**这些模型以生成具有特定属性（如高稳定性、特定结合能力等）的蛋白质的综述文章。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心挑战：现有的生成式模型（GMs，如蛋白质语言模型 pLMs 和扩散模型）是在大量自然蛋白质序列和结构数据上训练的。它们倾向于从训练分布 $p(x)$ 中采样概率最高的模式。
局限性：
- 分布偏差：自然界中许多具有优异工程属性的蛋白质（如极端耐热性、非天然催化活性）在进化中极为罕见，甚至被自然选择“排斥”。这些区域在概率分布中属于低概率区域（Low-probability regions），导致模型难以直接采样到。
- 数据偏差：训练数据存在系统发育偏差（Phylogenetic bias）和注释错误，进一步扭曲了学习到的蛋白质空间景观。
- 目标错位：蛋白质设计的目标通常是生成具有特定属性 $y$ 的序列 $x$ （即建模条件分布 $p(x|y)$ ），而基础模型的目标是建模自然分布 $p(x)$ 。
需求：需要有效的策略来“引导”生成模型，使其能够探索低概率但功能最优的区域，而不仅仅是复制自然存在的蛋白质。

2. 方法论分类 (Methodology)

文章将现有的引导策略系统地分为两大类：参数更新对齐（Parameter-Updating Alignment）和参数固定引导（Parameter-Fixed Steering）。

A. 参数更新对齐 (Parameter-Updating Alignment)

这类方法通过修改模型权重来改变其底层概率分布 $p(x)$ ，使其逼近目标分布 $p(x|y)$ 。

监督微调 (Supervised Fine-Tuning, SFT)：
- 原理：在高质量的目标数据集（如特定酶家族）上继续训练预训练模型。
- 作用：将模型的生成先验（Prior）转移到特定领域。
- 局限：缺乏对数据质量或属性强度的区分能力，可能导致灾难性遗忘。
强化学习 (Reinforcement Learning, RL)：
- 原理：模型作为策略 $\pi_\theta$ ，通过与环境交互并根据奖励信号（如实验测量的活性、预测的稳定性）进行优化。
- 主要算法：
  - 基于深度 RL 的方法：如 REINFORCE (REINVENT)、PPO (Proximal Policy Optimization)。PPO 通过截断策略更新来防止分布漂移过大，常用于 RLHF（人类反馈强化学习）。
  - 直接偏好学习 (Direct Preference Learning)：如 DPO (Direct Preference Optimization) 和 GRPO (Group Relative Policy Optimization)。这些方法无需训练独立的奖励模型，直接利用偏好数据（如“序列 A 优于序列 B"）优化策略，更加稳定高效。
- 应用：已成功用于优化荧光蛋白亮度、降低 MHC-I 表位负荷、设计 EGFR 抑制剂等。

B. 参数固定引导 (Parameter-Fixed Steering)

这类方法不修改预训练模型的权重，而是在推理（Inference）阶段的不同阶段进行干预。

输入/上下文干预 (Prompting & Context)：
- 提示工程：在输入中加入控制标签（如酶分类号、功能关键词）。
- 硬约束/部分指定：固定某些残基（如活性位点）或原子环境，让模型生成其余部分（如 ProteinMPNN, LigandMPNN）。
- 检索增强生成 (RAG)：在推理时动态检索相关序列或结构信息注入模型上下文（如 Protriever），增强生成依据。
隐藏状态干预 (Activation Steering)：
- 原理：直接操作模型的内部表示（如残差流）。
- 技术：利用稀疏自编码器 (SAEs) 识别与特定属性（如疏水性、酶活性）相关的潜在特征向量，并在生成过程中注入这些向量以“引导”输出方向。
输出与采样干预 (Output & Sampling)：
- 贝叶斯引导 (Bayesian Guidance)：利用贝叶斯定理重新加权概率分布，结合外部预测器（如 Rosetta, FoldX）的分数。
- 采样控制：调整温度 (Temperature)、Top-k、Top-p 或引入束搜索 (Beam Search)、蒙特卡洛树搜索 (MCTS) 来平衡多样性和保真度，选择最优路径。

3. 关键贡献 (Key Contributions)

系统化的分类框架：文章首次清晰地将蛋白质设计中的引导策略划分为“参数更新”和“参数固定”两大范式，并详细梳理了每种范式下的具体技术（如 SFT, RL, RAG, SAEs, Bayesian Guidance 等）。
理论统一视角：指出尽管方法多样，但许多推理时的控制策略（如流匹配、掩码语言建模、扩散）在数学上是等价的，这为开发架构无关的“即插即用”引导工具提供了理论基础。
实证案例汇总：列举了 2022-2025 年间大量成功案例，包括：
- 设计高活性从头酶。
- 优化 CreiLOV 荧光蛋白的亮度。
- 设计低纳摩尔级 EGFR 抑制剂。
- 减少免疫原性（MHC-I 负荷）。
明确当前瓶颈：深刻指出了当前领域面临的两大核心挑战：
- 分布外 (OOD) 泛化能力差：参数固定方法难以超越预训练模型已学到的知识边界；参数更新方法则受限于下游数据的质量。
- 评分指标 (Scoring Metrics) 的匮乏：对于许多关键属性（如催化效率），缺乏准确、可靠的预测模型（Oracle），导致 RL 优化缺乏坚实的物理或实验基础。

4. 结果与现状 (Results & Status)

成功应用：RL 和微调方法已成功将生成模型从“自然分布”引导至“功能最优分布”，实现了从生成“像自然的蛋白质”到“生成具有特定工程属性的蛋白质”的跨越。
方法对比：
- RL (特别是 DPO/GRPO) 在需要精细控制属性且拥有实验反馈闭环时表现优异。
- 参数固定方法 (如 RAG, Prompting) 在无需重新训练模型、快速迭代和利用外部知识库方面具有优势。
局限性：目前的成功多依赖于高质量的训练数据或准确的评分函数。如果评分函数本身存在偏差（如仅基于自然序列），优化结果可能无法突破进化限制。

5. 意义与未来展望 (Significance & Future Prospects)

领域意义：该综述标志着蛋白质生成式 AI 从“生成”阶段迈向“可控设计”阶段。它为解决“如何设计自然界不存在的蛋白质”这一核心问题提供了技术路线图。
未来方向：
1. 闭环实验 (Lab-in-the-loop)：将生成模型与高通量实验验证结合，利用实验数据不断修正分布，解决 OOD 泛化问题。
2. 数据多样化：通过扩大生命之树的采样范围（如宏基因组数据）来减少系统发育偏差。
3. 物理与数据融合：将基于物理的评分方法（Rosetta, FoldX）与数据驱动的 RL 结合，减少对纯数据驱动信号的依赖。
4. 基准测试：建立统一的基准测试，以评估不同策略在不同任务（从头设计 vs. 序列优化）中的相对优劣。

总结：这篇论文不仅总结了当前的技术进展，更重要的是指出了从“模仿自然”到“创造新自然”的关键路径在于有效的引导策略以及高质量的评价体系。未来的突破将依赖于算法创新与实验验证的深度融合。