🧬 biology

Self-Improvement Imitation with Biologically Guided Search for Protein Design Under Oracle Budgets

本文介绍了 SILO，一种轨迹级自改进模仿框架，该框架结合分层编辑策略、随机束搜索和丙氨酸扫描适应度评分，在严格的 oracle 预算下，相较于现有的强化学习和生成式基线方法，实现了更优的蛋白质序列优化。

原作者： Ashima Khanna, Dominik Grimm

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Ashima Khanna, Dominik Grimm

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象你是一位主厨，正试图为一道菜肴创作完美的新食谱。你有一个基础食谱（即“野生型”蛋白质），你的目标是调整配料，使其味道更佳（即更高的“适应度”）。然而，你有一条严格的规定：在耗尽资金或配料之前，你只能对创作进行有限次数的品尝测试。这就是在“预言机预算”下进行蛋白质设计的挑战。

在科学界，“品尝测试”被称为预言机（oracle），它是一项计算机模拟或实验室实验。它能告诉你蛋白质是否有效，但既昂贵又缓慢。问题在于，可能的配料组合数量比天空中的星星还要多。如果你只是随机猜测，就会浪费预算。如果你过度依赖廉价但不完美的预测模型（即“代理模型”），可能会被误导，误以为糟糕的食谱是好的。

本文介绍了一种名为SILO（生物引导搜索下的自我改进模仿）的新方法来解决这一难题。以下是其工作原理的分解，以简单概念呈现：

1. 旧方法的问题

以往解决这一问题的尝试就像两种不同类型的厨师：

强化学习厨师：这位厨师试图为每一种可能的菜肴学习一个“价值”。但如果品尝测试机器存在噪声（给出结果不一致），厨师就会感到困惑，做出错误的猜测，导致整个策略崩溃。
随机突变厨师：这位厨师在改变配料时不考虑它们的位置。他们可能会意外替换掉维系整道菜肴的关键香料，从而毁掉食谱。

2. SILO 解决方案：聪明的学徒

SILO 就像一个聪明的学徒，通过观察他们迄今为止制作出的最佳菜肴版本来学习。它不是试图猜测每一种未来菜肴的“价值”，而是简单地复制那些带来最佳结果的具体步骤。

以下是 SILO 的三种“秘密配料”：

A. “逐步”编辑（分层策略）

SILO 不是同时改变整个食谱，而是将每一次更改分解为两个小步骤：

选择一个位置：“让我们改变第 5 种配料。”
选择一种新配料：“让我们把它换成盐。”
这防止了厨师进行混乱的、一次性全部更改从而毁掉菜肴的行为。它使搜索保持有序。

B. “生物安全网”（丙氨酸扫描适应度）

这是最具创意的部分。在生物学中，有一种技术称为丙氨酸扫描。想象一下，你想知道某种特定配料对菜肴是否至关重要。你会将其替换为一种中性、平淡的配料（丙氨酸），以观察风味是否消失。

SILO 如何使用它：在将宝贵的“品尝测试”预算花费在新食谱上之前，SILO 会问：“如果我用平淡的配料替换这些特定的更改，这道菜的味道还会好吗？”
如果答案是是，这意味着这些位置是灵活的，可以安全更改。
如果答案是否，这意味着这些位置至关重要，SILO 会避免在这些地方进行高风险的更改。
这就像一个过滤器，确保厨师不会在那些因为破坏了结构关键部分而可能失败的食谱上浪费时间。

C. “自我改进循环”（模仿学习）

SILO 按轮次运行：

生成：它使用一种智能搜索技术（随机束搜索）生成许多新食谱变体，该技术探索许多不同的路径而不重复。
筛选：它利用“安全网”和预测模型挑选出顶级候选者。
品尝测试：它将最好的几个送往昂贵的预言机进行真实评估。
学习：它观察获胜者。它不试图计算为什么它们会赢；它只是记住将原始食谱转变为获胜者的确切步骤序列（即“轨迹”）。
模仿：它更新其“学徒大脑”，使其下次更有可能采取相同的步骤。

3. 结果：赢得烹饪大赛

作者在八个不同的“烹饪挑战”（蛋白质数据集）上测试了 SILO，并将其与另外五种顶级方法进行了比较。

结果：SILO 在所有八个挑战中始终找到了得分最高的食谱（最大适应度）和最佳的平均食谱组（前 100 名平均适应度）。
速度：它比其他方法更快地找到好食谱，这意味着它更高效地利用了有限的“品尝测试”预算。
韧性：当预测模型存在噪声（就像一台损坏的品尝测试机器）或厨师开始时数据极少时，SILO 仍能保持良好表现，而其他方法则挣扎或失败。

总结类比

将蛋白质设计想象成在巨大的迷雾迷宫中导航，以寻找最高峰。

旧方法就像试图一次性绘制整座山脉的地图（经常在迷雾中迷路）或者只是随机迈步。
SILO则像一位登山者：
1. 采取小而谨慎的步骤（分层编辑）。
2. 在迈步前检查地面稳定性（生物安全网）。
3. 观察之前成功登山者走过的路径，并决定“我将跟随那些确切的足迹”，而不是试图从头开始猜测地形的价值。

本文的结论是，当无法负担测试每一种可能性时，结合智能搜索、生物安全检查和从过去的成功中学习是设计更好蛋白质的一种强大方法。

技术摘要：基于生物引导搜索的蛋白质设计自改进模仿学习（在神谕预算约束下）

问题表述

蛋白质工程被构建为一个序贯决策优化问题，旨在严格的评估预算下最大化“适应度”函数（例如热稳定性、结合亲和力）。核心挑战在于序列空间巨大的组合规模（ $20^L$ ）以及上位效应（epistasis）的普遍存在，这导致了崎岖、稀疏且非凸的适应度景观。现有方法面临三个持续的局限性：

基于价值的优化中的不稳定性：依赖价值函数的强化学习（RL）方法对超参数敏感，且在使用含噪的代理奖励进行训练时容易受到误差传播的影响。
位置无关的突变：许多方法在提出突变时未考虑残基保守性，从而可能破坏功能关键位点。
低效的探索：在严格的神谕预算下，方法往往无法优先关注高价值区域或避免冗余评估。

目标是在有限的神谕查询次数内（ $N$ 轮，每轮 $K$ 次查询），设计出比起始序列具有更高适应度的序列，利用代理模型指导选择，同时保留昂贵的神谕用于最终评估。

方法论：SILO

作者提出了SILO（基于生物引导搜索的自改进模仿学习），这是一个主动学习框架，整合了结构化采样、生物信息引导的选择以及轨迹级模仿学习。该过程在迭代循环中运行：

1. 分层编辑策略与马尔可夫决策过程（MDP）表述

SILO 将候选生成表述为编辑轨迹上的马尔可夫决策过程（MDP）。与其一次性生成完整序列，基于 Transformer 的策略 $\pi_\theta$ 将每个突变分解为两个分层阶段：

Level-0：选择要修改的位置 $i \in \{1, \dots, L\}$ 。
Level-1：根据所选位置，选择替换氨基酸 $a \in \mathcal{V}$ 。
该策略在冻结的 ESM Cambrian 嵌入上进行训练，这些嵌入编码了进化先验，使用带有两个策略头的轻量级 Transformer 编码器。

2. 结构化采样（增量 SBS）

为了生成多样化的候选轨迹，SILO 采用增量随机束搜索（SBS）。与标准束搜索不同，SBS 通过用 Gumbel 噪声扰动对数概率来无放回地采样轨迹。在采样一条轨迹后，其概率质量被移除，分布被重新归一化。这确保了在突变预算（ $d_{max}$ ）内探索一组多样化的动作轨迹。

3. 生物信息引导的选择

在神谕评估之前，候选者使用代理集成 $f_\phi$ 和特定目标函数 $S(x)$ 进行评分：
$S(x) = \text{UCB}_{\text{proxy}}(x) + \text{UCB}_{\text{AFS}}(x)$

$\text{UCB}_{\text{proxy}}(x)$ ：基于代理预测均值和不确定性的上置信界，平衡探索与利用。
$\text{UCB}_{\text{AFS}}(x)$ ：丙氨酸扫描适应度分数（Alanine-Scan Fitness Score）。该术语评估候选者的丙氨酸替代变体（其中突变位置被替换为丙氨酸）。如果丙氨酸变体被预测具有高适应度，则表明突变位置具有功能相关性且对中性变化具有耐受性。这作为一个排序信号，降低可能破坏蛋白质功能的候选者的权重。

4. 轨迹级自改进模仿（SIL）

与优化价值函数的 RL 方法不同，SILO 使用自改进模仿学习。

数据收集：SBS 采样中的前 $K$ 个候选者由神谕进行评估。
模仿目标：选择前 $P$ 个由神谕标记的序列（BESTFOUND）及其对应的动作轨迹。
训练：策略 $\pi_\theta$ 通过最小化源自 BESTFOUND 轨迹的历史 - 下一动作对 $(h(t), a(t))$ 的交叉熵进行更新。这使得策略能够直接从顶级表现者的动作中学习，而无需依赖含噪的价值估计。

主要贡献

结构化采样与生物信息引导的选择：增量 SBS 用于多样化轨迹生成与丙氨酸扫描适应度分数（AFS）用于选择的结合，推动了大部分性能提升。AFS 项特别降低了破坏保守残基的风险。
SIL 对神谕预算场景的适应：本文将 SIL 范式（此前用于路由和廉价评估的分子设计）适应于蛋白质设计背景。通过在神谕标记的轨迹而非代理值上进行训练，SILO 避免了在含噪代理下与价值函数估计相关的不稳定性。
实证鲁棒性：该框架在八个蛋白质适应度景观上表现出一致的性能，即使在低数据区域和含噪代理条件下其他基线性能下降时，仍保持竞争力。

实验结果

作者在八个基准数据集（AAV, AMIE, E4B, GFP, LGK, Pab1, TEM, UBE2I）上，将 SILO 与五个强基线（PEX, AdaLead, GFN-AL- $\delta$ CS, MLDE, ProSpero）进行了评估。

性能：SILO 在所有 8 个景观上实现了最高的最大适应度和前 100 名平均适应度。它经常在更早的主动学习轮次中发现高适应度序列，表明更有效地利用了神谕预算。
低数据区域：在减少初始标记数据（ $D_0$ 的 10%、20%、50%）的压力测试中，SILO 保持稳定且具有竞争力，而 GFN-AL- $\delta$ CS 等方法则表现出明显的性能下降。
含噪代理：在代理模型上添加合成高斯噪声（SNR 水平为 -25、-15、-5）的情况下，SILO 保持了高性能，而 ProSpero 和 PEX 等基线则显著下降。
消融研究：
- 移除结构化采样（用标准束搜索替换 SBS）降低了性能。
- 移除 AFS 项降低了性能，证实了生物引导选择的价值。
- “冻结策略”变体（无模仿更新）仍保持竞争力，表明采样和选择构成了大部分增益，但迭代模仿提供了额外的改进，特别是在 AAV 和 Pab1 上。

意义与主张

本文主张，SILO 通过成功整合学习、采样和生物引导选择，代表了神谕预算蛋白质序列优化的有效方向。

稳定性：通过避开价值函数估计并依赖对神谕标记轨迹的交叉熵模仿，SILO 在含噪代理奖励场景下提供了比 RL 更稳定的替代方案。
效率：该方法比基线更快地识别高适应度候选者，使其适用于实验评估成本高昂的场景。
生物学相关性：结合丙氨酸扫描适应度分数确保搜索由生物学原理引导，降低了生成非功能性变体的可能性。

作者总结道，虽然 SILO 在计算机模拟基准测试中表现出色，但未来的工作应侧重于在更大的突变预算下评估该方法，并在湿实验室环境中验证其性能，以解决神谕与生物学现实之间潜在的领域偏移问题。