Generating Structurally Diverse Therapeutic Peptides with GFlowNet

该论文提出利用 GFlowNet 进行治疗性肽生成，通过按比例采样奖励而非最大化期望奖励，在无需显式多样性惩罚的情况下实现了比 GRPO 更均匀且抗崩溃的序列多样性。

要点

这篇论文讲述了一个关于如何更好地设计“药物肽”（一种新型药物）的故事。简单来说，它解决了一个老问题：以前的电脑程序在发明新药时，容易“钻牛角尖”，只生成几种非常相似的药物，而忽略了其他可能同样有效甚至更好的方案。

作者提出了一种叫 GFlowNet 的新方法，它比传统的强化学习方法（如 GRPO）更聪明、更多样化。

为了让你轻松理解，我们可以用几个生动的比喻来拆解这篇论文：

1. 核心问题：为什么以前的方法会“钻牛角尖”？

想象一下，你是一位美食评论家，你的任务是让 AI 厨师发明一道“最美味的菜”。

• 传统方法（强化学习/GRPO）：AI 厨师的目标是“最大化平均分”。它发现只要把“盐”加到 100 克，就能得到 99 分的高分。于是，它开始疯狂地只做“100 克盐的菜”。
  • 结果：虽然分数很高，但所有的菜都长得一模一样（都是咸死人的菜）。这就是论文里说的**“模式崩溃”（Mode Collapse）**。哪怕你告诉它“要多样化”，它也只是在“100 克盐”和"101 克盐”之间微调，依然无法探索“少盐”或“加糖”的可能性。
• 现实痛点：在药物研发中，如果所有候选药物结构都太像，一旦这种结构在人体里失效（比如被免疫系统攻击），整个项目就全完了。我们需要的是结构各异的候选药物，以此作为“风险对冲”。

2. 新方案：GFlowNet 的“按比例采样”哲学

作者提出的 GFlowNet 换了一种思路。它不再追求“只拿最高分”，而是追求**“按得分比例来分配机会”**。

• 比喻：彩票与奖金池
  • 传统方法：只买那张中奖概率最高（但可能只有唯一一张）的彩票。
  • GFlowNet：它认为，如果一张彩票能得 100 分，另一张得 50 分，那么它应该买 100 张第一种的彩票，买 50 张第二种的彩票。
  • 效果：它不会把所有鸡蛋都放在“最高分”这一个篮子里。它会自然地覆盖所有得分不错的区域。高分的序列会被频繁生成，但低分（但在可接受范围内）的序列也会被生成，从而保证了多样性。

3. 实验对比：谁更靠谱？

论文做了两组实验，就像让两位厨师比赛：

• 厨师 A (GRPO-D)：使用传统方法，但强行加了一条规则：“你必须做出不同的菜”（这就是论文里说的“多样性惩罚”）。
• 厨师 B (GFlowNet)：使用新方法，不需要额外规则，天生就懂得“雨露均沾”。

比赛结果：

1. 表面看：两人做出来的菜，看起来都很丰富（粗粒度指标差不多）。
2. 细看（显微镜下）：
   • 厨师 A 虽然菜名不同，但核心配料（比如某种特定的氨基酸组合）总是重复出现。就像他做的 100 道菜，有 90 道都是“红烧肉”，只是摆盘不同。
   • 厨师 B 做出来的菜，配料分布非常均匀，没有哪种口味是重复出现的。
3. 极限测试（去掉规则）：
   • 如果去掉厨师 A 的“必须多样化”规则，他立刻崩溃，只做出一种极其单调的“盐块菜”。
   • 如果去掉厨师 B 的任何规则，他依然能保持自然的多样性，因为他“按比例采样”的基因里就写着多样性。

4. 为什么这对药物研发很重要？（“结构对冲”）

论文提出了一个非常棒的概念：结构对冲（Structural Hedging）。

想象你在投资。

• 如果你只买一种股票（比如只买“科技股”），一旦科技行业崩盘，你就全亏了。
• 如果你买“科技股”、“农业股”、“能源股”等结构不同的股票，即使科技股崩盘，农业股可能还在涨。

在药物研发中：

• 我们不知道哪种结构最终能治愈疾病。
• 如果 AI 只生成一种结构的药物，一旦这种结构在临床试验中失败（比如无法穿过血脑屏障），整个项目就失败了。
• GFlowNet 能生成结构各异的药物家族。如果“家族 A"失败了，也许“家族 B"（结构完全不同）就能成功。这大大提高了新药研发的成功率。

5. 总结：这篇论文说了什么？

• 旧方法：像是一个只会死磕最高分的“偏执狂”，容易钻牛角尖，需要人为强行给它加“多样性”的紧箍咒，而且一旦紧箍咒松一点，它就崩溃。
• 新方法 (GFlowNet)：像是一个**“公平的分配者”**。它天生懂得根据奖励的大小来分配生成概率，不需要额外的紧箍咒，就能自然地生成丰富多样的药物候选者。
• 结论：在寻找新药时，多样性本身就是一种质量。GFlowNet 不需要在“高质量”和“多样性”之间做取舍，它能同时做到两者，而且比传统方法更稳健。

一句话总结：
这篇论文告诉我们，与其逼着 AI 去“猜”哪个是唯一的最优解，不如让 AI 学会**“按比例分配”**，这样它就能在茫茫的药物海洋中，撒下一张更密、更稳的网，捞到更多真正有效的救命药。

技术摘要

这是一份关于论文《Generating Structurally Diverse Therapeutic Peptides with GFlowNet》（利用 GFlowNet 生成结构多样的治疗性肽）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
治疗性肽（Therapeutic Peptides）是一类快速增长的药物候选分子，相比小分子具有更高的特异性，相比生物制剂具有更低的制造成本。计算辅助的肽设计是加速药物发现的关键手段。

核心痛点：
现有的基于强化学习（RL）的肽生成方法（如策略梯度法）存在严重的**模式坍塌（Mode Collapse）**问题。

• 现象： 即使引入了显式的多样性惩罚（Diversity Penalties），RL 方法仍倾向于收敛到序列空间中的狭窄区域，产生重复的基序（Motifs）。
• 局限性： 传统的多样性指标（如序列同一性）往往掩盖了这种细粒度的模式寻求行为。一旦奖励函数中的多样性机制被削弱，RL 方法会完全崩溃，导致生成的候选药物缺乏结构多样性，无法覆盖专利组合或应对失败风险。

2. 方法论 (Methodology)

作者提出使用**生成流网络（Generative Flow Networks, GFlowNet）**来解决治疗性肽的生成问题，并将其与带有显式多样性惩罚的组相对策略优化（GRPO-D）进行对比。

2.1 核心思想：比例采样 vs. 奖励最大化

• 传统 RL (GRPO-D)： 目标是最大化期望奖励 $E[R(x)]$。这导致策略将所有概率质量集中在奖励最高的模式上（Mode-seeking）。为了维持多样性，必须人为添加与优化目标相悖的多样性惩罚项。
• GFlowNet： 目标是按奖励比例采样，即 $P(x) \propto R(x)$。
  • 该目标不寻求单一的最优解，而是根据奖励的大小在奖励景观（Reward Landscape）上进行比例覆盖（Mode-covering）。
  • 这种采样分布天然地提供了多样性，无需显式的输出多样性惩罚。

2.2 模型架构与训练

• GFlowNet 实现：
  • 架构： 使用从头训练（Trained from scratch）的因果 Transformer（4 层，隐藏层 256，8 个注意力头）。
  • 训练目标： 采用**子轨迹平衡（Sub-Trajectory Balance, STB）**损失函数。STB 通过计算子轨迹上的平衡约束，为变长序列生成提供更稳定的梯度信号。
  • 关键参数： 学习率对分区函数 $\log Z$ 的更新至关重要（设置为策略学习率的 10 倍），它充当了自动的多样性调节器，防止策略过早收敛。
• 基线模型 (GRPO-D)：
  • 架构： 使用预训练的 ProtGPT2-distilled 模型作为骨干（具有迁移学习优势，以此作为强基线）。
  • 训练目标： 在标准 GRPO 基础上增加了显式的多样性惩罚项（$\lambda \cdot div(x)$），该惩罚项结合了氨基酸频率稀有度和批内序列的 Levenshtein 距离。

2.3 奖励函数设计

为了测试鲁棒性，作者设计了三种奖励配置：

1. ImprovedReward： 包含自然度评分、长度门控和熵门控（Entropy Gating）（显式惩罚低熵/重复序列）。
2. CompositeReward： 移除了熵门控，仅包含稳定性、结合力和自然度。
3. ESM2-PLL： 仅使用 ESM-2 的伪对数似然分数（已知会导致重复序列的退化奖励），用于测试边界条件。

3. 关键贡献 (Key Contributions)

1. 细粒度多样性分析指标： 超越了传统的序列同一性，引入了二肽浓度（Dipeptide Concentration）、二肽熵、奖励分布变异系数和连续重复率等指标，揭示了传统指标无法捕捉的隐藏模式寻求行为。
2. 鲁棒性表征： 系统性地证明了 GFlowNet 在移除显式多样性机制（如熵门控或多样性惩罚）时，仍能保持自然多样性；而 GRPO-D 在移除这些机制后会完全崩溃。
3. 架构劣势下的性能超越： 尽管 GFlowNet 是从头训练且无预训练权重，而 GRPO-D 利用了预训练蛋白序列的迁移学习优势，GFlowNet 在多样性指标上仍显著优于 GRPO-D。

4. 实验结果 (Results)

4.1 粗粒度指标对比 (ImprovedReward 设置下)

• 在序列多样性（~0.95）和唯一序列比例（100%）等粗粒度指标上，GFlowNet 和 GRPO-D 表现相当。
• GFlowNet 的平均奖励（0.630）略高于 GRPO-D（0.623），证明了比例采样并未牺牲奖励质量。

4.2 细粒度指标对比 (揭示隐藏问题)

• 二肽浓度： GRPO-D 的前 10 个高频二肽占总数的 21.7%，而 GFlowNet 仅为 4.0%（GFlowNet 的采样均匀度高出 5.4 倍）。
• 奖励一致性： GFlowNet 的奖励变异系数更低（0.012 vs 0.023），且“质量底线”（5% 分位奖励）高出 3.6%，说明其生成的最差样本质量也优于 GRPO-D。
• 重复模式： GFlowNet 中连续重复氨基酸（>2 个）的序列比例仅为 5.9%，而 GRPO-D 高达 23.1%。

4.3 消融实验：移除多样性机制

这是最关键的发现：

• 移除熵门控（CompositeReward）：
  • GRPO-D： 发生完全模式坍塌。100% 的样本包含重复的三肽模式 RMMRMMRMM，二肽 RM/MR/MM 占比高达 92.4%。
  • GFlowNet： 依然保持自然多样性（序列多样性 0.937），无退化模式。
• 移除多样性惩罚（Vanilla GRPO）：
  • 即使保留熵门控，移除训练目标中的多样性惩罚后，GRPO 的前 10 个二肽占比飙升至 52.5%（比 GFlowNet 差 13 倍）。

4.4 结论

GRPO 需要在奖励函数（熵门控）和训练目标（多样性惩罚）两个层面同时施加约束才能避免坍塌，而 GFlowNet 仅靠其比例采样的目标函数即可实现鲁棒的多样性。

5. 意义与讨论 (Significance)

1. 理论机制差异：

   • 模式寻求 (Mode-seeking)： 传统 RL 试图将所有概率质量推向全局最大值，多样性惩罚只是与之对抗的阻力，容易在超参数或奖励设计变化时失效。
   • 模式覆盖 (Mode-covering)： GFlowNet 通过分布匹配（Distributional Matching），根据奖励大小分配概率质量。这是一种最大熵解，天然地保留了不确定性，无需人为干预即可覆盖奖励景观的多个模式。

2. 药物发现中的“结构对冲” (Structural Hedging)：

   • 药物发现中，奖励函数无法完全编码所有药代动力学性质（如免疫原性、组织穿透性）。
   • GFlowNet 生成的结构多样的候选药物家族，可以作为一种“对冲”策略。如果某一结构家族因未知原因失败，其他结构差异大的家族可能成功，从而降低整个研发管线失败的风险。

3. 对奖励函数设计的鲁棒性：

   • GFlowNet 对奖励函数的设计缺陷具有更强的鲁棒性。即使在没有显式多样性约束的情况下，它也能避免生成单一模式的序列，这对于自动化药物发现流程至关重要。

局限性：

• 实验仅在单一治疗性肽生成任务上进行。
• 对比模型在架构初始化上存在差异（GFlowNet 从头训练 vs GRPO-D 预训练），虽然这加强了基线，但也混淆了目标函数与初始化的影响。
• 面对极度退化的奖励函数（如直接奖励重复序列的 ESM2-PLL），两种方法均会失效，表明比例采样并非万能。

总结：
该论文证明了在药物分子生成任务中，GFlowNet 的比例采样目标优于传统的奖励最大化目标。它提供了一种内在的、无需显式惩罚的多样性机制，能够生成结构更丰富、质量更稳定的治疗性肽候选物，为药物发现管线中的候选药物多样性问题提供了新的解决方案。