TAG-lite: a pre-training task-affinity workflow for multi-task ADMET learning with disjoint datasets

技术摘要：TAG-lite：一种用于多任务 ADMET 学习的预训练任务亲和力工作流

问题陈述

多任务学习（MTL）通过利用不同终点之间的共享结构，为提高 ADMET（吸收、分布、代谢、排泄和毒性）预测能力提供了一条路径。然而，MTL 的有效性高度依赖于任务分组；将冲突的终点共同训练会导致梯度冲突，从而引发负迁移。现有的确定任务兼容性的方法通常依赖于两类度量标准：基于迁移的方法（测量更新共享参数后的损失变化）和基于对齐的方法（测量梯度的余弦相似度）。

ADMET 领域的一个关键局限在于，这些方法通常假设任务共享相同的输入化合物。而在现实中，ADMET 数据集往往是相互独立的，不同的终点是在不同的化合物集上测定的。虽然之前的研究尝试通过生物学分类或成对共训练来规避这一问题，但后者在计算上是不可行的（对于 27 个终点需要进行 351 次运行），且现有的亲和力度量在不存在共同批次化合物时在结构上是无法应用的。此外，以往的文献表明，当化合物重叠率降至约 30% 以下时，梯度对齐会变得失去信息量，而许多 ADMET 对正处于这一区间。

方法论：TAG-lite

作者提出了 TAG-lite，这是一种专门为不相交输入设置设计的任务亲和力分组的极简改进版。该工作流包含五个阶段：

1. 共享编码器训练： 使用单一的多任务模型（采用 AttentiveFP 编码器）同时在 27 个终点上进行训练，并采用等权重损失。该训练分为“预热”阶段（以稳定表示）和“测量”阶段（在此阶段冻结编码器）。
2. 梯度提取： 在测量阶段，从共享编码器参数中提取特定任务的梯度。至关重要的是，各任务的批次是独立采样的；它们共享一个程序索引，但包含完全不同的化合物。
3. 亲和力估计： 任务 $i$ 与任务 $j$ 之间的亲和力计算为它们在共享参数空间中梯度的余弦相似度：
   $$a_{ij} = \frac{1}{B} \sum_{b} \frac{g_i(b) \cdot g_j(b)}{\|g_i(b)\| \|g_j(b)\|}$$
   这种方法测量的是方向兼容性而非实现的损失变化，从而实现了无需共享化合物的亲和力估计。
4. 聚类与分组： 生成的 $27 \times 27$ 亲和力矩阵被转换为距离矩阵（$D = 1 - A$）。进行层次聚类，并选择 Ward 连接法（Ward linkage）而非平均、单链接或全连接法，因为它对通过中间变量合并不相似任务的“链式效应”（chaining）具有鲁棒性。这产生了任务的分组（例如，$k=8$）。
5. 筛选规则： 应用两条件筛选规则来确定哪些组适合联合训练：
   • 条件 1： 组内平均亲和力必须为正，且高于 Youden 最优阈值 $\tau^* \approx 0.151$。
   • 条件 2： 组内平均化合物重叠率（Jaccard 指数）必须 $\ge 0.5\%$。
     不符合这些标准的组将被排除在联合训练之外。

核心贡献

本文做出了六项具体贡献：

1. 算法工作流： 引入了 TAG-lite，这是一种用于预训练任务分组的离散输入梯度亲和力算法，与成对方法相比，它仅需单次训练运行。
2. 预测有效性： 提供了证据，证明在联合训练之前计算出的亲和力估计可以预测迁移的方向（有益 vs 有害），其曲线下面积（AUC）为 0.745。
3. 重叠特征化： 直接测量了 351 个终点对的重叠情况，揭示了重尾分布（中位数为 0.99%，但某些类别如 CYP 底物重叠率 >97%），挑战了 ADMET 数据是均匀稀疏的观点。
4. 聚类选择： 证明了为了避免链式效应，ADMET 数据必须使用 Ward 连接法，而平均连接法和单链接法无法产生可用的划分。
5. 双条件筛选： 提出了结合亲和力和化合物重叠的筛选规则，表明两者提供了互补的信息。
6. 筛选与手术的互补性： 表明 TAG-lite（用于组选择）与梯度手术（如 PCGrad 优化）是互补的；筛选选择了兼容的组，而手术则提升了这些组内的性能。

结果

• 离散性： 351 个对的中值 Jaccard 重叠率为 0.99%，其中 83.2% 的对低于 5%。然而，特定的类别（如 CYP 底物）显示出高重叠率（>60%），表明存在低重叠和高重叠混合的机制。
• 亲和力预测：
  • 亲和力成功预测了迁移的方向（AUC = 0.745）。
  • 量级限制： 在低重叠机制下，预测迁移量级的能力崩溃了。在重叠率低于 5% 时，亲和力与增益之间的相关性与零无异（$r = -0.186$）。在 5% 以上时，相关性很强（$r = +0.700$）。
  • 判别能力： 尽管在低重叠机制下量级预测能力丧失，但在低于 5% 重叠时，区分有益与有害迁移的方向判别能力仍然保持在高水平（AUC $\approx$ 0.75）。
• 分组表现：
  • 使用筛选规则，有两个组被准许进行联合训练。在等权重下，这些组中的 7/9 个任务得到了提升。
  • 对准入组应用 PCGrad（梯度手术）导致了组内所有任务的统一提升，而等权重法则导致了混合结果。
  • HydFE 案例： 一个特定的失败案例（HydFE）显示出正向的组内亲和力但却发生了负迁移。这归因于 HydFE 的数据集规模较小，被组内较大的伙伴所淹没，这是余弦相似度的局限性，因为它丢弃了梯度量级。
• 与先前主张的比较： 结果修正了 Zhang 和 Cheng 关于“梯度对齐在重叠低于 30% 时失去信息量”的主张。作者发现，虽然量级估计在重叠率低于 ~5% 时会退化，但方向判别能力依然稳健。

意义与主张

本文声称 TAG-lite 为不相交 ADMET 数据集中的任务分组提供了一种实用且计算高效的协议，在这些场景下传统的基于迁移的方法会失效。其主要意义在于：

• 操作集成： 在没有共同输入的设置中成功应用梯度对齐，将独立采样的梯度转化为通用的亲和力矩阵。
• 方向筛选： 确立了亲和力是一个有效的“去/留”（go/no-go）决策工具，用于识别有益的任务组合，即使在化合物重叠极低（<5%）的情况下也是如此。
• 修正“不可能”的主张： 将“低重叠使亲和力失去信息量”的主张进行了分解。作者认为，低重叠限制了效应量估计，但并未消除方向分类的能力。
• 互补性： 证明了预训练筛选（TAG-lite）和训练中优化（梯度手术）解决了 MTL 的不同方面，并且应该结合使用。

作者对其主张保持了审慎态度，指出：

• 阈值（$\tau^* \approx 0.16$, 重叠 $\ge 0.5\%$）是样本内的运行点，需要外部验证。
• 该方法预测迁移方向，但不是通用的效应量预测器。
• 全局平均亲和力是衡量任务适用性的较差指标；适用性是相对于特定伙伴而言的。
• 局限性包括缺乏量级加权的亲和力变体、缺乏“反亲和力”对照实验，以及需要跨架构的复制验证。

研究结论认为，TAG-lite 使得从单次训练运行中导出任务组成为可能，为处理不相交 ADMET 数据集提供了一种可扩展的替代方案，同时提供了一种经过统计验证的机制来避免负迁移。