技术摘要：MARD —— 用于机制级 DDI 预测的镜像增强推理蒸馏

1. 问题定义与动机

目前的药物相互作用（DDI）预测系统主要将该任务视为扁平的多标签分类问题，仅输出是否存在相互作用或单一的宽泛家族标签。这种方法无法解决临床现实问题：处方者需要机制性解释（涉及哪种酶或转运体）、方向性（哪种药物影响另一种）以及证据支撑，以避免“警报疲劳”。现有的生成理由（rationale-emitting）系统往往缺乏模式约束，无法强制执行药理学对称性（即交换药物顺序 $A \to B$ 应镜像对应 $B \to A$），并且深受幻觉困扰，会引用不存在的蛋白质靶点或机制。

此外，直接应用于此任务的前沿大语言模型（LLMs）表现出三种正交失效：

1. 镜像不一致性（Mirror Inconsistency）： 对于 $(A, B)$ 和 $(B, A)$ 的预测在家族或方向上经常出现分歧。
2. 类别不平衡崩溃（Class-Imbalance Collapse）： 由于机制家族之间存在 47:1 的极度不平衡，模型会坍缩到占主导地位的“不良风险（Adverse Risk）”吸引子上。
3. 证据幻觉（Evidence Hallucination）： 模型会生成听起来合理但缺乏依据的引用。

研究问题在于：一个在测试时无需访问前沿模型的轻量化语言模型（SLM），是否能够生成符合模式规范、具有镜像稳定性、对“冷”药物/药物对（训练中未见）具有鲁棒性且完全可审计的 DDI 预测。

2. 方法论：MARD 流水线

作者提出了 MARD（镜像增强推理蒸馏），这是一个基于 2026 年 4 月版 DrugBank（1.45M 对，7 个机制家族，147 个亚型）训练的 7B 参数模型，采用了四阶段流水线。

2.1 数据与模式

• 分类法（Taxonomy）： 一个包含 7 个家族/147 个亚型的结构化层级，带有方向性标签（$A \to B$, $B \to A$, 双向, N/A）。
• 证据池 ($E_p$)： 对于每一对药物，模型接收结构化字段（PK 标志、蛋白质靶点、通路）和一个包含 $K=5$ 个相似已标记邻居对的检索块。至关重要的是，该池是结构化的而非自由文本，确保每个引用的标识符都是可验证的。
• 防泄漏拆分（Leakage-Safe Splits）： 定义了三种协议：随机拆分（热启动/Warm）、药物冷启动（Drug-Cold，训练中无该药物） 以及 药物对冷启动（Pair-Cold，训练中无共享这两个药物的测试对）。

2.2 训练创新

该流水线采用了三个耦合的训练创新，以解决上述失效问题：

1. 跨教师共识蒸馏（Cross-Teacher Consensus Distillation）：

   • 由三个不同的教师模型（Qwen2.5-72B, DeepSeek-R1-70B, Llama-3.3-70B）生成候选结果。
   • 通过一个四层评审堆栈（基于规则的质量控制、DDI-PRM 评分、自一致性和针对 out-of-family 的 GPT-4o 探测）选择共识轨迹（consensus trace）。
   • 这减少了系统性偏差，并确保了高质量、符合模式规范的训练数据。

2. 带位置限制 KL 散度的镜像增强 SFT（Mirror-Augmented SFT with Position-Restricted KL）：

   • 为了强制执行对称性，每个训练样本都与其翻转后的孪生样本（$AB$和$BA$）配对。
   • 应用 位置限制 KL 散度，该操作 仅 作用于单个“方向标签”token。这强制要求当药物对顺序交换时，方向标签必须反转，同时保持自由形式的推理轨迹文本不耦合，以保留风格多样性。
   • 这防止了模型在两种顺序下坍缩为完全相同的字符串（这会损害性能），同时确保了关键的方向性是稳定的。

3. 基于硬负样本的 PRM 加权 DPO（PRM-Weighted DPO with Hard Negatives）：

   • DDI-PRM（过程奖励模型）： 一个通过自动可验证步骤标签训练的 LoRA 微调奖励头。如果一个步骤相对于 DrugBank 字段实现了证据落地、方向保持、家族一致性和 PK 标志一致性，则会被奖励。无需人工评判。
   • 硬负样本（Hard Negatives）： 通过仅编辑最终的结构化答案块（例如，将家族改为“不良风险”但保持推理文本不变）来构建程序化的“错误”轨迹。这迫使模型从结构化标签错误而非表面特征中学习。
   • 权重分配： DPO 目标函数由 PRM 边际值 ($\omega_i$) 加权，优先处理模型不确定的样本。

2.3 机制感知检索

检索通道根据复合相似度得分（通路 Jaccard、蛋白质 Jaccard、ATC 深度、SMILES Tanimoto）获取 $K=5$ 个标记的邻居对。检索范围严格限制在训练对内，以防止在冷启动拆分场景中的数据泄漏。

3. 关键结果

针对 32 个系统（包括 20 个 OpenDDI 基准模型、结构化模型、开源医学 LLM 以及 GPT-4o 和 Claude Sonnet 4.6 等前沿模型）进行评估：

• 冷启动拆分泛化能力（Cold-Split Generalization）： MARD-7B 是对比系统中唯一一个在药物对新颖性面前仍能保持准确性的系统。
  • 在 Pair-Cold 场景下，MARD-7B 实现了 0.540 的 macro-F1，分别超过了最佳结构化基准（XGBoost）12.7 个百分点，以及最佳 OpenDDI 架构（DDIMDL）13.9 个百分点。
  • 相比之下，DeepDDI-MLP 从 Warm 到 Pair-Cold 的表现下降了 47.5 个百分点。
• 镜像稳定性（Mirror Stability）： MARD 在 Pair-Cold 上实现了 0.977 的镜像家族稳定性（MFS）和 0.78 的镜像预测对称性（MPS），显著优于模仿基准（若无对称约束，错误率为 51.4%）。
• 幻觉率（Hallucination Rate）： 该系统接近无幻觉，其幻觉率（HR）为 $3.7 \times 10^{-4}$。所有被标记的引用均被识别为 2026 年 4 月版本中退役的旧版 DrugBank ID，而非捏造的参考文献。
• 前沿模型对比： MARD-7B 在 Pair-Cold 上比 GPT-4o 高出 6.7 个百分点，在 Warm 拆分上比 Claude Sonnet 4.6 更强，而其 API 成本仅约为后者的 1%。
• 抗记忆签名（Anti-Memorisation Signature）： 与结构化基准（显示出频率与准确率的正相关）不同，MARD 的准确率在罕见药物上反而 增加（Spearman $\rho = -0.76$）。这表明模型依赖的是结构化药理推理而非共现统计。

4. 贡献

1. 可复现协议： 一套机制级 DDI 标注与评估协议，包含 7 家族/147 亚型的分类法、防泄漏的冷启动拆分协议，以及四个轨迹质量指标（MFS, MPS, CSA, HR）。
2. MARD 训练方案： 一种结合了位置限制对称性-KL、基于程序化硬负样本的 PRM 加权 DPO 以及机制感知检索的耦合训练方法。
3. 无裁判训练信号： 一个过程奖励和偏好数据均可针对 DrugBank 结构化字段进行确定性验证的系统，消除了训练循环中对人工或 LLM 裁判的需求。
4. 推理而非记忆的证据： 通过在罕见药物上准确率出现的“符号反转”（相对于基于记忆的基准）证明了性能提升源于结构化药理推理。

5. 意义与局限性

意义：
本文认为，DDI 预测的瓶颈不在于参数量，而在于进行结构化药理推理的能力。MARD 证明了当经过严格的模式约束、对称性强制和自动可验证奖励训练时，一个 7B 模型可以超越前沿模型和专门的图架构模型。该系统提供了一条实现可审计、低成本临床决策支持的路径，通过提供可操作的机制而非泛泛的警告来减少警报疲劳。

局限性（作者所述）：

• 选择与生成的差距： 模型能为 $\ge 65\%$ 的药物对生成正确的家族，但“可部署”系统（单次提交）比“丰富候选集预言机（rich candidate oracle）”落后约 16 个百分点。作者认为这是一个验证器/选择问题，而非生成问题。
• 稀疏性天花板： 自动验证的落地受限于 DrugBank 的策展密度。证据字段较稀疏的家族（如 PK_Distribution）表现出较低的准确率（0.26），而证据充分的家族（如 Adverse Risk）准确率较高（0.77）。
• 狭义对称性： 对称性约束仅应用于方向标签。虽然这保留了推理多样性，但三方一致性（家族、亚型、方向）在不同顺序下的 MPS 较低（约 0.80）。
• 研究人工制品： 作者明确指出 MARD 不是医疗器械。部署时需要合格的药剂师或医生介入，其输出应被视为需经独立验证的假设。

论文总结道，剩余的性能差距是一个候选集选择挑战，这为开发学习型验证器提供了动力；而当前的发布提供了语料库、检索索引和训练代码以支持该领域的研究。