💬 NLP

$\texttt{AMEND++}$ : Benchmarking Eligibility Criteria Amendments in Clinical Trials

本文介绍了 $\texttt{AMEND++}$ ，这是一个用于预测临床试验入组标准修订的基准测试集和一种新型 NLP 任务，同时还介绍了一种名为 CAMLM 的修订感知预训练策略，该策略利用历史编辑来提高预测准确性并支持更高效的试验设计。

原作者： Trisha Das, Mandis Beigi, Jacob Aptekar, Jimeng Sun

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Trisha Das, Mandis Beigi, Jacob Aptekar, Jimeng Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在为一位非常严格的评委烘焙一个巨大且复杂的蛋糕。你写下了一份完美的食谱，但在烘焙过程进行到一半时，你意识到需要把香草换成杏仁精，或者烤箱需要降低20度。在医学领域，这份“食谱”被称为临床试验方案，而这个“蛋糕”则是正在接受测试的新药或新疗法。关于谁可以吃这块蛋糕的规则被称为“入组标准”。就像烘客在开始制作后可能意识到自己的食谱需要调整一样，科学家也经常需要在临床试验已经开始后修改这些规则。这些被称为“修正案”的变化很常见，但它们既昂贵又缓慢，有时甚至会因为吃蛋糕的人群发生了太大变化而破坏科学研究的严谨性。研究人员一直以来都在努力解决的一个大问题是：我们能否通过观察原始食谱，在还没开始烘焙之前，就预见到哪些食谱需要重写？

这正是论文《AMEND++》所探讨的内容。作者们——来自伊利诺伊大学和 Medidata Solutions 的一个团队——构建了一个预测这些未来食谱变化的新工具。他们创建了一个巨大的数字图书馆，名为 AMEND++，它就像是一个临床试验食谱的“时光机”。它包含了超过 16 万条试验记录，不仅展示了原始规则，还展示了随着时间推移，规则每一次被修改后的版本。为了确保数据纯净，他们使用了一个聪明的 AI 助手（大语言模型）来充当“噪声过滤器”，将那些微小的、无聊的拼写错误与真正对科学研究至关重要的实质性变化区分开来。这最终形成了一个超级干净的数据集，名为 AMEND_LLM。

利用这个图书馆，该团队训练了一个特殊的 AI 模型，命名为 CAMLM（变化感知掩码语言模型）。你可以把 CAMLM 想象成一名侦探，它不仅仅是在阅读食谱，还在研究食谱通常是如何演变的。它学会了识别规则中“脆弱”的部分——即那些看起来摇摆不定或模棱两可的句子——因为这些部分在之后最有可能被修改。当他们测试这名侦探时，发现它在预测哪些试验需要修正案方面，比旧有的标准 AI 模型表现得显著更好。例如，在他们的主要数据集上，这种新方法提高识别这些变化的能力约 1.4% 到 4.4%，具体取决于特定的测试。论文指出，通过使用这个工具，制药公司或许能够在开始烘焙之前就修复它们的“食谱”，从而节省时间、金钱，并保持科学研究的可靠性。然而，作者也谨慎地指出，这只是一个起点；他们的工具目前仅关注参与试验的人员规则，尚未涉及食谱的其他部分（如研究设计或最终结果），并且它依赖于一个假设，即他们所使用的公开记录在很大程度上是准确的。

技术摘要：AMEND++：临床试验入选标准修订的基准测试

问题定义

临床试验方案经常在批准后进行修改（即修订），这会带来显著的延迟、增加的成本和行政负担。在协议的各个组成部分中，**入选标准（Eligibility Criteria, EC）**是最常被修改的部分。对纳入和排除标准的更改可能会改变试验进行过程中的研究人群，从而影响研究的完整性和可解释性。

尽管预测这些变化在操作层面具有重要意义，但计算文献领域仍缺乏大规模的资源和模型来预测初始方案的 EC 文本随后是否会被修改。现有的研究主要侧重于描述性和统计性的研究，旨在表征修订的频率和原因，未能将修订预测框架化为一个预测建模问题，也未能发布机器学习就绪的数据集。

研究方法

作者提出了一个全面的流水线来填补这一空白，其核心是 AMEND++ 基准测试套件和一种新型预训练策略。

1. 数据收集与处理 (AMEND++)

该基准测试构建自来自 ClinicalTrials.gov 的干预性药物试验。作者通过程序化抓取“记录历史”（Record History）标签页，重建了并非通过标准 API 可获取的纵向 EC 版本历史。该套件包含两个数据集：

AMEND：一个大规模集合（161,970 项试验），捕捉了直接源自公共记录的原始 EC 版本历史和修订标签。
AMEND_LLM：一个精炼的子集（64,641 项试验），其中的标签经过“去噪”处理，以将实质性变更与微小的行政编辑（如格式、拼写错误）区分开来。

2. 标签构建与去噪

为了在没有高昂人工成本的情况下生成高质量的训练标签，作者在训练集和验证集上采用了 基于大语言模型（LLM）的去噪流水线，同时保留人工标注用于测试集（金标准）。

分解：LLM 不进行单一判断，而是执行三个独立的检查：识别新增的标准、删除的标准以及修改的标准（例如，数值阈值或逻辑运算符的变化）。
输入：LLM 处理初始版本与最终版本 EC 文本之间的差异 ( $\Delta E$ )。
聚合：通过三个检查的逻辑“或”（OR）运算来确定最终的二元修订标签。
验证：该方法实现了 99.34% 的人工标注匹配率，显著优于原始的 ClinicalTrials.gov 标签和基准的思维链（Chain-of-Thought）方法。

3. 任务形式化

该任务被定义为一个监督式二元分类问题。给定初始的入选标准文本 ( $E^{(0)}$ ) 和在启动时可获得的试验级元数据 ( $M$ )，模型预测该方案未来是否会发生 EC 修订 ( $\hat{y} \in \{0, 1\}$ )。

4. 变更感知掩码语言模型 (CAMLM)

为了提高表示学习的能力，作者提出了 CAMLM，一种修订感知的预训练策略。

动机：标准的掩码语言模型（MLM）对所有标记（token）一视同仁，而 EC 修订通常是稀疏且局部的。
机制：CAMLM 利用历史 EC 版本来识别“不稳定区间”——即在后续版本中被删除、替换或修改的标记。
掩码策略：在预训练期间，这些不稳定区间内的标记以高概率 ( $p_{span}$ ) 被掩码，而稳定标记则以较低的背景概率 ( $p_{low}$ ) 被掩码。
架构：CAMLM 不改变模型架构（例如，它适用于 BERT、BioBERT），而是修改了掩码策略，以鼓励编码器学习对历史上易于发生修订的内容敏感的表示。

核心贡献

新的 NLP 任务：将入选标准修订预测形式化为一个全新的任务，旨在根据初始草案预测未来的协议修改风险。
AMEND++ 基准测试套件：发布了两个大规模数据集：
- AMEND：大规模原始 EC 版本历史。
- AMEND_LLM：一个具有高保真度、经 LLM 去噪标签处理的子集，该标签将修订分解为新增、删除和修改组件。
CAMLM 预训练策略：一种利用历史编辑来学习修订敏感表示的方法，在不改变架构的情况下提高了下游预测性能。

实验结果

实验在 AMEND 和 AMEND_LLM 数据集上使用多种基准模型（BioBERT、BERT、Longformer）和分类器（逻辑回归、随机森林、微调后的 BioBERT）进行。

性能提升：CAMLM 在所有模型类别和指标上均一致地提高了预测性能。
- 在微调后的 BioBERT 上，相对于基准模型，CAMLM 将 AUROC 提高了约 1.4–1.5%，AUPRC 提高了约 2.1%，准确率（Accuracy）提高了 4.0–4.4%。
- 统计显著性（DeLong 检验）证实了这些改进对于逻辑回归和微调模型在两个数据集上的表现均具有显著性 ( $p < 0.05$ )。
消融实验：对比显示，虽然标准的 MLM 和区间感知 MLM（span-aware MLM）提供了适度的增益，但 CAMLM（模拟长周期协议演变）始终优于所有其他预训练策略，证明了模拟 EC 演变比仅使用静态文本能产生更丰富的表示。
标签质量：在人类标注的测试数据上进行评估时，在 LLM 去噪标签（AMEND_LLM）上训练的模型表现优于在原始 CTGov 标签上训练的模型，验证了去噪流水线的有效性。

意义与主张

本文声称，初始入选标准文本中所包含的信息对于预测未来的修订风险具有预测信号。通过引入 AMEND++ 和 CAMLM，作者提供了一个可扩展的框架，用于：

预判协议修订：使赞助商能够在设计过程早期识别出具有较高修订风险的 EC。
优化试验设计：帮助赞助商改进方案质量，减少可避免的修订，并简化试验执行。
降低成本：潜在地缓解与批准后修改相关的巨额成本和延迟。

作者指出，由于其频率和复杂性，目前的工作仅专注于入选标准作为切入点，但该框架未来可以扩展到其他协议部分（如结局指标、研究设计）。他们也承认，文中假设公共注册库中的“无修订”标签是正确的，尽管预计存在假阴性（false negatives）的可能性。