Temporally validated clinical trial outcome prediction from public registry text: a leakage-audited comparison of biomedical transformers and classical NLP
本研究表明，仅通过在来自公共临床试验注册文本的自动化结果概率上进行训练，生物医学 Transformer 模型（特别是 BiomedBERT）能够以高准确度、高可复现性和极低的计算成本，有效预测神经科学试验在后期阶段的成功，同时通过严格的时间验证和输入限制来避免数据泄露。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
研发新药是一个漫长、昂贵且充满不确定性的旅程。大多数进入测试阶段的候选药物最终都无法登上药店的货架。由于风险极高，研究人员和公司不断寻找方法，试图在投入数年时间和数百万美元之前，预测哪些试验更有可能成功。几十年来，这些预测依赖于关于药物分子结构、其针对的具体疾病或开展研究的公司等复杂数据。通常，这些信息被锁在私有数据库中，或者需要支付昂贵的订阅费用才能获取。这造成了一种障碍，使得只有资金雄厚的机构才能构建预测医学研究未来的工具。但如果答案其实就摆在眼前，就写在这些研究本身的公开描述中呢？
独立研究员迈克尔·多恩（Michael Doane）最近的一项研究探讨了计算机程序是否可以仅利用 ClinicalTrials.gov 网站上免费的公开文本，来学习预测临床试验的成功率。该网站是一个全球注册库，每一项临床试验都必须在此注册，详细说明研究设计、涉及的患者以及研究目标。多恩想知道，一种现代语言模型——一种经过训练以理解人类语言的人工智能——是否能够阅读这些公开描述，并根据成功可能性对试验进行排名。为此，他使用了一个由临床试验结果数据集（Clinical Trial Outcome Dataset）生成的庞大数据集，该数据集通过收集新闻报道和公开结果来为每项试验分配成功概率。其目标是观察人工智能能否从这些自动化概率中学习，并将该知识应用于新的、未见过的试验（特别是针对神经科学领域的试验），且在训练过程中从未接触过最终结果。
研究人员训练了三个独立的计算机模型，分别对应药物测试的三个阶段：早期安全性检查、中期测试和大规模最终试验。他将 201 世纪 2019 年以前完成的数千项试验的公开文本输入这些模型，并以自动化成功概率作为引导学习的唯一指南。至关重要的是，这些模型不允许看到试验结果、日期或任何可能泄露答案的特定标识符。相反，它们必须完全依赖于研究设计和参与人员的叙述性描述。为了确保结果是真实的而非数据的巧合，研究人员设定了一条严格的规则：模型只能在 2019 年之后结束的试验上进行测试，而这个时间段是模型从未见过的。这种被称为“时间验证”（temporal validation）的方法，模拟了预测工具在现实世界中的实际应用方式——即向后看未来，而非仅仅记忆过去。
结果显示，计算机模型确实能在公开文本中发现成功的信号。基于 BioBERT 系统（该系统在生物医学文献上进行了预训练）的主模型成功地对试验进行了排名。在早期安全性阶段，它实现了 0.67 的 AUC。在中期阶段，这一得分上升到约 0.71，而在最后的规模化阶段，得分达到了约 0.72。虽然这些数字看起来可能并不惊人，但它们代表了仅凭公开信息就能区分成功与失败试验的显著能力。该模型的表现优于随机猜测，也优于在后期测试阶段使用较旧、较简单的统计方法。另一个名为 BiomedBERT 的模型在最终阶段的表现甚至略好，AUC 达到了近 0.75。
这项发现之所以特别值得关注，是因为其实现过程极其高效。整个过程，包括训练复杂的 AI 模型和运行对比实验，在单个图形处理器（GPU）上仅耗时 3.5 小时，电力和云计算费用仅略高于一美元。这与通常与人工智能研究相关的庞大超级计算机和昂贵数据集形成了鲜明对比。研究表明，拥有适度资源的科研人员仅使用免费的公开数据即可重现这些结果。模型能够仅从文本描述中学习，证明了临床试验登记册中的描述方式包含着与其最终结果相关的隐藏模式。
然而，这项研究也指出了重要的局限性。虽然模型擅长对试验进行排序（即分辨哪些试验比其他试验更有可能成功），但它们并不擅长精确预测成功的具体概率。在早期阶段，模型往往过于乐观，预测的成功率高于实际发生的概率。这表明，虽然文本提供了有用的信号用于筛选试验，但它尚不能取代对人类判断或更详细数据的需求。研究人员还指出，文本描述可能会随时间发生变化，如果登记条目在试验结束后进行了更新，可能会导致结果意外泄露给模型。为了防止这种情况，研究中使用了严格的规则，在模型读取文本之前，剔除了其中任何关于结果的提及。
最终，这项工作表明，临床试验的公开记录中所蕴含的预测能力比此前意识到的要强。通过使用自动化标签来训练语言模型，研究人员展示了仅根据公开描述即可构建一个对药物试验进行排名的工具。这种方法不需要访问私有的企业数据或昂贵的专有数据库。它提供了一个透明、可重现的基准，任何研究人员都可以利用它来筛选试验或优先考虑哪些研究值得密切关注。虽然这些模型尚未准备好做出药物开发的最终决策，但它们提供了一种全新的视角，让我们能够审视那些已向公众开放的海量信息，将简单的文本转化为引导人们穿越充满不确定性的医学发现之路的指南。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。