CT Open: An Open-Access, Uncontaminated, Live Platform for the Open Challenge of Clinical Trial Outcome Prediction

这是一篇关于 CT Open 平台的详细技术总结，该平台旨在解决临床试验结果预测这一高难度、高风险的开放挑战。

1. 研究背景与问题定义 (Problem)

• 核心挑战：能否利用 AI 系统在临床试验结果公布（甚至试验开始）之前，准确预测其结果？这是一个对临床医生、患者和制药公司至关重要的问题，也是目前领域内极具挑战性的开放问题。
• 现有痛点：
  • 数据污染（Contamination）：现有的基准测试通常是静态的，容易被模型通过训练数据“死记硬背”或检索到已公开的部分结果（如初步报告、会议摘要、新闻稿等），导致评估结果虚高，无法反映真实的预测能力。
  • 结果滞后与分散：临床试验的官方注册结果往往滞后数年，而首次提及可能出现在晦涩的文章、博客或财务披露中，难以通过简单搜索确定结果是否公开。
  • 方法局限：传统的机器学习方法难以处理复杂的非结构化文本，而大语言模型（LLM）在处理此类预测任务时表现参差不齐，且容易受到预训练知识截止日期的影响。

2. 方法论与平台设计 (Methodology)

CT Open 是一个开放获取、实时运行、抗污染的预测平台，其核心设计包含以下关键部分：

A. 动态挑战机制

• 季度挑战：每年举办四次挑战（冬、春、夏、秋），每个挑战对应一个三个月的时间窗口。
• 提交与评估：参与者在窗口开始前提交预测。窗口结束后，平台仅评估那些在窗口开始前无公开结果，但在窗口期间获得了可用公开结果的试验。
• 时间戳基准：每个挑战发布带有时间戳的基准测试（如 Winter 2025, Summer 2025），确保评估时模型无法接触到未来的结果。

B. 核心创新：全自动去污染管道 (Decontamination Pipeline)

这是 CT Open 最核心的技术贡献，旨在确保评估的公平性。

• 迭代式 LLM 网络搜索：利用 LLM（如 GPT-5.2, Gemini 3）的联网搜索能力，结合自定义的 Brave Search API 和数据库搜索（PubMed, PMC 等），进行多轮迭代搜索。
• 多源证据挖掘：不仅搜索期刊文章，还覆盖预印本、新闻、博客、财务报告、会议海报等所有可能包含试验结果的来源。
• 双重验证机制：
  1. 试验匹配验证：确认检索到的文档是否确实针对该特定临床试验（即使没有 NCT ID，也通过药物、设计、赞助商等多维度交叉验证）。
  2. 结果存在性验证：确认文档是否报告了该试验的具体结果（而非仅提及启动或相关试验）。
• 严格的时间过滤：严格区分“截止日前”（Cutoff Date）和“截止日后”的结果。任何在截止日前有公开结果的试验均被剔除。
• 人工验证：通过专家标注和随机抽样（50 个 NCT ID 深度审查，耗时 2-4 小时/个）验证管道准确性，确认去污染准确率达到 98% 以上。

C. 问题定义与数据生成

• 问题类型：
  1. 优效性 (Superiority)：治疗组是否显著优于对照组（二分类）。
  2. 比较效应 (Comparative Effect)：治疗组是显著优于、劣于还是无差异（三分类）。
  3. 终点达成 (Endpoint)：试验是否达到预设终点（二分类）。
• 数据构建：利用临床试验注册信息（如 clinicaltrials.gov）自动生成问题，待结果公开后通过自动化管道生成答案。

3. 关键贡献 (Key Contributions)

1. 首个抗污染的动态临床预测平台：CT Open 解决了静态基准测试中普遍存在的数据泄露问题，通过严格的去污染管道确保评估的是模型的真实预测能力而非记忆能力。
2. 全自动去污染技术：提出了一种基于 LLM 迭代搜索和多重验证的自动化管道，能够精准识别分散在互联网各处的早期试验结果，为其他动态基准测试提供了技术范本。
3. 开放性与多样性：允许任何方法（传统 ML、神经网络、LLM、RAG、Agent）参与，不限制数据源，鼓励探索多样化的预测策略。
4. 基准数据集发布：发布了训练集（7,292 个试验）和两个时间戳测试基准（Winter 2025 和 Summer 2025），涵盖肿瘤、心血管、自身免疫等多个领域。

4. 实验结果与分析 (Results)

论文对多种方法（传统 ML、LLM、RAG、Agent）在 Winter 2025 和 Summer 2025 基准上进行了评估：

• 传统 ML 与 LLM 的对比：
  • 传统机器学习（如随机森林）表现强劲：在结构化特征（如试验阶段、样本量、疾病类型）上，传统 ML 模型（Random Forest, XGBoost）的表现与 LLM 相当，甚至在某些指标上更优。
  • LLM 的局限性：现成的 LLM（如 o3-mini, GPT-5, Claude Opus 4.5）在直接预测任务上表现不稳定，显示出其在处理表格数据和结构化相关性方面的不足。
• 检索增强生成 (RAG) 的效果：
  • 效果有限且不一致：RAG 在某些情况下（如利用相似试验的历史结果）能提升性能，但在其他情况下（如引入不相关的临床前数据）会损害性能。模型难以准确推理相似试验与目标试验之间的细微差异。
• 智能体 (Agent) 搜索的表现：
  • 双刃剑：Agent 系统（具备自主搜索能力）计算成本高昂（单次运行成本>$1000），且结果波动大。
  • 发现意外信息：Agent 有时能发现非传统的信息源（如患者博客、特定网站），从而获得关键证据，但在 Winter 2025 上表现不如基线，在 Summer 2025 上部分指标有显著提升。
• 污染对评估的影响：
  • 实验显示，知识截止日期晚于基准测试截止日期的模型（如 Opus 4.5 在 Winter 2025 上）表现异常优异，而在 Summer 2025（无污染）上表现下降。这有力地证明了动态、无污染的基准测试对于公平评估 AI 预测能力是必要的。

5. 意义与未来展望 (Significance)

• 推动 AI 预测能力：CT Open 揭示了当前 LLM 在真实世界高难度预测任务上的差距，为提升 AI 的推理和预测能力提供了明确的评估标准。
• 指导药物研发：准确的预测可以帮助制药公司优化临床试验设计，减少失败试验，降低研发成本。
• 方法论启示：研究表明，结合传统 ML 的结构化数据处理能力与 LLM 的推理/检索能力，可能是解决此类问题的有效路径。
• 社区中心：CT Open 将成为连接 AI 研究者、临床医生和制药行业的枢纽，推动对真实世界事件预测的持续研究。

总结：CT Open 通过构建一个严格去污染、动态更新的评估环境，不仅揭示了当前 AI 模型在临床试验预测上的真实水平（传统 ML 依然强劲，LLM 仍有提升空间），也为未来开发更可靠的科学预测系统奠定了坚实的基础。