技术摘要：DALPHIN 基准测试数字病理学 AI 副驾驶

问题陈述

具备视觉问答（VQA）能力的基座模型的出现，为数字病理学带来了变革性的机遇，有望协助病理学家进行常规诊断。然而，这些视觉 - 语言模型（VLM）的快速发展迫切需要独立、稳健的基准测试，以评估其临床效用和局限性。现有的基准测试面临重大障碍：

• 数据泄露：公开可用的数据集（例如 PathVQA）存在测试数据渗入模型训练集的风险，导致性能指标虚高。
• 缺乏可复现性：部分基准测试（例如 PathQABench）依赖私有子集，阻碍了结果的复现或新模型的基准测试。
• 范围有限：许多研究缺乏针对不同病理学家专业水平的比较，或未能涵盖病理亚专科、医疗机构和染色方案的多样性。
• 临床背景：病理学中的诊断解释受观察者间变异性的影响，但很少有基准测试将模型性能与不同技能水平的人类专家进行背景化对比。

迫切需要建立一个多中心、开放的基准测试，通过隔离真实答案以防止泄露，同时支持针对多样化人类基线的本地和在线 AI 副驾驶进行评估。

方法论

DALPHIN 基准测试

作者推出了DALPHIN，这是首个针对数字病理学 AI 副驾驶的多中心开放基准测试。

• 数据集构成：该基准测试包含来自六个国家六家国际医疗机构收集的300 个病例（1,236 张组织学图像）。它涵盖了14 个病理亚专科（包括泌尿生殖、胃肠道、软组织、乳腺、胸部、肾脏病理学等）中的130 种诊断，涵盖肿瘤性、非肿瘤性及罕见实体。
• 图像格式：为模拟病理学家的工作流程，病例包含低分辨率的全切片图像（WSI）概览，以及从苏木精 - 伊红（H&E）或过碘酸 - 雪夫（PAS）染色玻片中提取的更高分辨率感兴趣区域（ROI）。
• 问题设计：每个病例包含多达六个问题：
  1. 病例导向问题：组织识别（$Q_{tissue}$）、肿瘤状态（$Q_{neoplasm}$）和肿瘤行为（$Q_{behavior}$）。
  2. 高级问题：自由回答诊断（$Q_{diagnosis}$）、特定病例的选择题（$Q_{mc}$）和特定病例的自由回答题（$Q_{open}$）。
• 真实答案：参考答案由参与病例的病理学家提供，他们可访问完整的 WSI、临床背景和辅助检查。这些答案被隔离，仅可通过安全评估平台（Grand Challenge）间接访问，以防止泄露。

评估协议

• 评估模型：本研究评估了两个通用视觉 - 语言模型（GPT-5、Gemini 2.5 Pro）和一个病理学专用视觉 - 语言模型（PathChat+）。
• 生成场景：模型在两种场景下进行了测试：
  1. 上下文（顺序）：模型按病例顺序回答问题，保留先前上下文（模拟诊断工作流程）。
  2. 独立：每个问题被视为独立查询，无先前上下文。
• 人类基线（读者研究）：对来自 10 个国家的31 名病理学家（24 名持证专家，7 名住院医师）进行了读者研究。参与者被分层为：
  • 亚专科专家：在特定亚专科拥有超过 10 年经验。
  • 半专家：在该亚专科从事常规工作但经验少于 10 年。
  • 非专家：住院医师或不常规从事该特定亚专科工作的病理学家。
  • 注：由于资源限制，并非所有 300 个病例都由所有专业水平的人员审阅。数据集在嵌套子集中进行分析：$DALPHIN_{full}$（300 个病例，仅模型）、$DALPHIN_{reader}$（115 个病例，每例 1 名专家 +3 名非专家）和$DALPHIN_{semi}$（60 个病例，增加 2 名半专家）。

指标

• 分类任务（$Q_{tissue}, Q_{neoplasm}, Q_{behavior}, Q_{mc}$）：使用准确率、F1 分数、马修斯相关系数（MCC）、精确率、召回率、特异性和科恩$\kappa$系数进行评估。
• 自由回答任务（$Q_{diagnosis}, Q_{open}$）：使用传统 NLP 指标（BLEU-1、ROUGE-L、METEOR、CIDEr）和语义相似度指标（BERTScore、BioBERT 相似度）进行评估。
• 统计分析：差异使用双侧配对置换检验（$n=1,000$）进行测试，并采用自助法计算置信区间。

主要结果

1. 器官识别（$Q_{tissue}$）

• 模型性能：PathChat 和 Gemini 在器官识别方面显著优于 GPT-5。PathChat 得分最高，其次是 Gemini。
• 人类对比：在读者子集中，专家病理学家显著优于所有三种 VLM。PathChat 和 Gemini 的表现与未专家病理学家相当，而 GPT-5 的得分显著低于所有人类专业水平。
• 亚专科差异：性能因领域而异；所有模型对皮肤的识别度都很好，而软组织最具挑战性。PathChat 经常省略软组织病例的组织预测，表明“无残留正常组织”。

2. 肿瘤状态和行为（$Q_{neoplasm}, Q_{behavior}$）

• 肿瘤状态：PathChat 在总体分类（F1 和 MCC）方面优于两种通用模型。在读者研究中，PathChat 的性能与专家和未专家在统计上无显著差异。
• 偏差分析：
  • Gemini表现出以敏感性为导向的偏差，倾向于过度诊断肿瘤（高召回率，较低的特异性）。
  • GPT-5表现出保守偏差，倾向于漏诊肿瘤（高特异性，较低的召回率）。
  • PathChat表现出平衡的性能，其召回率接近专家水平，精确率与未专家相当。
• 行为分类：PathChat 再次优于通用模型。混淆矩阵显示，VLM 更倾向于将良性和恶性病变相互混淆，而人类病理学家更频繁地将其误分类为“原位”或“不确定”。

3. 诊断推理（$Q_{diagnosis}$）

• 性能：PathChat 在所有 NLP 和语义相似度指标上显著优于 GPT-5 和 Gemini，接近专家病理学家的表现。
• 泛化能力：PathChat 相对于通用模型的优势在不同诊断难度（基础、广泛、深入）和癌症发病率（常见与罕见）中保持一致。
• 人类对比：在读者子集中，专家在广泛和深入诊断以及罕见癌症方面略优于 PathChat，而通用模型在基础诊断方面的表现低于未专家水平。

4. 特定病例问题（$Q_{mc}, Q_{open}$）

• 选择题（$Q_{mc}$）：所有 VLM 的准确率相似（74–78%），彼此之间无显著差异。专家优于所有模型。
• 自由回答（$Q_{open}$）：在完整数据集中，Gemini 在临床类别和特定亚专科（泌尿生殖、乳腺、胸部）方面表现出优于 PathChat 和 GPT-5 的性能优势。然而，在读者子集中，模型与人类专业水平之间的差异微乎其微。

5. 上下文生成与独立生成

• 权衡：大多数指标显示，上下文场景与独立场景之间无显著差异。
• 错误传播：PathChat 在肿瘤状态和行为任务的上下文场景中表现显著更好。相反，通用模型在独立场景下的选择题准确率更高，这表明先前上下文有时可能会为这些模型引入锚定效应或错误传播。

意义与主张

本文主张，DALPHIN通过解决数据泄露和缺乏可复现性等关键问题，确立了评估数字病理学 AI 副驾驶的新标准。

• 稳健的基准测试：通过隔离真实答案并使用间接评估平台，DALPHIN 能够在不损害数据集完整性的情况下，对快速演变的模型进行持续、长期的评估。
• 临床相关性：包含多样化的人类基线（专家、半专家、非专家）为模型性能提供了可临床解读的背景，突显出虽然病理专用模型（PathChat）在特定任务中可接近专家水平，但在罕见癌症和复杂推理方面仍存在显著差距。
• 模型行为：该研究揭示了模型之间独特的行为模式（例如 Gemini 的敏感性与 GPT 的保守性），这对于理解临床部署中的潜在风险至关重要。
• 开放科学：发布图像、问题和评估代码促进了透明度，并允许社区将未来模型与一致的多中心标准进行基准测试。

作者总结道，虽然 AI 副驾驶展现出前景，但其性能高度依赖于任务，且没有任何单一指标能完全捕捉其临床效用。该基准测试作为推动开发更可靠、基于临床的 AI 助手的工具。