Large Language Models to Label CT Radiology Reports for Incidental Findings Found in Lung Cancer Screening: A Comparative Analysis

技术摘要：利用大语言模型为肺癌筛查中的偶然发现标注 CT 放射学报告

问题陈述
欧盟实施肺癌筛查（LCS）计划面临着放射科医生解读大量低剂量计算机断层扫描（LDCT）影像的工作量挑战。除了肺癌检测外，这些扫描经常揭示特定的偶然发现（SIF），包括主动脉瓣疾病、支气管扩张、实变、冠状动脉钙化、肺气肿、间质性肺异常（ILA）、纵隔淋巴结异常、纵隔肿块和甲状腺异常。虽然人工智能（AI）在检测肺结节方面已取得进展，但针对 SIF 的算法仍处于早期开发阶段。一个主要的瓶颈是训练此类模型所需的带有注释的大型数据集匮乏。现有的数据集（如国家肺筛查试验，NLST）缺乏全面的 SIF 注释。虽然临床放射学报告提供了丰富的“弱监督”信息来源，但传统的基于关键词的搜索方法无法捕捉医学细微差别、否定表达和术语变化。此外，尽管大语言模型（LLM）展现出潜力，但目前仍缺乏验证过的策略来使用 LLM 对 LCS 报告中的 SIF 进行标注，特别是关于不同提示技术（例如，思维链，Chain-of-Thought）的有效性，以及轻量级、保护隐私的开源模型与商业闭源模型相比的表现。

研究方法
本回顾性研究评估了使用 LLM 自动标注荷兰放射学报告中九种 SIF 存在或不存在情况的可行性和最优策略。

• 数据集： 研究使用了来自一家荷兰学术医院的 300 份胸腹部 CT 报告（收集于 2003 年至 2020 年间）。通过选择 2016–2017 年间的 200 份报告和 1997–2021 年间范围内的 100 份报告来构建数据集，以确保多样性。所有报告均已进行去标识化处理。
• 参考标准： 一位拥有 32 年经验的放射科医生手动标注了九种 SIF，作为地面真值（ground truth）。
• 评估的模型：
  • 商业模型： GPT-5 和 GPT-4-Turbo（通过 OpenAI API）。
  • 开源模型： Llama-3.1-8B-INST 和 MedGemma-4B-IT（本地部署）。
  • 基准模型： 基于关键词的搜索方法（正则表达式）。
• 提示策略： 为每个模型测试了四种不同的策略：
  1. V1： 通用提示，仅要求标注所有九种 SIF，不提供具体的判定标准说明。
  2. V2： 针对每种 SIF 的特定提示，包含来自欧洲放射学会声明的判定标准。
  3. V3： 与 V2 相同，但加入了思维链（CoT）推理。
  4. V4： 与 V3 相同，但加入了少样本示例（few-shot examples，即包含报告、推理过程和输出的三组示例）。
• 评估指标： 主要使用 Cohen's Kappa ($\kappa$) 来衡量一致性，并通过 Landis 和 Koch (1977) 的分类进行解释（从轻微到几乎完美）。次要指标包括敏感度、特异度和 F1 分数。所有指标均通过自助法（bootstrapping）计算了 95% 置信区间。

关键结果

• 整体表现： LLM 在大多数 SIF 上与放射科医生达到了中度到几乎完美的共识，验证了其用于自动化标注的效用。然而，没有任何一种单一的模型-提示组合对所有九种发现都是最优的。
• 模型表现：
  • GPT-5 在七种 SIF（包括 AVD、支气管扩张、实变、CAC、肺气肿、MLN 和 TA）上达到了实质性或几乎完美的共识。
  • MedGemma-4B-IT（开源模型）在大多数 SIF 上表现出实质性或更高的共识，并且在间质性肺异常（ILA）方面的表现显著优于表现最好的商业模型 ($\kappa = 0.48$ vs. $0.46$)。
  • Llama-3.1-8B-INST 的表现通常低于商业模型和 MedGemma。
  • 关键词搜索 仅在纵隔肿块（MM）方面表现最好，这可能是由于该特定发现的语言变异性较低，但由于处理否定和上下文的能力较差，其表现普遍低于 LLM。
• 提示策略： 与预期相反，思维链（CoT）提示（V3 和 V4）通常会导致性能较非 CoT 策略（V1 和 V2）下降。最高的共识值主要出现在 V1 或 V2 中。加入少样本示例（V4）并未提高共识度，在某些情况下甚至降低了性能，这可能是由于模型对指令分配的注意力减少，或者过度关注了较长提示词中的无关部分。
• 错误分析： 不一致通常源于模型误解了上下文（例如，根据主动脉弓的引用来标注 AVD）或通过 CoT “过度思考”，从而导致产生荒谬的理由。

意义与主张
作者得出结论，LLM 是用于“弱标注”放射学报告以扩展未来 SIF 检测算法训练数据的可行工具。研究强调了以下几点：

1. 没有通用策略： 不存在适用于所有 SIF 的单一最优模型或提示词；必须根据特定的发现进行定制化选择。
2. 提示工程： 对于这项特定任务，简洁的非 CoT 提示优于 CoT 或 few-shot 方法。
3. 开源模型的可行性： 轻量级开源模型（特别是 MedGemma-4B-IT）可以实现与更重的商业模型相当甚至更高的性能，为本地部署提供了一种保护隐私且具有成本效益的选择。
4. 建议： 作者建议未来的弱监督标注流程应从简洁的非 CoT 提示开始，并在对隐私要求极高的场景下，利用轻量级开源模型。他们强调，在进行大规模部署之前，应针对每种特定的发现，根据专家标注的数据集对模型和提示词的选择进行验证。

局限性
研究承认存在若干限制：由于数据集规模较小（300 份报告），导致对于纵隔肿块等罕见发现的案例极少，限制了统计确定性；使用单一放射科医生作为参考标准，无法评估读者间的差异性；研究受限于来自单一中心的荷兰语报告；此外，由于 LLM 的快速演进，这些结果可能无法反映未来的模型能力。由于本研究具有探索性质，因此未进行模型间的统计显著性检验。