Merlin: A Computed Tomography Vision-Language Foundation Model and Dataset

本文提出了名为 Merlin 的三维医学视觉 - 语言基础模型，该模型利用包含超过 1.5 万例 CT 扫描的大规模临床数据集进行无标注多阶段预训练，在诊断、预后及报告生成等 752 项任务中展现出超越现有二维模型和专用模型的卓越泛化能力与性能。

要点

这篇论文介绍了一个名为 Merlin（梅林） 的人工智能模型，你可以把它想象成一位拥有“透视眼”和“读心术”的超级放射科医生助手。

为了让你更容易理解，我们用一些生活中的比喻来拆解这项技术：

1. 背景：放射科医生的“苦差事”

想象一下，美国每年要做超过 8.5 亿次 CT 扫描（就像给身体拍 3D 照片）。其中，腹部 CT（检查肚子）占了很大比例。

• 现状：一张腹部 CT 扫描就像一本厚厚的书，包含 300 多页（切片），每一页都有复杂的器官结构。放射科医生需要一页页翻过，花 20 分钟仔细检查，寻找微小的异常（比如早期的肿瘤或炎症）。
• 问题：医生太累了，而且人手不足。未来的医生缺口会越来越大，就像图书馆管理员太少，而书却越来越多。
• 旧 AI 的局限：以前的 AI 就像是一个只看过单页照片的实习生。它只能看 CT 的某一张切片（2D 图像），而且只能看很短的报告。它很难理解整本“书”（3D 体积）的全貌，也很难把图像和复杂的文字报告联系起来。

2. Merlin 是谁？（核心创新）

Merlin 是一个3D 视觉 - 语言基础模型。

• 3D 透视眼：它不像以前的 AI 那样一页页看，而是能一次性“吞下”整个 3D 的 CT 扫描数据。就像它不仅能看单张照片，还能直接看整个立体的身体模型，理解器官在空间中的真实关系。
• 读心术（多模态学习）：它不仅看图像，还同时阅读电子病历（EHR）（比如诊断代码）和放射科报告（医生写的文字）。
  • 比喻：以前的 AI 是“看图说话”，Merlin 是“看图 + 读病历 + 写报告”。它通过把图像和文字对应起来学习，就像小孩子通过看图片并听大人讲解来认识世界一样。

3. Merlin 是怎么“上学”的？（训练数据）

Merlin 没有像以前那样需要人工一个个标注（比如让人工在图上画圈说“这是肿瘤”），那样太贵太慢了。

• 自学成才：研究人员利用了医院里现成的“宝藏”：
  • 1.5 万+ 次 CT 扫描（包含 600 多万张图像）。
  • 180 万+ 个诊断代码（像病历上的标签）。
  • 600 万+ 个文字词汇（医生写的报告）。
• 学习方法：它通过一种“连连看”的游戏来学习。它把 CT 图像和对应的文字报告配对，试图理解“这张图”对应“这段文字”。如果配对了，就给它奖励；配错了，就让它修正。
• 资源友好：最厉害的是，这样一个强大的模型，竟然只需要一张普通的显卡（GPU） 训练 160 小时就能搞定。这意味着普通医院也能训练自己的 AI，而不需要像谷歌或微软那样拥有超级计算机集群。

4. Merlin 能做什么？（超能力）

论文测试了 Merlin 在 6 大类、752 个具体任务上的表现，它就像一个全能助手：

• 零样本分类（Zero-shot）：
  • 比喻：就像你教它看过“苹果”和“香蕉”的照片，然后给它看一个从未见过的“梨”，它能猜出这是水果。
  • 表现：即使没有专门训练过某种病，Merlin 也能根据文字提示（比如“有没有腹水？”），准确判断 CT 里有没有这种病。在 30 种常见腹部疾病的检测中，它的准确率远超旧模型。
• 预测未来疾病：
  • 比喻：就像看一个人的体检报告，能预测他未来 5 年会不会得糖尿病或心脏病。
  • 表现：Merlin 能根据现在的 CT 扫描，预测患者 5 年内患 6 种慢性病（如肾病、心脏病）的风险。
• 写报告：
  • 比喻：医生看片子，Merlin 在旁边帮忙起草初稿。
  • 表现：它能自动生成放射科报告，描述肝脏、胆囊等器官是否正常。虽然偶尔会漏掉一些小细节，但整体结构非常专业。
• 3D 分割（画地图）：
  • 比喻：它能在 CT 图像里把肝脏、肾脏、脾脏等 20 个器官像切蛋糕一样精准地“抠”出来，画出边界。
  • 表现：在数据很少的情况下（比如只有 10% 的标注数据），它的表现比专门训练的模型还要好。
• 跨模态检索：
  • 比喻：就像在图书馆里，你输入“肺积水”，它不仅能找到相关的文字报告，还能直接找到所有有“肺积水”特征的 CT 片子。

5. 为什么它这么强？（关键发现）

研究人员做了很多实验（就像做科学对照实验），发现 Merlin 成功的秘诀：

1. 3D 比 2D 好：一次性看整个 3D 体积，比把 3D 切成 2D 片来看要聪明得多。
2. 图文结合比只看图好：同时学习图像和文字（语言监督），比只看图像（自监督）学得更透彻。
3. 数据拆分很重要：把长报告按器官（如“肝脏部分”、“肾脏部分”）拆开训练，能让它更精准地理解局部特征。
4. 通用性强：Merlin 虽然只在腹部CT 上训练过，但当它去测试胸部CT 时，表现依然吊打那些专门在胸部 CT 上训练的模型。这说明它学到了通用的医学规律，而不仅仅是死记硬背。

6. 总结与意义

Merlin 就像是为医疗 AI 打造的一个“通用大脑”。

• 对医生：它是得力的助手，能减轻工作负担，减少漏诊，甚至帮医生写报告初稿。
• 对医院：它不需要昂贵的超级计算机，普通医院也能训练自己的专属模型。
• 对社会：它利用现有的医疗数据，挖掘出新的健康洞察（比如早期发现疾病标志物），让未来的医疗更精准、更普惠。

这篇论文不仅发布了一个强大的模型，还开源了代码和数据，邀请大家一起加入这个“医疗 AI 革命”，让技术真正服务于人类健康。

技术摘要

这是一份关于 Merlin 论文的详细技术总结。Merlin 是一个专为腹部 CT 扫描设计的 3D 视觉 - 语言基础模型（Vision-Language Foundation Model, VLM）。

1. 研究背景与问题 (Problem)

• 临床需求与瓶颈：美国每年进行超过 8500 万次 CT 扫描，其中约四分之一针对腹部。腹部 CT 通常包含数百个切片和复杂的解剖结构，解读耗时（平均约 20 分钟/例）。然而，放射科医生短缺日益严重，且现有 AI 模型多为单模态（仅图像）或仅针对特定任务，缺乏通用性。
• 现有技术的局限性：
  • 2D 主导：现有的医学视觉 - 语言模型（VLMs）大多基于 2D 图像（如 X 光），而 CT 本质上是 3D 体积数据。将 2D 模型简单堆叠或切片处理无法有效捕捉 3D 解剖结构的内在关联。
  • 数据标注成本高：传统监督学习依赖昂贵的人工标注，限制了模型在广泛任务上的泛化能力。
  • 监督信号单一：现有方法通常仅利用影像数据或仅利用报告，未能充分利用临床环境中丰富的结构化数据（如 EHR 诊断代码）和非结构化数据（如放射学报告）。
  • 缺乏基准：缺乏针对 3D 医学 VLM 在多样化下游任务上的系统性评估基准。

2. 方法论 (Methodology)

Merlin 旨在通过利用医院现有的多模态数据，在无需额外人工标注的情况下训练一个强大的 3D 基础模型。

2.1 数据集构建

• 数据来源：来自学术医疗中心的回顾性数据，包含 15,331 次 腹部 CT 扫描（训练集），对应 638 万张 2D 切片、183 万 个 EHR 诊断代码（ICD-9/10）和 603 万 个 Token 的放射学报告。
• 数据对齐：
  • 结构化数据：将 ICD 代码映射为 PheWAS 表型（Phenotypes），作为弱监督信号。
  • 非结构化数据：提取放射学报告中的“发现（Findings）”部分。为了更精细的对比学习，报告被按解剖部位（如肝脏、肾脏、胸腔等）拆分，并在训练中与完整报告交替使用。
• 数据清洗：去除了所有个人健康信息（PHI），确保隐私安全。

2.2 模型架构与训练策略

• 架构设计：
  • 图像编码器：采用 I3D (Inflated 3D) ResNet152。利用 2D ImageNet 预训练权重，将其“膨胀”到 3D 空间，以处理整个 3D 体素数据。
  • 文本编码器：采用 Clinical Longformer，因其支持长上下文（4096 tokens），能够处理长篇幅的放射学报告（平均长度约 394 tokens，部分超过 512 tokens）。
• 训练目标：
  • 多任务学习 (Multi-Task Learning)：同时利用 EHR 表型和放射学报告进行监督。
    • EHR 监督：使用二元交叉熵损失（Binary Cross-Entropy Loss）预测患者是否患有特定表型。
    • 报告监督：使用 InfoNCE 损失 进行对比学习，对齐 CT 图像与放射学报告（Findings 部分）的嵌入空间。
  • 训练策略：支持分阶段训练（先 EHR 后报告）或多任务联合训练。实验表明，联合训练效果最佳。
• 资源效率：整个模型仅使用 单张 NVIDIA A6000 GPU 训练约 160 小时，证明了在计算资源受限的医疗机构中训练基础模型的可行性。

3. 关键贡献 (Key Contributions)

1. 首个大规模 3D 腹部 CT 视觉 - 语言基础模型：Merlin 能够一次性处理整个 3D CT 体积，而非逐切片处理，并融合了结构化（EHR）和非结构化（报告）数据。
2. 全面的评估基准：在 6 类任务 和 752 个独立任务 上进行了评估，涵盖：
   • 零样本（Zero-shot）任务：无需微调即可执行，包括 31 种影像发现分类、692 种表型分类、跨模态检索（图像到报告/报告到图像）。
   • 微调（Adapted）任务：包括 5 年慢性病预测、放射学报告生成、20 种器官的 3D 语义分割。
3. 资源友好型训练：证明了在单 GPU 上利用现有临床数据训练高性能基础模型的可能性，降低了医疗 AI 的门槛。
4. 开源生态：发布了训练好的模型、代码以及经过严格审查的 Merlin 腹部 CT 数据集。
5. 数据缩放定律：推导了数据缩放定律，量化了训练数据量与下游任务性能之间的关系，为未来模型扩展提供了指导。

4. 主要结果 (Results)

4.1 零样本性能 (Zero-Shot Performance)

• 发现分类：在内部测试集上，Merlin 的平均 F1 得分为 0.741，显著优于现有的 2D VLM（如 BioMedCLIP, OpenCLIP）及其 2D 到 3D 的扩展版本。在外部数据集上，F1 得分为 0.647，表现出极强的泛化能力。
• 表型分类：在 692 种表型预测任务中，平均 AUROC 达到 0.812，其中 37% 的表型 AUROC > 0.85。
• 跨模态检索：在图像到报告（Findings）的检索任务中，Merlin 在 64 个候选池中的 Recall@1 达到 0.696，远超基线模型。即使在未见过的“印象（Impressions）”部分（分布外文本），表现依然稳健。

4.2 微调任务性能 (Adapted Tasks)

• 5 年疾病预测：在预测 6 种慢性病（如 CKD、糖尿病、心血管疾病等）的 5 年发病风险任务中，Merlin 的 AUROC 达到 0.757。即使在仅使用 10% 标签的情况下，其性能仍优于使用 100% 标签的 ImageNet 预训练模型。
• 放射学报告生成：在多个自动评估指标（RadGraph-F1, BERT Score, ROUGE-2, BLEU）上，Merlin 生成的报告质量均优于现有的多模态生成模型 RadFM。
• 3D 语义分割：在 20 种器官的分割任务中，Merlin 初始化在 10% 数据 设置下，平均 Dice 分数比 nnUNet 高出 4.7%，证明了预训练在少样本场景下的巨大优势。

4.3 外部验证与泛化性

• 在 44,098 张 来自三个外部站点（包括腹部和胸部 CT）的扫描数据上进行了验证。
• Merlin 在跨站点、跨解剖部位（从腹部训练泛化到胸部）的任务中均表现出最佳性能，证明了其对分布偏移（如不同扫描仪、不同切片厚度、不同报告习惯）的鲁棒性。

4.4 消融实验结论

• 3D 优于 2D：全 3D 处理显著优于 2D 切片堆叠或 2D 到 3D 提升（Lifted）模型。
• 多模态优于单模态：结合 EHR 和报告的视觉 - 语言预训练优于仅使用图像（Vision-only）或仅使用报告的预训练。
• 报告拆分的重要性：将报告按解剖部位拆分进行对比学习，显著提升了零样本分类性能。
• 初始化：I3D 初始化（基于 ImageNet）比随机初始化或纯 SSL 预训练效果更好。

5. 意义与影响 (Significance)

• 缓解放射科医生负担：Merlin 可作为 AI 助手，辅助生成初步报告、标记潜在发现、进行器官分割，从而加速工作流。
• 机会性筛查与风险分层：模型能够从常规腹部 CT 中提取生物标志物，预测未来 5 年的慢性病风险，实现“机会性”诊断。
• 降低医疗错误：通过自动匹配 ICD 编码，减少计费错误和索赔被拒的风险。
• 推动医疗 AI 民主化：证明了无需海量算力即可训练高质量基础模型，使得计算资源受限的医院和研究机构也能开发自己的专用模型。
• 未来方向：为构建多解剖部位、多模态的下一代放射学基础模型奠定了坚实基础，并指出了数据规模、图像分辨率和批大小优化的未来改进方向。

总结：Merlin 代表了医学影像 AI 从“单任务、单模态、2D"向“通用、多模态、3D"的重要转变，通过高效利用临床现有数据，在广泛的诊断、预后和质控任务上展现了超越现有基线的性能。