Disease-Centric Vision-Language Pretraining with Hybrid Visual Encoding for 3D Computed Tomography

技术摘要：基于混合视觉编码的以疾病为中心的 3D 计算机断层扫描（CT）视觉-语言预训练

问题陈述
视觉-语言预训练（VLP）通过利用放射学报告作为丰富的文本监督，在医学 AI 领域展现出了巨大潜力。然而，现有方法在应用于 3D 计算机断层扫描（CT）成像时面临两个关键局限：

1. 视觉骨干网络效率低下： 大多数模型沿用了为 2D 自然图像设计的骨干网络。将 Vision Transformer (ViT) 通过体积分块（volumetric patchification）扩展到 3D CT 会产生极高的计算成本并牺牲空间分辨率，导致关键细节（如微小病灶）的丢失。相反，3D 卷积神经网络（CNN）虽然能很好地捕捉局部纹理，但缺乏与主流 VLM 架构的兼容性，阻碍了大规模预训练中跨模态先验知识的迁移。
2. 语义对齐粗粒度： 当前的方法依赖于全局图像-文本对比学习，忽略了特定病理发现与其文本描述之间的细粒度对应关系。即使是器官级对齐方法，也往往会将同一器官内的不同疾病（例如“肺不张”、“肺气肿”和“肺结节”）混淆为一个通用的“异常”标签，从而掩盖了疾病特异性的关联，并损害了诊断辨别力。

方法论
作者提出了 CT-DiagVLM，这是一个专注于高效表示、细粒度对齐和鲁棒推理协同设计的定制化 VLP 框架。该框架由三个核心组件组成：

1. CNN–ViT 混合视觉编码器：

   • 为了平衡局部细节捕捉与全局注意力，模型使用 3D CNN 骨干网络（具体为 3D ResNet-18）取代了标准的 ViT 分块嵌入模块。
   • 它采用了 **多尺度融合分块嵌入（MSF-PE）**机制。通过对四个 CNN 阶段的特征进行投影、通过三线性插值对齐并融合，以创建丰富的 Token 初始化。
   • 这些嵌入被输入到使用预训练 SigLIP-2 权重初始化的 ViT 编码器中。这种设计在保留全局注意力机制和跨模态先验的同时，能够高效捕捉多尺度局部解剖细节，而不会产生直接在高质量 3D 体积上进行自注意力的计算负担。
   • 一个 U-Net 式解码器用于预测器官掩码，这些掩码用于过滤 ViT Token，并通过与可学习器官查询（organ queries）的交叉注意力生成器官特异性的视觉嵌入。

2. 疾病级对比学习：

   • 该框架超越了器官级对齐，引入了一种解耦共存病理特征的机制。
   • 可学习查询 Token： 对于每个器官，一组可学习的查询向量代表了所有可能的状况（特定疾病 + 健康状态）。
   • 动态提取： 这些查询通过对完整放射学报告进行交叉注意力运算，动态地提取特定条件的文本语义，而无需进行显式的报告分解。
   • 对比目标： 模型将器官级视觉特征与这些疾病特异性文本嵌入进行对齐。它将视觉特征向同一 Batch 中存在的相同疾病的文本嵌入拉近，同时将其推离其他状况。这使得模型能够在真实标签和 LLM 生成的伪标签上进行训练。

3. 诊断感知提示策略：

   • 为了弥合预训练与零样本推理之间的差距，作者使用真实的临床短语取代了手工构建的二元提示（例如“CT 显示疾病 X”）。
   • 原型构建： 对于每种状况，系统会检索训练集中多样化的报告（受标签或伪标签引导），并将它们的状况特异性嵌入聚合为全局疾病原型。
   • 推理： 通过器官级视觉嵌入与这些聚合原型之间的余弦相似度来计算诊断得分，从而确保语义保真度并增强对措辞变化的鲁棒性。

核心贡献

• 混合架构： 一种 CNN-ViT 混合编码器，将多尺度 3D CNN 特征集成到预训练的 ViT 中，在实现 3D 体积高效处理的同时保持了 VLM 的兼容性。
• 细粒度对齐： 一种使用可学习查询 Token 的疾病级对比学习机制，用于从非结构化报告中提取并对齐特定的疾病语义，从而实现单个器官内多种病理的解耦。
• 鲁棒推理策略： 一种诊断感知提示策略，利用真实的临床语言和聚合原型来增强零样本诊断的可靠性，并缩小预训练与推理之间的差距。

实验结果
该模型在两个公开的胸部 CT 基准测试集上进行了评估：CT-RATE（内部测试）和 Rad-ChestCT（外部测试）。

• 标准基准测试： CT-DiagVLM 在 CT-RATE 上达到了 84.4% AUC，分别比之前的 SOTA 模型 (fVLM) 高出 5.1%，比 ViSD-Boost 高出 5.4%。在外部数据集 Rad-ChestCT 上，它达到了 75.4% AUC，比 fVLM 提升了 5.4%。
• 可扩展性（60 种疾病）： 使用 Qwen3-Max 生成 60 种不同状况的伪标签，模型展示了显著的可扩展性，相比基础模型的 75.8%，达到了 85.6% AUC（提升了 9.8%）。虽然由于模型采取了保守且具备噪声鲁棒性的决策边界导致敏感度略有下降，但特异性和 AUC 得到了实质性提升。
• 下游任务： 预训练模型在放射学报告生成方面表现出强大的迁移能力，在 CT-RATE 上的 F1 分数达到 45.5%，超越了现有方法。
• 消融实验： 实验证实，每个组件（混合编码器、疾病级损失和提示策略）都做出了独特且协同的贡献。单独使用混合编码器可带来 +1.0% AUC 的增益，而完整的框架则实现了总计 +5.1% 的提升。

意义
本文认为，所提出的协同设计策略对于将基础模型的潜力转化为有效的医学 VLP 至关重要。通过解决 3D 视觉骨干网络的低效问题以及不同疾病之间的语义混淆问题，CT-DiagVLM 证明了以疾病为中心的预训练可以实现最先进的性能和强大的泛化能力。作者声称，这项工作为开发能够以真实临床语言的细微差别进行准确诊断和推理的、具有前景的临床可用通用医学 AI 系统提供了方向。该方法强调了细粒度语义对齐的重要性，以及在缺乏密集人工标注的情况下，利用大语言模型进行可扩展、疾病特异性学习的价值。