论文技术总结：《Pretext Matters: An Empirical Study of SSL Methods in Medical Imaging》

1. 研究背景与问题 (Problem)

自监督学习（SSL）已成为在大规模无标签医学图像数据上训练基础模型的主导范式。现有的 SSL 方法主要基于三种不同的前置任务（Pretext Tasks）：

1. 像素重建（Pixel Reconstruction）：如 MAE，通过掩码重建像素。
2. 联合嵌入架构（JEAs）：如 DINO 系列，通过数据增强下的视图不变性（View-invariance）进行知识蒸馏。
3. 联合嵌入预测架构（JEPAs）：如 I-JEPA，在潜在空间（Latent Space）中预测被掩码区域的表示，而非原始像素。

尽管这些方法在自然图像领域已有广泛研究，但在医学成像领域，关于哪种前置任务最适合特定的成像模态（Modality）和临床任务，尚缺乏系统性的实证研究。医学图像具有独特的噪声特征（如超声的散斑噪声、病理的组织染色变异）和空间结构特征（如超声中的宏观解剖结构 vs. 病理中的微观细胞形态）。

核心问题：前置任务的选择如何影响医学图像中所学表示（Representations）的空间结构？不同的 SSL 目标是否更适配特定的医学成像模态（如超声 vs. 组织病理学）？

2. 方法论 (Methodology)

作者选取了三种具有代表性的现代 SSL 模型进行对比研究：

• MAE (Masked Autoencoders)：基于像素重建。
• DINOv3：基于联合嵌入架构（JEAs），利用视图不变性和掩码图像建模（MIM）。
• I-JEPA (Image Joint Embedding Predictive Architecture)：基于联合嵌入预测架构，在潜在空间预测掩码块。

实验设置

• 预训练数据集：
  • 超声（Ultrasound）：470 万帧图像，涵盖心脏、甲状腺、肝脏、肾脏等多种解剖结构，包含视频、3D 体积和静态帧。
  • 组织病理学（Histopathology）：来自 TCGA 的 9498 张全切片图像（WSI），提取了 500 万个 256x256 的图像块（Patch），涵盖 28 种癌症类型。
• 下游任务评估：
  • 超声：使用线性探测（Linear Probing）在 8 个分类任务上进行评估（包括器官识别、肿瘤恶性分类、脂肪肝检测等）。
  • 病理：使用基于注意力的多实例学习（ABMIL）在 5 个任务上评估（包括肺癌亚型、乳腺癌亚型、卵巢癌亚型、前列腺癌分级等）。
• 可视化与临床验证：
  • 使用注意力图（Attention Maps）、余弦相似度图（Cosine Similarity Maps）和 PCA 降维可视化所学特征空间。
  • 关键创新：邀请认证放射科医生和病理学家进行盲审，评估模型学到的特征是否具有临床意义和可解释性。

3. 主要贡献 (Key Contributions)

1. 首个系统性实证研究：首次系统性地比较了现代 SSL 目标在医学成像中的表现，分析了前置任务如何影响所学表示的空间结构。
2. 揭示了互补的视觉线索：发现不同的 SSL 目标编码了互补的视觉信息：
   • DINOv3 (JEA) 倾向于捕捉细粒度的局部结构（如细胞核、组织边界）。
   • I-JEPA (JEPA) 更好地保留了全局空间关系和宏观解剖结构的连续性。
3. 提出了临床指导框架：证明了下游性能取决于 SSL 目标与临床相关特征的空间分布是否对齐。为临床医生和研究人员选择 SSL 方法提供了实用指南。

4. 关键结果 (Key Results)

A. 超声成像 (Ultrasound)

• 任务表现：
  • I-JEPA 在需要理解宏观解剖结构和空间连续性的任务中表现优异。例如，在“脂肪肝（Fatty Liver）”检测任务中，I-JEPA 的 AUROC 高达 98.70%，显著优于 DINOv3 (86.66%)。在识别颈动脉和肺部超声时，I-JEPA 的 F1 分数也高出约 15%。
  • DINOv3 在依赖局部高对比度特征的任务中表现更好，如心脏四腔/两腔视图的识别。
• 特征分析：
  • I-JEPA 能够学习到连贯的解剖结构（如整个肝脏实质），其注意力图覆盖了整个器官，余弦相似度分析显示其能正确聚类连续的解剖区域（p < 10^-20）。
  • DINOv3 更关注高对比度的边界（如膈肌、肾脏边缘），但在低对比度的肝脏实质区域表现较弱。
  • MAE 表现最差，注意力分散，缺乏临床相关性。

B. 组织病理学 (Histopathology)

• 任务表现：
  • DINOv3 在所有 5 个下游病理分类任务中均取得最高性能（AUROC 和 F1 分数均领先）。例如，在肺癌亚型分类中，DINOv3 AUROC 为 91.4%，而 I-JEPA 仅为 54.8%。
  • I-JEPA 表现不佳，F1 分数极低（≤31.6%），表明其难以区分不同的细胞类别。
  • MAE 在部分任务（如 PANDA 前列腺分级）上表现尚可，但整体不如 DINOv3。
• 特征分析：
  • DINOv3 的注意力图能够精准定位细胞核、基底细胞、管腔细胞等微观结构。病理学家确认其学到的特征具有高度的生物学可解释性，能够区分不同的组织学特征（如染色质纹理）。
  • I-JEPA 的注意力图在病理图像中显得弥散且非特异性，主要关注组织与空白空间的粗粒度对比，无法捕捉精细的细胞形态。
  • MAE 的注意力图被描述为随机且充满噪声，未能捕捉到诊断相关的形态学特征。

5. 意义与结论 (Significance & Conclusion)

核心发现

“前置任务 matters"（前置任务至关重要）。没有一种通用的 SSL 方法适用于所有医学成像模态。选择 SSL 方法应基于临床相关信号的空间组织方式：

1. 当诊断信息编码在宏观结构和空间配置中时（如超声、CT 的器官定位）：

   • 推荐方法：JEPAs (如 I-JEPA)。
   • 原因：其预测目标鼓励模型学习结构连续性和空间关系，能够捕捉整个器官的纹理和上下文，忽略局部噪声。

2. 当诊断信息编码在细粒度纹理、局部特征或形态学变异中时（如组织病理学、细胞学）：

   • 推荐方法：JEAs (如 DINOv3)。
   • 原因：其视图不变性目标结合掩码建模，迫使模型学习判别性的局部特征（如细胞核形态），对微观结构高度敏感。

3. 像素重建方法 (如 MAE)：

   • 在医学成像中通常次优。由于医学图像常伴有高频率噪声（如超声散斑、染色不均），像素重建往往迫使模型将容量浪费在重建噪声上，而非学习高层语义。

实践建议

研究团队提出了一套框架，建议从业者在训练医学基础模型前，首先分析目标模态中临床相关信号的空间分布：

• 如果是全局结构主导（Global Structure），选择 JEPAs。
• 如果是局部细节主导（Local Details），选择 JEAs。
• 避免盲目使用单一范式，而应根据模态特性匹配前置任务。

局限性

• 目前仅使用了 ViT-small 模型，未来需验证在更大规模模型上的表现。
• 主要对比了超声和病理，未来需扩展至 CT、MRI 等其他模态。
• 病理学实验仅在 20x 放大倍数下进行，不同放大倍数下（如 10x 观察腺体结构）的最佳前置任务可能会发生变化。

总结：该论文通过严谨的实证研究和临床专家验证，打破了"SSL 方法通用”的迷思，为医学人工智能领域的基础模型构建提供了基于模态特性的科学选型依据。