Beyond Classification: Pathology Foundation Models as Detection Encoders for Mitotic Figures

技术摘要：超越分类：作为有丝分裂象检测编码器的病理基础模型

问题陈述
病理基础模型（FMs），如 UNI、Virchow 和 H-Optimus，通过在海量无标签组织病理学数据集上进行自监督学习，已在图像级和切片级分类任务中展现出强大的性能。然而，它们在密集目标检测任务中的效用尚不明确。具体而言，目前尚不清楚这些主要通过图像级自监督训练的基础模型的潜在空间（latent spaces）是否包含足够具有判别性且空间分辨率高的特征，以作为检测有丝分裂象（mitotic figures, MFs）的骨干网络（backbones）。MF 检测是肿瘤学中用于预后分层的一项关键任务，但它需要细粒度的空间定位，而非语义概括。此前的研究尝试将基础模型集成到细胞级流水线中（例如 CellViT++），结果表明，强大的分类表示并不自动转化为检测能力，其表现往往逊于从头开始训练的模型。本研究调查了冻结的基础模型骨干网络是否能够与完全端到端训练的卷积基准模型在 MF 检测任务中竞争。

方法论
作者在多领域 MIDOG++ 数据集和分布外（OOD）TUPAC16 数据集上，进行了一项系统性的评估，将冻结的病理基础模型与传统的卷积基准模型进行了对比。

• 骨干网络（Backbones）： 评估了六个基于 ViT 的基础模型作为严格冻结的特征提取器：UNI、UNI2-h、Virchow、Virchow2、H-Optimus-0 和 H-Optimus-1。这些模型与两个 ResNet-50 基准模型进行了比较：一个是完全端到端微调的，另一个是冻结的。
• 检测头（Detection Heads）： 每个骨干网络都配对了三种代表不同范式的不同检测架构：
  • 单阶段（Single-stage）：RetinaNet
  • 两阶段（Two-stage）：Faster R-CNN
  • 基于 Transformer 的集合预测（Set prediction）：Deformable DETR
• 架构适配（Architecture Adaptation）： 由于 ViT 骨干网络输出单尺度特征图，而检测器需要多尺度层次结构，因此在冻结的骨干网络与检测头之间插入了一个轻量级的特征金字塔颈部（Feature Pyramid Neck，基于 ViTDet 设计）。该颈部是冻结骨干网络配置中唯一的学习组件，负责将单尺度表示适配为多尺度密集预测。
• 训练协议： 所有模型均使用 MMDetection 框架进行训练，并采用相同的图像增强（翻转、仿射变换、染色抖动）和优化设置（AdamW、余弦/阶梯学习率调度）。评估指标包括微平均 F1 分数、精确率（precision）、召回率（recall）以及自由运行特征曲线下面积（FROC-AUC）。

关键结果
研究得出了以下关于 MIDOG++ 测试集和 TUPAC16 OOD 集的性能特征：

1. 冻结基础模型的竞争力： 最优的冻结基础模型配置（H-Optimus-0 搭配 RetinaNet）在 MIDOG++ 上实现了 0.7718 的 F1 分数，接近于完全端到端微调的 ResNet-50 基准模型（F1 为 0.7917）。值得注意的是，冻结的基础模型显著优于冻结的 ResNet-50 基准模型（最优 F1 为 0.7498），这表明其优势源于病理特异性的预训练，而非仅仅是冻结骨干网络这一行为本身。
2. 检测头的影响： 不同检测头的性能差异显著。RetinaNet 是最可靠的检测头，在 ResNet-50 基准、H-Optimus-0 和 Virchow 的表现中均取得了最高的 F1 分数。Faster R-CNN 和 Deformable DETR 的结果则随骨干网络的不同而表现出较大的波动。
3. 分布外（OOD）鲁棒性： 在 TUPAC16 数据集上，性能排序发生了逆转。最优的整体 F1 分数（0.7349）由冻结的基础模型（H-Optum-0 搭配 RetinaNet）获得，超过了表现最好的 ResNet-50 配置（0.7193）。这表明，在特定的检测设置下，冻结的基础模型特征可能比在源域上完全微调的卷积网络具有更强的鲁棒性。
4. 骨干网络排名： 在基础模型中，病理特异性的 H-Optimus 模型（0 和 1）普遍处于领先地位，紧随其后的是 Virchow 系列。UNI 和 UNI2-h 则表现稍逊。

意义与主张
本文得出结论，当前病理基础模型的冻结潜在空间具有足够的丰富性和空间分辨率，能够支持密集的有丝分裂象检测，而无需对骨干网络权重进行任何任务特定的适配。作者主张：

• 空间信息存在： 尽管这些模型仅通过图像级自监督进行训练，但它们编码了通过轻量级颈部和检测头即可恢复的、用于定位如有丝分裂象等小目标的空间信息。
• 鲁棒性： 在这种特定的检测设置下，冻结的基础模型展现出了超过完全微调基准模型的分布偏移鲁棒性。
• 设计启示： 研究强调，检测头和颈部的选择至关重要，其影响往往超过了特定基础模型之间的差异。

作者保持谨慎，指出这些结果表征了冻结表示中所包含的信息。他们建议，参数高效的微调（例如 LoRA）可能有望缩小与端到端训练模型之间的剩余差距，但这种适配是否能保留观察到的分布外鲁棒性仍是一个开放性问题。这项工作确立了基础模型作为密集病理检测任务中可行骨干网络的地位，将其应用范围从已建立的分类任务扩展到了检测领域。