💻 computer science

Benchmarking Deep Learning and Vision Foundation Models for Atypical vs. Normal Mitosis Classification with Cross-Dataset Evaluation

本文提出了一个针对乳腺癌中非典型与正常有丝分裂分类的深度学习和视觉基础模型的综合基准，证明了迁移学习和微调技术能有效解决域内及新引入的域外数据集上的分类挑战。

原作者： Sweta Banerjee, Viktoria Weiss, Taryn A. Donovan, Rutger H. J. Fick, Thomas Conrad, Jonas Ammeling, Nils Porsche, Robert Klopfleisch, Christopher Kaltenecker, Katharina Breininger, Marc Aubreville, Ch

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sweta Banerjee, Viktoria Weiss, Taryn A. Donovan, Rutger H. J. Fick, Thomas Conrad, Jonas Ammeling, Nils Porsche, Robert Klopfleisch, Christopher Kaltenecker, Katharina Breininger, Marc Aubreville, Christof A. Bertram

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，细胞分裂就像一位面包师揉捏面团，并将其分成两个完美、 identical 的面包。这就是正常的有丝分裂。但有时，面包师笨手笨脚，面团撕裂，或者分出的面包大小不均。这就是非典型有丝分裂。在癌症世界中，发现这些“笨手笨脚的面包师”是一个重要线索，表明肿瘤可能具有侵袭性和危险性。

然而，对于人类病理学家（那些观察显微镜玻片的医生）来说，发现这些“笨手笨脚的面包师”极其困难。它们很罕见，看起来与正常分裂非常相似，甚至专家也常常对所见内容意见不一。这就像试图在一堆不断变色的干草中，找到一根特定且略微弯曲的针。

本文是一场竞赛，旨在看看哪个计算机程序最擅长发现这些“笨手笨脚的面包师”。

参赛者：三种不同策略

研究人员组织了一场竞赛，让三种不同类型的“侦探”（AI 模型）来比拼谁能最好地解决这个难题：

“从零开始”的侦探（端到端模型）：这就像聘请一位聪明的实习生，并用一本特定的教科书从头开始教导他们。他们完全从提供的数据中学习细胞分裂的规则。
- 模型：EfficientNet、Vision Transformer (ViT) 和 Swin Transformer。
“专家图书管理员”（带线性探测的基础模型）：想象一位阅读过数百万本生物学书籍但从未被要求识别“笨手笨脚面包师”的图书管理员。你让他们看一张图片，只需画一条简单的线来回答“是”或“否”。他们利用其广泛的通用知识，但不改变他们的大脑；他们只是在顶部添加一个微小、简单的过滤器。
- 模型：大型预训练模型，如 UNI、Virchow 和 H-Optimus。
“专业学徒”（带 LoRA 的基础模型）：这是同一位图书管理员，但与其只画一条线，你给他们一本小型的专用笔记本（称为LoRA），让他们为这项工作写下具体规则。他们保留其广泛的通用知识，但只需学习足够的新技巧，就能成为识别“笨手笨脚面包师”的专家，而无需重写整个大脑。

试驾：三门不同的课程

为了看看谁真正最优秀，研究人员不仅让他们在所学的同份作业上测试，还给他们安排了三门不同的考试：

练习考试（AMi-Br）：这是用于训练的主要数据集。它包含数千张人类乳腺癌细胞图像。
“同城不同区”考试（AtNorM-Br）：这使用了来自不同来源（TCGA）的图像。这就像在相同类型的城市测试侦探，但街道标志和照明不同。
“异国他乡”考试（AtNorM-MD）：这是最难的测试。它不仅包括人类乳腺癌，还包括狗的肿瘤和其他人类癌症。这就像将侦探派往一个完全不同的国家，那里有不同的语言和习俗，看看他们是否仍能发现“笨手笨脚的面包师”。

结果：谁赢了？

1. “专业学徒”（LoRA）是明确的赢家。
当基础模型（图书管理员）获得那本小型专用笔记本（LoRA）时，它们表现非常出色。带有 LoRA 的Virchow2模型是冠军，在练习考试中取得了最高准确率。这证明，对庞大的通用 AI 进行微小、特定的调整是一种非常强大的策略。

2. “从零开始”的侦探是强有力的亚军。
从头开始训练的模型（端到端）表现非常好，特别是在“异国他乡”考试中。Swin Transformer在这方面表现最佳，表明有时，专门为这项工作训练的专职团队比通才更能应对新的、奇怪的情况。

3. “专家图书管理员”（线性探测）表现挣扎。
当图书管理员试图在没有专用笔记本（仅使用简单线条）的情况下完成工作时，他们的表现不佳。事实证明，如果没有一些额外的训练，他们广泛的通用知识不足以发现这些特定而微妙的错误。

主要启示

该论文得出结论，虽然识别这些异常细胞分裂是一项艰巨的工作，但AI 可以有效地做到这一点。

最重要的教训是，如何训练 AI 比仅仅拥有一个大型 AI 更重要。

仅仅要求一个大型预训练模型进行猜测（线性探测）是不够的。
为该大型模型提供一种微小、高效的方式来学习特定任务（LoRA）效果显著。
有时，在特定数据上从头开始训练模型仍然是一种非常有竞争力的策略。

研究人员还发布了所有数据和代码，基本上将“考题”和“答案”交给了科学界的其他人，以便每个人都能继续改进这些“侦探”。他们指出，虽然这些模型表现良好，但当“异国他乡”（不同的组织类型或扫描仪）差异过大时，它们仍然会遇到困难，这表明我们仍需要更多样化的数据，以使这些工具适用于各种情况。

以下是论文《通过跨数据集评估对非典型与正常有丝分裂进行分类的深度学习和视觉基础模型基准测试》的详细技术总结。

1. 问题陈述

本文解决了组织病理学中分类**非典型有丝分裂象（AMFs）与正常有丝分裂象（MFs）**的关键挑战。

临床意义： AMFs 代表异常细胞分裂，是肿瘤恶性程度和患者生存率的独立预后标志物。量化 AMFs 的比例对于评估肿瘤侵袭性至关重要。
挑战：
- 低 prevalence（罕见性）： 与正常 MFs 相比，AMFs 较为罕见，导致严重的类别不平衡。
- 形态学细微差别： 正常与非典型象之间的视觉差异往往很细微，且特征存在重叠。
- 标注变异性： 病理学家之间的评分者间一致性较低，使得生成真实标签（ground truth）变得困难。
- 领域偏移（Domain Shift）： 在特定数据集上训练的模型，由于染色和组织制备的差异，往往无法泛化到来自不同机构、扫描仪或物种的数据。
差距： 尽管深度学习改善了 MF 检测，但针对AMF 与正常 MF 二分类任务的基础模型（在大规模数据集上预训练的模型）仍缺乏标准化的基准测试和综合评估。

2. 方法论

2.1 数据集

作者引入并利用了三个不同的数据集以确保严格的评估：

AMi-Br（训练与域内测试）： 最大的数据集，包含来自人类乳腺癌的3,720 个 MFs（源自 TUPAC16 和 MIDOG21）。标注基于3 位专家的多数投票。
- 类别平衡： 约 22.4% 为非典型，约 77.6% 为正常。
AtNorM-Br（域外测试）： 包含来自 TCGA 乳腺癌队列的746 个 MFs。
- 标注： 单专家（经验极其丰富）。
- 目的： 测试在潜在标签偏差下对不同数据源（TCGA）的泛化能力。
AtNorM-MD（域外/多域测试）： 包含来自 MIDOG++ 数据集子集的2,107 个 MFs，涵盖六个领域（人类和犬类肿瘤，包括肺癌、淋巴瘤、黑色素瘤等）。
- 标注： 5 位专家多数投票。
- 目的： 测试跨物种和跨组织类型的泛化能力（显著的领域偏移）。

2.2 模型架构与策略

本研究基准测试了三种不同的学习策略：

A. 端到端微调基线：
- 三种架构（EfficientNetV2、Vision Transformer (ViT) 和 Swin Transformer）使用 ImageNet 权重从头开始，在 AMi-Br 数据集上进行训练。
- 对所有层进行全量微调。
B. 带线性探针的基础模型：
- 八个最先进的视觉基础模型（在数百万个组织病理学瓦片上使用自监督学习/DINOv2 预训练）：UNI, UNI2-h, Virchow, Virchow2, Prov-Gigapath, H-Optimus-0, H-Optimus-1, 和 H0-mini。
- 策略： 冻结骨干网络；仅在提取的嵌入层之上训练一个轻量级的线性分类器。
C. 带 LoRA（低秩适应）的基础模型：
- 相同的八个基础模型使用 LoRA（一种参数高效微调 PEFT 技术）进行适配。
- 策略： 冻结原始权重；在注意力层（Query, Key, Value）和 MLP 组件中注入小型的可训练低秩矩阵。这使得模型能够在最小计算成本下进行适配，同时保留其预训练知识。

2.3 实验设置

训练： 所有模型仅在 AMi-Br 数据集上进行训练。
验证： 采用 5 折交叉验证，并按患者级别分层以防止数据泄露。
指标： 平衡准确率（由于类别不平衡，作为主要指标）和 AUROC。
预处理： 图像调整大小至 224x224，标准增强（翻转、旋转、颜色抖动）以及特定于模型的归一化。

3. 主要贡献

新基准： 引入了两个新的保留数据集（AtNorM-Br 和 AtNorM-MD），专门用于评估 AMF 分类的跨数据集和跨域泛化能力。
综合基准测试： 首次大规模比较了端到端微调、线性探针和 LoRA 微调在特定任务（非典型与正常有丝分裂分类）中的表现。
代码与数据发布： 通过 GitHub 仓库公开所有代码、数据和训练好的模型，以促进未来研究。

4. 结果

性能总结（平衡准确率）

域内（AMi-Br）：
- 最佳模型： Virchow2 (LoRA) 达到了最高的平衡准确率 0.8135。
- 基线： Swin Transformer（端到端）在基线中表现最佳（0.8052），优于 EfficientNetV2 和 ViT。
- 线性探针： 仅使用线性探针的基础模型表现不佳（0.60–0.65），表明冻结的特征不足以应对此特定任务。
域外（AtNorM-Br）：
- 最佳模型： ViT（端到端） 以 0.7788 领先。
- LoRA 性能： Virchow (LoRA) 紧随其后（0.7696）。LoRA 模型始终优于其线性探针对应模型。
多域（AtNorM-MD）：
- 最佳模型： Swin Transformer（端到端） 达到 0.7723。
- LoRA 性能： Virchow (LoRA) 是表现最好的基础模型（0.7705）。
- 泛化差距： 所有模型相较于 AMi-Br 均表现出性能下降，突显了领域偏移（不同物种/组织）带来的困难。

统计显著性

LoRA 与线性探针： LoRA 在所有数据集上显著优于线性探针（ $p \ll 0.001$ ）。
基线与线性探针： 端到端基线显著优于线性探针（ $p \ll 0.0001$ ）。
基线与 LoRA： 在大多数情况下，全量端到端基线与 LoRA 微调基础模型之间的差异无统计学显著性（例如，AMi-Br 的 $p=0.73$ ），这表明 LoRA 使基础模型能够达到从头训练模型的性能水平，但在某些跨域场景中，全量微调仍保持微弱优势。

5. 意义与讨论

适配的有效性： 研究表明，虽然基础模型具备可泛化的特征，但微调对于 AMF 分类这一细致任务至关重要。线性探针不足，但LoRA提供了一种高效的替代全量微调的方案，以更新的更少参数实现了可比的性能。
领域偏移挑战： 结果证实，领域偏移（不同的扫描仪、染色方案和物种）会显著降低性能。包含多域数据（AtNorM-MD）揭示了仅在人乳腺癌上训练的模型，若无特定适配，难以泛化到其他组织。
未来方向： 作者指出，当前的局限性在于仅在人类乳腺癌上进行训练。未来的工作应将这些分类器整合到两阶段检测流程中，并扩展训练数据以包含多样化的组织类型和物种，从而提高鲁棒性。
临床影响： 通过自动化量化 AMF 比例，该技术可支持更客观、可重复且高效的肿瘤分级，有望改善临床环境中的治疗规划和预后评估。

总之，本文确立了LoRA 微调的基础模型（特别是 Virchow2）和端到端微调的 Swin Transformer代表了 AMF 分类的最先进水平，显著优于简单的线性探针，并为自动化、鲁棒的组织病理学分析提供了一条可行的路径。