💻 computer science

From Multi-Resolution Cells to Gigapixel Whole Slide Images Foundation Model for Computational Pathology

本文介绍了 MRPT，这是一种用于计算病理学的多分辨率基础模型，它利用受生物启发的跨分辨率注意力机制和大规模自监督预训练，在理解不同诊断任务中的十亿级像素全切片图像方面超越了现有模型。

原作者： Basit Alawode, Moshira Ali Abdalla, Dwarikanath Mahapatra, Muhammad Muzammal Naseer, Sajid Javed

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Basit Alawode, Moshira Ali Abdalla, Dwarikanath Mahapatra, Muhammad Muzammal Naseer, Sajid Javed

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过一张照片来理解一座宏大而复杂的城市。如果你缩放得太近，你会看到砖块的纹理或人行道的裂缝，但你会错过它是一所医院或一所学校的事实。如果你缩放得太远，你会看到整个城市的布局，但你无法判断里面的人是快乐还是生病。这就是病理学家——那些通过观察组织样本的“全切片图像”（WSI）来诊断疾病的医生——每天面临的挑战。这些数字切片是吉级像素规模的——如此巨大，以至于它们包含数十亿个像素，就像一张国家的地图，而你必须在微小的屏幕上进行滚动浏览。

多年来，试图帮助这些医生的计算机程序就像是只能从一个特定高度观察城市的游客。有些程序只看微小的细节（砖块），而另一些则只看大局（天际线）。但真正的医生并不是这样工作的。他们不断地放大和缩小，将微小的细胞与大的组织结构联系起来，从而做出诊断。这个领域的一个重大问题一直是：我们能否构建一种像医生一样思考的 AI，能够无缝地在不同的“缩放级别”之间切换，从而理解疾病的全貌？

这正是这篇论文背后的研究人员试图解决的问题。他们引入了一种名为 MRPT（多分辨率金字塔 Transformer）的新型 AI 模型。MRPT 的设计初衷不是强迫计算机在“看森林”或“看树木”之间做出选择，而是旨在让它能像人类专家一样同时看到两者。

以下是他们如何构建它以及他们的发现：

“缩放阶梯”法
作者意识到现有的 AI 模型缺失了图像中的“层级结构”。他们构建了 MR 旨在通过三个截然不同的层级来工作，模拟病理学家检查切片的过程：

细胞级： 观察单个细胞（就像看到砖块）。
斑块级： 观察小规模的细胞群（就像看到单栋建筑）。
全切片级： 观察整个组织样本（就像看到整座城市）。

他们设计的核心要素是一个被称为**连续跨分辨率注意力机制（CCRA）**的特殊机制。你可以把它想象成一个位于不同缩放级别之间的“翻译官”。它不会让“近距离”视图直接与“远距离”视图对话，因为那会造成混乱。相反，它会逐步传递信息：10倍视图与20倍视图对话，20倍视图与40倍视图对话。这确保了细胞的微观细节始终是在其所处的更大组织结构的语境下被理解的，从而创造出对图像平滑且连续的理解。

训练过程：一场大规模的数字实地考察
为了教导这个模型，研究人员不仅仅向它展示了几张图片。他们喂给了它惊人的数据量：6.24 亿个微小的图像斑块、240 万个组织区域以及来自真实患者样本的 36,000 张全切片图像。他们使用了一种“自监督学习”技术，这就像是给 AI 一个没有包装盒图片的拼图，让它自己去摸索碎片是如何组合在一起的。通过在所有三个缩放级别上同时进行这种学习，该模型学会了识别其他模型所忽略的模式。

结果：比其他模型更聪明
当团队将 MRPT 与目前的“最先进”AI 模型进行对比测试时，结果令人印象深刻。他们在涵盖各种癌症和组织分析的 34 个不同数据集上进行了实验。

更好的诊断： 在 AI 需要猜测癌症类型或识别特定组织特征的任务中，MRPT 的得分始终高于以往的模型。例如，在某些测试中，它达到了约 96% 至 98% 的准确率，显著超越了那些仅观察单一缩放级别的模型。
回答问题： 他们还构建了一个名为 MRPT-LLaVA 的聊天机器人版本。该模型可以观察切片并回答复杂的问题，例如：“这里的组织结构看起来是什么样的？”或者“这里有炎症的迹象吗？”它的表现大幅领先于其他医学聊天机器人，证明了将“大局”与“细节”结合起来能带来更聪明的答案。

他们拒绝了什么
论文非常明确地指出了哪些做法是无效的。作者认为，如果只是简单地将大量高分辨率的小图像拼接在一起（而不尊重层级结构），会创建一个混乱的模型。他们还表明，仅观察单一分辨率（无论是仅看细胞还是仅看全切片）的模型会缺失关键的上下文信息。他们的实验证明，忽视“缩放阶梯”会导致性能下降，而尊重分辨率之间的逐步连接才是成功的关键。

他们的信心来源
作者对自己的发现非常有信心，这得到了数十个数据集和众多不同现有模型的广泛测试支持。他们不仅仅是在计算机上进行模拟；他们是在真实的医疗数据上进行了测试。虽然他们并不声称已经“解决了”癌症诊断问题，但他们的结果强烈表明，这种多分辨率方法是一个重要的进步，为计算机理解病理学提供了一种更稳健、更具泛化能力的新途径。

简而言之，这篇论文介绍了一种终于学会了像人类医生一样进行“缩放”的 AI。通过尊重生物组织的自然层级，并将微观与宏观联系起来，MRPT 为理解疾病提供了一个强大的新工具，有望在未来帮助病理学家做出更快、更准确的诊断。

技术摘要：用于计算病理学的多分辨率金字塔 Transformer (MRPT)

问题陈述

计算病理学 (CPath) 依赖于分析吉像素级全切片图像 (WSI)，这些图像本质上具有层次化和多分辨率的结构。这些图像包含从细胞形态（核异型性、有丝分裂活性）到组织架构（腺体组织）以及全局上下文（组织异质性）的诊断模式。专家级病理学家通常会在不同的空间尺度和分辨率（例如 10×、20×、40×）下综合证据，以生成准确的诊断。

然而，现有的最先进 (SOTA) 基座模型面临着显著的局限性：

单分辨率偏差： 大多数视觉 Transformer (ViT) 和基座模型（如 UNI、CONCH、QuiltNet）是在单分辨率补丁（patch）上进行预训练的，未能捕捉到对于 WSI 解读至关重要的由粗到精的上下文层次结构。
全局上下文丢失： 补丁级模型缺乏整个 WSI 的全局空间上下文，而 WSI 级模型（如 GigaPath、SlideChat）虽然可以聚合补丁，但往往无法尊重内在的层次化组织或多分辨率依赖关系。
多分辨率集成不足： 虽然某些模型利用了多分辨率数据，但它们通常将不同分辨率视为独立的输入，或者未能显式地建模反映病理学家诊断工作流的跨分辨率依赖关系。

方法论：MRPT 与 MRPT-LLaVA

作者提出了 多分辨率金字塔 Transformer (MRPT)，这是一种旨在从细胞、组织到 WSI 层面层次化聚合多分辨率信息的基座模型。该架构构建在三阶段自监督学习 (SSL) 范式之上。

1. 分层数据结构

模型通过提取三个分辨率（10×（粗）、20×（中）、40×（细））的对齐三元组区域 ( $R_i$ ) 来处理 WSI ( $M$ )。每个区域被细分为补丁 ( $P_j$ )，并进一步分解为细胞级标记 (tokens) ( $C_{j,k}$ )。这种共注册（co-registration）保持了跨尺度的空间对齐和上下文完整性。

2. 核心架构：连续跨分辨率注意力 (CCRA)

MRPT 的核心创新是 连续跨分辨率注意力 (CCRA) 机制，该机制实现在一个名为 mViTP-C 的多分辨率 ViT 模块中。

生物学启发： 该机制模仿了病理学家“放大与缩小”的工作流程，将跨注意力限制在连续的分辨率对之间（10× $\leftrightarrow$ 20× 以及 20× $\leftrightarrow$ 40×），而不是跳跃尺度。这确保了语义连续性并最大限度地减少了失配。
机制： CCRA 模块通过平均它们的 [CLS] 标记并将其附加到更细的分辨率序列中，来实现不同分辨率之间的信息融合。这些平均后的标记作为信息载体，通过注意力机制与补丁标记进行交互，从而丰富粗粒度和细粒度的表示。
效率： 通过使用单个向量查询（vector query）来处理平均后的 [CLS] 标记，其计算复杂度保持为线性而非二次方。

3. 三阶段预训练流水线

MRPT 在包含 6.24 亿个补丁、240 万个区域和 3.6 万张 WSI（来自 TCGA 和 CPTAC）的海量数据集上进行预训练。

第一阶段（细胞级）： mViTP-C 模块利用 CCRA 学习多分辨率表示。学生网络通过基于 DINO 的 SSL 与教师网络对齐，处理跨所有三个分辨率的局部和全局视图。
第二阶段（补丁级）： 学习到的细胞级嵌入被聚合为补丁级标记，并输入到 ViTR-P 中。此阶段学习更广泛的组织级上下文关系。
第三阶段（区域/WSI 级）： 补丁级特征被聚合为区域级标记，并输入到 ViTM-R 中，以产生整体性的、多分辨率的 WSI 级嵌入。

4. MRPT-LLaVA：多模态推理

为了将 MRPT 扩展到复杂任务，作者引入了 MRPT-LLaVA，一种多模态大语言模型 (MLLM)。

集成： 它将 MRPT 的多分辨率层次化表示与 LLaVA 架构相结合。
训练： 它遵循三阶段流水线：跨模态对齐（WSI-报告对）、特征空间对齐以及在 WSI-Bench 数据集上的视觉指令微调。这使得模型能够执行视觉问答 (VQA)、描述生成和报告生成。

核心贡献

多分辨率层次化 SSL： 引入了一种三阶段 SSL 范式，共同建模多分辨率和层次化表示，从而实现对细粒度细胞特征和全局组织上下文的学习。
CCRA 机制： 在 ViT 架构中提出了一种具有生物学启发意义的新颖 连续跨分辨率注意力 机制，能够在保持语义一致性的同时，高效整合跨分辨率的细胞信息。
MRPT-LLaVA： 开发了一种 CPath 特定的 MLLM，利用 MRPT 的多分辨率层次化 WSI 表示来执行复杂的 VQA 任务，超越了现有的补丁级和单分辨率 WSI 级模型。

实验结果

作者在涵盖分类、VQA、描述生成和报告生成的 34 个不同数据集 上评估了 MRPT 和 MRPT-LLaVA。

补丁级性能：
- 零样本分类： 基于 MRPT 的模型实现了 83.66% 的平均准确率，比次优的 SOTA 模型（PathGen-CLIP，73.60%）高出约 10%。
- 线性探测 (Linear Probe)： 实现了 92.75% 的平均准确率，超过 GigaPath (86.12%) 6.63%。
- VQA： 与现有的 MLLM 相比，在封闭式 VQA 任务中提升了约 23%，在开放式 VQA 任务中提升了约 20%。
WSI 级性能：
- 分类： MRPT-LLaVA 在零样本设置下达到了 0.806 的平衡准确率，优于 TITAN (0.751)。在线性探测设置下，MRPT 达到了 0.898 的平衡准确率，显著高于 TITAN (0.845)。
- VQA 和报告生成： MRPT-LLaVA 在 WSI VQA 中实现了 80.77% 的准确率（对比 WSI-LLaVA 的 72.57%），并在 WSI-Bench 和 HistGen 数据集的报告生成指标（BLEU、ROUGE、METEOR）上表现出卓越的性能。
消融实验： 实验证实，性能的提升源于结构设计（多分辨率输入、CCRA、标记融合和三阶段 SSL），而非仅仅依靠预训练数据的规模。

重要性与主张

论文声称 MRPT 通过显式建模 WSI 的层次化和多分辨率特性，解决了当前 CPath 基座模型存在的关键差距。通过模拟专家病理学家的诊断工作流——即整合局部细胞细节与全局组织架构——该模型能够产生鲁棒、泛化能力强且具有临床意义的表示。

作者断言，其方法：

在多种 CPath 任务中超越了近期的基座模型和 MLLM。
提供了一个统一的框架，能够捕捉互补的信息，而单分辨率模型本质上会遗漏这些信息。
通过 CCRA 机制提供了一个具有生物学可解释性的架构，确保了跨分辨率的交互在语义上是一致的。

这项工作将 MRPT 定位为迈向整体患者级理解（holistic patient-level understanding）的重要一步，并具有整合基因组学和放射学等多模态数据的未来潜力。