💻 computer science

CytoFormer: A Molecularly Supervised Cell Foundation Model for Histopathology Cell Classification

CytoFormer 是一种新型细胞基础模型，它利用来自 16 个器官的配对 H&E 组织学和空间转录组学数据，在不依赖病理学家人工标注的情况下，实现了准确、高效且具有泛化能力的细胞分类。

原作者： Jialu Yao, Songhao Li, Alina Yu, Zhi Huang

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Jialu Yao, Songhao Li, Alina Yu, Zhi Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在医学领域，观察人体内部最常用的方法是通过显微镜观察用粉紫色染料染色的组织薄片。这是诊断癌症等疾病的标准护理手段。病理学家通过观察这些切片来识别存在的不同细胞类型——无论是健康的组织、入侵的免疫细胞，还是异常的肿瘤细胞。这种视觉检查功能强大，但也存在缓慢、主观且难以规模化的问题。靠肉眼计数数百万个单独的细胞是不可能的，甚至专家也可能在判断特定细胞时产生分歧，尤其是当不同类型的细胞在显微镜下看起来几乎完全一致时。几十年来，人们一直梦想着教会计算机自动进行这种计数，但构建此类计算机一直受困于一个瓶颈：它需要人类专家手动标记数百万个细胞，以教导机器该寻找什么。这种手工劳动枯燥、昂贵且往往不可靠，导致该领域缺乏足够高质量的数据来训练真正的智能系统。

宾夕法尼亚大学的一个研究小组找到了一种完全绕过这种人类瓶颈的方法。他们没有要求病理学家去标记细胞，而是使用了一种不同类型的生物图谱来教导计算机。他们将标准的粉紫色组织切片与一种被称为“空间转录组学”的新技术相结合，后者就像是一个分子条形码扫描仪。这个扫描仪可以在细胞仍位于组织中的位置时，读取其内部的遗传活性。由于遗传代码对细胞身份而言是唯一的，它能准确告诉研究人员正在观察的是哪种类型的细胞，而无需人类进行猜测。通过将这些分子身份与标准切片上对应的图像相匹配，该团队创建了一个大规模的自监督数据集。他们利用这一数据集训练了一个名为 CytoFormer 的新型人工智能模型，该模型学会了仅通过观察常规显微镜图像中细胞的形状和纹理来识别细胞类型。

结果表明，该系统的识别准确度足以媲美人类专家，且在训练过程中无需人类画出任何一个细胞的边界框。研究人员收集了涵盖人体 16 个不同器官（从乳腺、肺部到大脑和骨髓）的 81 种不同组织切片的数据。总计，他们处理了超过 1500 万个单独的细胞。对于每个细胞，计算机都学会了将染色图像中的视觉外观与遗传扫描仪提供的特定分子身份联系起来。这使得模型能够学习一种适用于全身的通用细胞形态语言。在对模型从未见过的全新组织切片进行测试时，它平均能在 85% 的案例中正确识别细胞类型。更重要的是，该模型不仅仅是在计数，它还重建了整个组织的架构，正确绘制出了肿瘤、免疫细胞和健康结构所在的位置，有效地还原了器官的生物学景观。

这项发现之所以特别重要，在于该模型向新情境迁移知识的能力之强。研究人员测试了该 AI 是否能够处理其训练过程中从未遇到过的器官和细胞类型。他们将模型应用于包含来自结肠和皮肤等器官细胞的四个不同的公开数据集，而这些器官并不在原始训练集中。即使在之前未见过这些特定组织的情况下，该模型的表现依然优于其他六个基于数百万张人工标记图像进行训练的领先人工智能系统。在细胞看起来非常相似的困难场景中（例如区分正常健康组织与模仿其特征的癌变组织），它的表现尤为出色。在一项测试中，该模型仅利用人类提供的几百个样本就学会了识别隐藏在看似相同的肿瘤细胞中的正常细胞，而其他系统则需要更多的样本才能达到同样的准确度。这表明该模型学习的是细胞在其环境中呈现形态的基本视觉规则，而不仅仅是死记硬背一份特定的细胞清单。

研究人员还探索了计算机需要观察多少周围组织才能做出正确的识别。他们测试了每个细胞周围不同大小的图像窗口，从仅显示细胞本身的微小视图到显示整个邻里环境的大视图。他们发现，当模型能够看到细胞及其直接邻居，但又不至于看到整个组织切片时，效果最好。这种平衡使得计算机既能理解细胞的上下文环境——即它位于血管、肿瘤块还是健康的腺体中——又不会丢失细胞自身形状的精细细节。这种特定的窗口大小（对应于一个非常小但清晰的细胞视图）被证明是准确性的最佳平衡点。

通过将遗传扫描仪的分子数据转化为视觉识别的教学工具，该团队创造了一个可以应用于任何常规组织切片的重复使用资源。该模型不需要运行昂贵的新设备；它可以分析医院每天都在使用的标准切片。研究人员已向科学界开放了代码和训练好的模型，允许他人使用这种新的细胞观察方式。虽然目前的模型会将一些非常相似的细胞（如不同类型的免疫细胞）归为一类，因为它们看起来很像，但这代表了一个重大进步。它证明了我们可以在不依赖缓慢且昂贵的人工标记过程的情况下，构建强大的细胞分析工具。这种方法为分析数千名患者的数百万个细胞打开了大门，将常规的显微镜切片转化为详细的细胞活动图谱，从而帮助医生更早、更准确地诊断疾病。

技术摘要：CytoFormer

问题陈述

常规的苏木精-伊红（H&E）组织学包含关于细胞类型、其比例及空间排列的关键诊断信息。然而，大规模实现细胞级分析一直受到“标注瓶颈”的阻碍。传统方法依赖于病理学家的手动注释，这种方式速度慢、成本高，且在区分形态相似的细胞类型（例如巨噬细胞 vs. 成纤维细胞 vs. 分化不良的肿瘤细胞）时往往不够可靠。因此，现有的规模化数据集仅包含约 $10^5$ 个具有粗粒度分类的细胞核，且目前的病理基础模型主要针对全切片或图像块级任务进行预训练，往往忽略了细粒度的细胞级特征。

方法论

数据集构建：配对的空间转录组学与 H&E

为了绕过手动注释，作者利用基于成像的空间转录组学（具体为 Xenium 平台）构建了一个泛组织单细胞 H&E 数据集。

数据来源： 从 10x Genomics 门户和 HEST-1k 中收集了涵盖 16 种人类器官（乳腺、肺、卵巢、淋巴结、结肠、扁桃体、宫颈、大脑、肾脏、胰腺、肝脏、皮肤、前列腺、骨髓、心脏和骨骼）的 81 个配对 Xenium 切片。
标签生成流水线：
1. 聚类： 对单细胞表达谱进行无监督聚类。
2. 注释： 基于标记基因（marker-gene）对聚类进行注释。
3. 人工审核： 进行器官级的专家聚类审核，以确保生物学合理性。
4. 置信度过滤： 应用基于邻域纯度和标记边缘的单细胞置信度门控，以剔除模糊细胞（例如双细胞或边界细胞）。
5. 分类法映射： 将聚类映射到每种器官中常见的 23 种细胞类型。这包括 7 种泛组织类别（肿瘤、间质、上皮、淋巴细胞、内皮、巨噬细胞、浆细胞）和 16 种器官特异性类别（如肝细胞、心肌细胞）。
最终数据集： 包含 1540 万个细胞，每个细胞都配有一个 56 µm 的 H&E 图像块和通过分子衍生的细胞类型标签。
划分策略： 为防止数据泄露，训练集和测试集采用空间划分而非随机划分。对于具有多个切片的器官（乳腺、肺），则保留整个切片作为测试集。对于其他器官，将切片分割为带有 112 µm 保护带的空间块，以确保没有测试细胞与训练细胞共享视野。

模型架构：CytoFormer

CytoFormer 是一个旨在进行多任务、逐器官分类的细胞基础模型。

编码器： 一个从 UNI2-h 初始化而来的 ViT-giant Transformer。它处理 224×224 像素的裁剪图像（源自 56 µm 视野），并为每个细胞输出一个 1536 维的嵌入（embedding）。
分类头（Heads）： 模型并未采用单一的全局分类器，而是采用了 16 个线性分类器（每个器官一个）。在推理过程中，器官标识符会选择相应的分类头。这种设计允许共享的编码器学习通用的形态学特征，同时让分类头专门化处理各器官特定的细胞类型分布。
训练： 编码器和所有分类头使用 AdamW 在 1210 万个训练细胞上进行联合训练，采用多任务目标函数。

评估协议

模型在三种不同的机制下进行了评估：

空间留出法（Spatially Held-Out）： 直接在来自这 16 种器官的未见切片上进行推理。
线性微调（Linear Fine-Tuning）： 冻结编码器，并在四个公开的专家注释基准数据集（PanNuke, CoNSeP, MoNuSAC, PUMA）上训练一个线性分类头，以测试表示的可迁移性。
全量微调（Full Fine-Tuning）： 在上述相同的公开基准数据集上对骨干网络和分类头进行端到端训练。
主动学习（Active Learning）： 在一个结直肠癌 VisiumHD 切片上的交互式设置中，用于检测正常上皮细胞，使其在极少量的注释下能从外观相似的肿瘤细胞中识别出来。

关键结果

在留出组织上的表现

在空间留出的测试集（290 万个细胞）上，CytoFormer 实现了：

准确率（Accuracy）： 0.846
宏 F1 值（Macro-F1）： 0.779
组织架构： 对留出的乳腺切片的视觉检查显示，预测结果重现了参考组织的架构，错误主要发生在单个细胞层面（例如，将单核细胞误分类），而非结构模式层面。
消融实验： 研究发现 56 µm 的裁剪尺寸是最优的，它平衡了核分辨率的需求与足够的组织上下文信息。

迁移学习与基准测试

CytoFormer 展示了优于六种现有病理基础模型（UNI2-h, Virchow2, MUSK, CONCH, PathGen, PLIP）的泛化能力：

线性微调： 在四个基准测试的 25 个器官特定设置中，Cyto

er 在 24 个设置中均取得了最佳的宏 F1 值。它在困难类别（如内皮细胞、结缔组织细胞）以及预训练期间未见过的器官或细胞类型（如膀胱、甲状腺、黑素吞噬细胞）上显著超越了基准模型。

全量微调： 即使在所有模型都经过全量微调的情况下，CytoFormer 仍保持领先地位，尤其是在挑战性类别上，这证实了其在分子监督数据上的预训练提供了一个强大的起点。

标签效率

在检测结直肠癌中正常上皮细胞的主动学习设置中：

CytoFormer 仅需数百个注释即可达到 0.82 的 F1 值，比最强的基准模型（UNI2-h）高出 0.13 F1。
CytoFormer 的学习曲线上升显著更快，在最初约 200 个注释内就达到了最终性能的大部分，而基准模型则在较低的性能水平上趋于平缓。

重要性与主张

论文声称，配对的空间转录组学可以取代人工病理学家注释，作为 H&E 组织学细胞级监督的来源。通过利用分子身份来监督形态学，作者创建了一个包含 1540 万个细胞的规模化高质量数据集，无需人工标注。

这项工作的意义在于：

可扩展性： 生成了一个大规模、高质量的细胞级数据集，其规模远超人工标注的能力。
表示学习： 证明了在分子监督数据上训练的基础模型能够学习通用的、可迁移的细胞级特征，并能泛化到训练期间未见的器官和细胞类型。
标签效率： 提供了一种能够以极少的人类干预实现精确细胞分类的表示，使其在注释稀缺的临床任务中具有实用价值。
下游任务的基础： 该模型可以为任何常规 H&E 切片生成已分类细胞的图谱，从而提供可用于临床任务（如诊断、预后和治疗反应预测）的细胞级表示。

作者也指出了局限性，包括标签空间仅限于常见的细胞类型（而非 T 细胞与 B 细胞等亚型），且目前的工作仅依赖于 Xenium 数据，未来的工作可能会整合其他模态（如空间蛋白质组学）。