💻 computer science

ImmuVis: Hyperconvolutional Foundation Model for Imaging Mass Cytometry

ImmuVis 是一种超卷积基础模型，基于大规模 IMC17M 数据集训练而成，它通过采用标记自适应核函数来解决成像质谱流式中可变标记集的问题，从而实现对任意标记子集的无需重新训练的高效分析，并提供校准的不确定性。

原作者： Dawid Uchal, Marcin MoĊejko, Krzysztof Gogolewski, Piotr Kupidura, Szymon Łukasik, Jakub Giezgała, Tomasz Nocoń, Kacper Pietrzyk, Robert Pieniuta, Mateusz Sulimowicz, Michal Orzyłowski, Tomasz Siłkows

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dawid Uchal, Marcin MoĊejko, Krzysztof Gogolewski, Piotr Kupidura, Szymon Łukasik, Jakub Giezgała, Tomasz Nocoń, Kacper Pietrzyk, Robert Pieniuta, Mateusz Sulimowicz, Michal Orzyłowski, Tomasz Siłkowski, Karol Zagródka, Eike Staub, Ewa Szczurek

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位主厨，试图根据手头已有的食材清单（生物标志物）来复刻复杂、多层次的菜肴（组织）。

在成像质谱流式细胞术（IMC）的世界里，科学家们拍摄组织样本的图像，以观察哪些蛋白质存在。将每种蛋白质视为一种特定的食材。问题在于，没有两位厨师（研究）会使用完全相同的食谱。一项研究可能包含 20 种食材，另一项可能包含 40 种，而且它们很少能完美重叠。

问题：“固定菜单”陷阱

此前用于分析这些图像的 AI 模型，就像那些只有在你提供固定菜单时才知道如何烹饪的厨师。如果你给他们一份包含他们从未见过的食材的食谱，或者你遗漏了他们预期的某种食材，他们就会崩溃或拒绝烹饪。他们无法适应。

此外，当这些厨师试图猜测缺失的食材（这一过程称为“虚拟染色”）时，他们只会给你一个单一的猜测。如果猜测错误，他们不会告知。他们表现得仿佛 100% 确定，即使证据薄弱。

解决方案：ImmuVis（“适应性副厨”）

本文作者引入了ImmuVis，这是一个全新的 AI 模型家族，旨在成为终极的适应性副厨。以下是其工作原理，使用简单的类比：

1. 魔法工具带（超卷积）

ImmuVis 并非拥有一套针对特定食材的固定工具，而是配备了一条魔法工具带。

工作原理：当你向模型提供一组特定的食材（标志物）时，它会立即"3D 打印”出处理仅这些食材所需的完美工具（卷积核）。
优势：无论你给它 5 种食材还是 30 种，或者这些食材与其之前所学完全不同，都无关紧要。它会即时构建正确的工具。它可以处理任何标志物组合，而无需重新训练或改变其架构。

2. 通用翻译器（全标志物潜在空间）

一旦模型拥有了其定制工具，它会将所有不同的食材翻译成一种通用语言（共享潜在空间）。

类比：想象将用 20 种不同方言进行的对话翻译成一种共同的通用语言。一旦所有内容都进入这种通用语言，模型就能理解食材之间的关系，而不管原始图像中具体存在哪些食材。

3. “诚实”的预测（不确定性）

当 ImmuVis 试图预测缺失的食材（虚拟染色）时，它不仅仅给出一个数字。它会提供一个置信度分数。

类比：如果模型基于薄弱证据猜测缺失的香料，它会说：“我认为是红椒粉，但我不太确定。”如果证据确凿，它则会说：“肯定是红椒粉。”
重要性：这防止了模型在数据不明确时自信地编造生物学事实。它会标记出“高风险”的预测，让科学家知道在何处需要谨慎。

4. 速度与效率

之前的模型就像试图一次性携带所有可能食材的重型缓慢卡车。而 ImmuVis 则像一辆轻量级、敏捷的跑车。

它处理图像的速度快得多，并且比竞争对手使用的计算资源（能量）显著更少，使其适用于涉及数千张图像的大规模研究。

训练场：IMC17M

为了训练这个模型，作者创建了迄今为止为这项任务组装的最大“烹饪学校”，名为IMC17M。

它包含来自28 项不同研究（队列）的超过1700 万个图像块。
它涵盖了265 种不同的标志物（食材）。
通过在如此庞大且多样化的数据集上进行训练，模型学会了识别不同“食谱”和组织类型之间的模式，使其即使在面对新的、未见过的标志物组合时也能表现出色。

结果

经过测试，ImmuVis 被证明：

更准确：它比之前的最先进模型更好地重建了缺失的标志物。
更诚实：其置信度分数与其猜测的对错程度完美匹配。
更快：与它竞争的基于 Transformer 的庞大模型相比，它的运行速度显著更快，成本更低。
多功能：它在识别细胞类型和预测临床结果方面表现良好，证明了其组织“通用语言”对许多不同任务的实用性。

简而言之，ImmuVis 是一个灵活、快速且诚实的 AI 框架，它终于使科学家能够分析复杂的组织图像，而不管测量了哪些特定的标志物，从而解决了生物成像中“不兼容食谱”的问题。

技术摘要：ImmuVis

问题陈述
成像质谱流式细胞术（IMC）通过测量金属标记抗体，实现了对组织的高通量、亚细胞空间谱分析。然而，在建模 IMC 数据时，一个根本性的挑战在于缺乏固定的通道空间。与自然图像具有静态的 RGB 通道集不同，由于物理通道干扰和队列特定的实验设计，IMC 面板在不同研究间存在显著差异。这种异质性违反了标准视觉骨干网络的核心假设，即要求固定的输入维度。现有的方法（如 U-Net）仅限于固定的标记面板，而最近的基于 Transformer 的模型（例如 VirTues、EVA）试图通过将标记特定的空间令牌与身份编码拼接来处理可变输入。这些基于令牌的方法往往忽略了关键的局部标记依赖关系，并且随着标记数量和空间分辨率的增加，计算成本高昂。此外，当证据薄弱时，虚拟染色（预测未测量的标记）是一个病态问题；当前模型通常缺乏校准的不确定性估计，使得难以区分生物学上合理的重建与错误的预测。

方法论
作者介绍了ImmuVis，这是一系列旨在统一可变输入学习、计算效率和不确定性量化的基础模型。其核心创新是一种标记自适应超卷积架构。

超卷积架构：
- 标记无关编码： 输入标记通道首先由共享的卷积主干（ $Enc_{ma}$ ）独立处理，以捕捉局部空间模式。
- 条件超卷积： 模型不使用固定权重，而是采用一个超网络，该网络根据学习到的标记嵌入生成卷积核。对于输入标记集 $I_e$ ，超核 $H^e_{I_e}$ 是通过拼接每个标记 $i \in I_e$ 的学习到的核生成器 $\phi_e(i)$ 构建的。这使得模型能够在不进行架构更改的情况下，动态地将其特征提取算子调整以适应观察到的特定标记子集。
- 全标记骨干网络： 超卷积的输出是一个统一的、固定大小的嵌入，可以由标准的计算机视觉骨干网络（如 ConvNeXt v2、Swin Transformer、ViT）进行处理。
- 对称解码器： 解码器镜像编码器，使用标记条件的超卷积将潜在表示映射到特定的目标标记，同时预测均值表达量和对数方差（不确定性）。
训练策略：
- 数据集： 模型在IMC17M上进行预训练，这是迄今为止最大的 IMC 数据集，包含 24,405 张图像、265 个标记以及跨越 28 个队列的超过 1700 万个图像块。
- 目标： 模型使用掩码通道重建任务进行训练，并采用高斯异方差回归损失。该目标将目标像素建模为独立的高斯分布，允许网络同时预测均值（ $\mu$ ）和方差（ $\sigma^2$ ）。方差预测提供了与重建误差相关的校准不确定性估计。
- 预处理： 作者采用特定的预处理流程，包括 arcsinh 变换（以处理离子计数动态）、Butterworth 低通滤波（以减少 IMC 特定噪声）以及最小 -99 百分位缩放。

主要贡献

超卷积设计： 一种新颖的架构，能够从学习到的标记嵌入中生成卷积核，使单个模型能够在不重新训练或修改架构的情况下处理任意标记子集。
高效基础模型家族： 实现了三种变体（ImmuVisConv、ImmuVisSwin、ImmuVisViT），利用成熟的骨干网络。与基于令牌拼接的 Transformer 替代方案相比，这些模型以显著更低的计算成本实现了最先进的性能。
感知不确定性的学习： 集成了异方差似然目标，生成像素级不确定性估计，解决了虚拟染色在罕见表型或异常模式中的可靠性问题。
大规模预训练： 对 IMC17M 的整理和利用，促进了跨不同组织学和标记面板的鲁棒、可迁移表示的学习。

结果

虚拟染色： ImmuVis 变体在虚拟染色任务中优于最先进的基线（VirTues、EVA）。具体而言，ImmuVisSwin和ImmuVisConv实现了最低的均方误差（MSE）和最高的皮尔逊相关系数，证明了与基于令牌的方法相比，其具有更优越的空间结构保留能力。
不确定性校准： 异方差头产生的不确定性估计与重建误差高度相关（皮尔逊相关系数 > 0.92）。模型提供了有意义的逐像素置信度信号，其中 ImmuVisSwin 实现了最低的稀疏化误差曲线下面积（AUSE）。
表示学习： 在下游任务中，ImmuVis 嵌入在细胞分型（ImmuVisConv 实现了 0.709 的 Macro-F1）和临床预测（ImmuVisSwin 实现了 0.641 的 Macro-F1）中取得了最先进的性能，超越了 VirTues 和 EVA 变体。
计算效率： ImmuVis 模型以显著更低的计算成本运行。ImmuVisConv 每次前向传播仅需约 89.9 GFLOPs，比 VirTues（1049.3 GFLOPs）低一个数量级，比 EVA（3590 GFLOPs）低近 40 倍。推理时间也相应更快（例如，13.4 毫秒对比 VirTues 的 28.5 毫秒）。

意义
该论文将 ImmuVis 定位为一种实用的现实世界 IMC 建模框架，解决了面板异质性和计算效率的关键约束。通过使单个基础模型能够在不重新训练的情况下操作任意标记子集，ImmuVis 促进了大规模空间组织谱分析和遗留队列的回顾性升级。校准不确定性的集成提供了一种感知可靠性的虚拟染色方法，这对于需要标记假阳性或低置信度预测的临床应用至关重要。作者建议，这种算子级的通道适应性为构建多重成像及更广泛领域的基础模型提供了一般性方案，在单一架构中结合了灵活性、效率和可靠性。