⚡ electrical engineering

MoPET: Parameter-Efficient Mixture-of-Experts for Unified Medical Image Classification

本文介绍了 MoPET，这是一种参数高效的混合专家框架，它利用稀疏路由在冻结的基础模型中动态选择低秩适配器，从而有效地将多个异构医学成像任务整合到单个网络中，同时减轻了负迁移问题，并优于全量微调和孤立适配器方法。

原作者： Sebastian Doerrich, Daniel Würtinger, Francesco Di Salvo, Shyam Nandan Rai, Christian Ledig

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Sebastian Doerrich, Daniel Würtinger, Francesco Di Salvo, Shyam Nandan Rai, Christian Ledig

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个超级聪明的机器人识别世界上的不同事物，比如猫、汽车或云朵。你已经拥有了一个庞大的、预训练好的机器人大脑，它已经对世界有了很多了解，但它需要学习特定的医学技能，比如在 X 光片中发现肿瘤，或者在显微镜下计数血细胞。这就是医学图像分类的世界，在这里，计算机通过观察图像来帮助医生诊断疾病。

棘手之处在于，医学数据往往很杂乱且稀缺。你可能有数千张 X 光片，但只有几百张特定类型皮肤病的图像。如果你试图为每一种新的疾病都从头开始重新训练整个庞大的机器人大脑，那就好比为了增加一本书而试图重建整个图书馆；这既耗时又昂贵，而且机器人经常会感到困惑并忘记它已经掌握的知识。为了解决这个问题，科学家们使用了一种叫做**参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）**的技巧。你可以把它想象成给机器人一个小的、定制的“适配器”或一副特殊的眼镜，用于完成特定的任务。这些适配器体积很小，训练成本也很低，允许机器人学习新工作而不破坏它原有的知识。

然而，这里有一个问题。如果你有十种不同的医学任务，你就会得到十副不同的眼镜和十个不同的微型适配器。对于计算资源有限的医院来说，管理它们简直是一场噩梦。你会希望有一个超级大脑，能够针对不同的工作瞬间戴上合适的“眼镜”。但如果你尝试将所有这些适配器揉进一个大脑袋里，它们往往会互相冲突，导致机器人感到困惑——科学家称之为“负迁移（negative transfer）”问题。这篇名为 MoPET 的论文提出了一个疑问：我们能否构建一个单一的、统一的机器人大脑，能够同时处理多种不同的医学任务，且不让适配器之间发生冲突，同时保持体积小巧且高效？

问题所在：太多的眼镜，一个大脑

想象一家医院，医生需要诊断从骨折到皮疹再到血液疾病的一切情况。在过去，如果计算机想要提供帮助，它可能需要为每一项工作准备一个独立的、“隔离”的专家。一个专家负责 X 光片，另一个负责皮肤照片，还有一个负责血液样本。这虽然可行，但就像看任何东西都要换一副眼镜一样。这很笨重，占用大量空间，而且如果你想增加一项新工作，你必须从头开始打造一副全新的眼镜。

论文解释说，虽然这些“眼镜”（称为适配器/adapters）非常棒，因为它们很小且不需要重新训练整个大脑，但为每项任务都准备一个单独的适配器是非常低效的。你会最终拥有一群互不相连的模型“动物园”。作者们想要研究是否可以将所有这些专家合并成一个单一的、统一的模型，使其能够即时切换任务。

解决方案：MoPET，智能交换机

作者们介绍了 MoPET（混合参数高效专家，Mixture of Parameter-Efficient Experts）。把这个计算机模型想象成一座巨大的、被冻结的图书馆（“基础模型”），它了解关于世界的通用事实。在这座图书馆内部，他们没有为每个主题设立独立的房间，而是安装了一个智能交换机（路由器）和一组专门的、低秩专家（low-rank experts）。

以下是其运作方式的通俗解释：

被冻结的图书馆： 主大脑是冻结的。它不会改变。它是坚实的基石。
专家： 他们并没有重新训练整个图书馆，而是在大脑中注入了微小的、专门化的模块（专家）。这些专家就像是“超级聪明的实习生”，他们非常擅长特定领域，但占用的空间极小。有些实习生擅长观察血细胞，有些擅长皮肤，有些擅长器官。
智能交换机： 当一张新图像（例如一张肺部照片）进来时，交换机会观察它并立即决定：“啊，这需要肺部专家！”它会将图像仅发送给那个特定的专家（或一小组专家），而不是唤醒整个图书馆。
不再争吵： 因为交换机会将每张图像引导至正确的专家那里，所以“肺部专家”和“皮肤专家”不必在同一个大脑空间内争论不休。它们可以并行工作，互不干扰。

研究发现

研究人员使用来自 MedMNIST 集合的 12 个不同医学数据集测试了这个想法，该集合包括血细胞、乳腺超声、胸部 X 光、皮肤病变等图像。

1. 小胜大：
首先，他们证实了使用这些微小的“适配器”（PEFT）比尝试重新训练整个大脑效果更好。当他们将这些微型适配器与全量重新训练进行比较时，适配器胜出了。平均而言，适配器将准确率从 86.50% 提升到了 88.97%。这证明了你不需要拆掉整个图书馆去添加一本书；一个小型且智能的适配器就足够了。

2. 一个大脑统治一切：
接下来，他们尝试将四种非常不同的医学任务（血液、乳腺、皮肤和病理）合并到一个单一的 MoPET 模型中。他们将这个“统一”模型与旧有的方式（即拥有四个独立的、隔离的模型）进行了对比。

表现最好的隔离模型（仅使用一种类型的适配器）达到了 92.83% 的准确率。
而新的 MoPET 模型，在一次性处理所有四项任务时，达到了 93.46% 的准确率。
这表明，这个统一的模型不仅仅是复制了那些孤立的模型；它实际上学会了在任务之间共享知识，从而提高了整体得分。

3. “副业”的力量：
最后，他们发现了一些关于“辅助”数据的有趣现象。有时，医院针对某种特定疾病的数据非常少（例如只有 546 张乳腺超声图像）。作者发现，如果他们在训练这个小数据集的同时，也利用其他更大的数据集（如血液或皮肤图像）进行训练，模型的表现会变得更好。

对于乳腺数据集，准确率从 81.58%（使用孤立适配器时）跃升至 83.58%（在其他数据辅助训练时）。
这表明，模型可以利用学习其他医学图像的“副业”来增强它在处理困难且数据稀缺的任务时的表现。

结论

论文表明，MoPET 是构建一个单一、统一的医学 AI 的一种极具前景的方式，它可以处理多种不同类型的图像，而无需为每种图像准备单独的模型。它采用了一种“混合专家”的方法，让模型能够挑选出最合适的工具，从而避免了尝试混合不同医学任务时通常会出现的混乱。

作者们谨慎地指出，尽管这在他们的测试数据集上表现良好，但关于模型究竟如何决定使用哪个专家，以及它是否能完美适用于每一种可能的医学图像，仍存在一些疑问。但就目前而言，他们已经证明了你可以将许多医学任务浓缩进一个高效、高性能的模型中，从而使 AI 更容易部署到计算机资源可能受限的现实医院环境中。这个“智能交换机”的代码现在已向公众开放，供他人尝试。

技术摘要：MoPET —— 用于统一医学图像分类的参数高效混合专家模型

问题陈述

将深度学习基础模型适配到临床数据中深刻的解剖结构和模态异质性方面，存在着一种结构性困境。虽然通用基础模型（如 CLIP、DINOv3）提供了鲁棒的视觉表示，但进行全端到端微调在计算上是极其昂贵的，并且在数据受限的医疗场景中容易导致严重的过拟合。相反，参数高效微调（PEFT）技术（如低秩自适应 LoRA）通过冻结骨干网络权重并仅更新注入的低秩矩阵，成功缓解了过拟合问题。然而，标准的 PEFT 要求为每一个特定的诊断任务或模态训练一个独立的、孤立的适配器。这种碎片化的方法增加了在资源受限的临床环境中部署的复杂性。

此外，将这些孤立的适配器整合为一个单一的“通用型”网络会带来**负迁移（negative transfer）**的风险。当来自冲突视觉领域的优化梯度（例如，高频组织病理学纹理与低频超声模式）在共享参数空间内发生干扰时，模型性能会下降。现有的混合专家（MoE）框架通常依赖于预定义的模 modality 标签或同质的专家池，这可能无法捕捉到统一医学图像分类所需的细微且由数据驱动的专业化能力。

方法论：MoPET

作者提出了 MoPET（混合参数高效微调专家），该框架通过结合学习到的稀疏路由与异构的低秩 PEFT 专家池，将不同的医学图像分类任务统一到一个模型中。

核心架构

MoPET 将 MoE 范式与 PEFT 相结合，使用以下组件：

冻结的骨干网络（Frozen Backbone）： 预训练的基础模型（具体为 DINOv3 Base）保持冻结，以保留通用表示。
异构专家池（Heterogeneous Expert Pool）： MoPET 不仅仅注入单一类型的适配器，而是在自注意力机制的查询（Query）、键（Key）和值（Value）投影层中注入了一个包含 $K=32$ $K = 32$ 个可训练专家的池。该池是混合型的，包括：
- 20 个 LoRA 专家： 低秩自适应模块（ $r=8, \alpha=8$ ）。
- 12 个 BOFT 专家： 蝴蝶正交微调（Butterfly Orthogonal Fine-Tuning）模块（块大小 8，蝴蝶因子 1）。
- 共享路径（Shared Path）： 原始冻结的权重矩阵作为一个“始终开启”的共享路径。
特征感知稀疏路由（Feature-Aware Sparse Routing）： 一个可学习的门控网络（ $R$ ）计算每个输入 token 的路由得分。Top-K 操作选择与当前输入最相关的 $k=12$ 个专家。最终表示 $z$ 计算如下：
$z = Wx + \sum_{i=1}^{K} \text{softmax}(\text{TopK}(R(x), k))_i e_i(x)$
该机制动态地将多样化的解剖学输入路由通过专门的低秩路径，从而隔离竞争性的梯度更新，以防止负迁移。
负载均衡（Load Balancing）： 为了防止“专家坍缩”（即路由忽略大部分专家），通过最小化可微的负载均衡损失（ $L_{load}$ ）来鼓励 token 在专家池中均匀分布。
动态多领域采样（Dynamic Multi-Domain Sampling）： 为了解决数据集之间严重的体积差异（例如，546 张图像对比 165,000 张图像），动态滑动窗口协议确保每个 epoch 处理的批量大小（ $d_{min}$ ）与最小领域对齐，从而防止较大的数据集主导梯度更新。
任务特定头（Task-Specific Heads）： 由于数据集具有不相交的标签空间，模型在骨干网络上附加了 $D$ 个独立的线性分类头。数据集路由显式地使用领域标识符，将共享的终端表示映射到其对应的语义空间。

核心贡献

验证了 PEFT 优于全量微调： 作者在 12 个不同的医学数据集上证实，参数高效方法（特别是 LoRA 和 BOFT）显著优于全端到端网络更新，将平均准确率从 86.50% 提升至 88.97%。这验证了利用低秩适配器构建统一架构的设计选择。
统一的 MoPET 框架： MoPET 将四个异构数据集（血液、乳腺、皮肤、病理）整合到一个网络中。其表现优于在这些领域分别训练的最佳孤立 PEFT 适配器，实现了 93.46% 的平均准确率，而最强的孤立适配器为 92.83%。
跨领域特征共享（辅助增强）： 论文展示了一种新颖的训练动态，即通过辅助数据集进行协同训练可以作为性能提升器，助力数据受限的目标任务。与辅助池共同训练提高了平均目标准确率，从 81.58%（最强孤立适配器）提升至 83.58%，其中在最小的数据集（乳腺和视网膜）上观察到的增益最为显著。

实验结果

基准测试： 实验在 MedAssist+ 集合上进行，涵盖了 8 种成像模态（显微镜、超声、X 射线、皮肤镜、OCT、CT 等）的 12 个数据集。
骨干网络比较： 统计分析（Friedman 检验）显示，在 PEFT 设置下，不同基础模型（CLIP、DINO、DINOv3）之间没有显著差异，这表明微调方法对性能的影响比骨干网络的选择更为关键。
MoPET 性能：
- 在 4 个数据集的子集上，MoPET 在三个任务上的表现达到或超过了最佳的单数据集适配器。
- 在“增强器”配置下，MoPET 通过利用辅助数据，提升了三个不同临床领域（乳腺、视网膜、皮肤）的表现，证明了共享的语义推理可以在不产生负迁移的情况下使数据匮乏的目标受益。
效率： MoPET 训练了 7.4M 参数（约为 86M 骨干网络的 8.7%）。虽然单个孤立的 LoRA 适配器更轻量（约 0.3M），但 MoPET 取代了需要为每个任务收集适配器并维护“模型库”的需求，提供了一种统一的解决方案。

重要性与主张

论文声称，MoPET 成功解决了 PEFT 的计算效率与管理多个孤立模型带来的部署复杂性之间的权衡。通过直接从数据中学习专家分配（而非依赖预定义的模态标签），MoPET 使领域特定的适配与共享语义推理能够共存，而不会在同一参数空间内产生竞争。

作者也谨慎地指出，虽然目前的设置使用了人工筛选的数据集子集进行辅助增强，但仍需进行系统的组合遍历，以完全区分出是由语义驱动的迁移还是单纯增加数据量所带来的效果。此外，具体的学习路由模式（例如，专家是严格按模态还是按解剖结构专业化）仍需进一步明确验证。尽管如此，这项工作证明了单一的统一模型可以有效地处理深刻的解剖异质性，为迈向通用型医学 AI 的部署提供了一条可扩展的路径。