🤖 AI

Mutual Distillation of Dual-Foundation Models for Semi-Supervised PET/CT Segmentation

本文提出了 MuDuo，这是一个利用结构化（SAM-Med3D）和功能性（SegAnyPET）基础模型来引导轻量级学生网络，从而在仅使用五个标注病例的情况下实现最先进的半监督 PET/CT 器官分割的相互蒸馏框架。

原作者： Fuyou Mao, Beining Wu, Yanfeng Jiang, Bohan Xu, Lixin Lin, Naye Ji, Hao Zhang, Yan Tang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Fuyou Mao, Beining Wu, Yanfeng Jiang, Bohan Xu, Lixin Lin, Naye Ji, Hao Zhang, Yan Tang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：“昂贵地图”的困境

想象一下，你正试图利用两种不同类型的相机来绘制一张详细的城市（人体）地图：

CT 相机： 拍摄建筑和街道的清晰、锐利的照片（解剖结构/结构）。
PET 相机： 拍摄显示交通流量最密集区域的发光照片（代谢/能量）。

为了训练计算机自动绘制这张地图，你通常需要一名人类专家在成千上上的张照片上描绘出每一栋建筑和每一条街道。这就像雇佣一名制图师手工绘制 1,000 张地图。这既耗时又昂贵，而且需要两类不同的专家（一位负责结构，一位负责交通）对线条达成一致。

由于获取这些“手工绘制的地图”（标注数据）非常困难，研究人员通常只能拥有极少数的这类数据（可能只有 5 或 10 个），以及大量没有标签的照片。

解决方案：“师徒制”团队

该论文的作者 Fuyou Mao 及其团队构建了一个名为 MuDuo 的系统。他们并没有尝试从零开始教计算机，而是建立了一个“师徒制”训练营。

1. 师傅们（基础模型）

他们聘请了两位已经是制图高手、但专业领域不同的“师傅” AI 专家：

CT 师傅 (SAM-Med3D)： 一位深谙建筑形状，但不太关心发光交通流的专家。
PET 师傅 (SegAnyPET)： 一位深谙发光交通流，但有时会对建筑形状感到困惑的专家。

这些“师傅”是“冻结”状态，意味着他们已经训练完成且不会改变。他们是老师。

2. 学徒（学生）

他们有一个轻量级的“学生” AI（一个小型、快速的计算机程序），试图学习如何同时利用两种相机来绘制地图。这个“学生”成本低且速度快，但因为它见过的例子不够多，所以需要帮助。

3. 训练过程：相互蒸馏 (Mutual Distillation)

这就是奇迹发生的地方。与其让师傅们仅仅向学生讲课，不如让他们在一个循环中协同工作：

步骤 A：猜测： 学生观察一张未标记的照片，并对器官的位置做出一个粗略的猜测。
步骤 B：精修：
- 学生的粗略猜测会被展示给 CT 师傅，后者利用其对建筑形状的知识来清理线条。
- 学生的粗略猜测也会展示给 PET 师傅，后者利用其对发光交通流的知识来突出活跃区域。
步骤 C：一致性检查（过滤器）： 有时，师傅们可能会产生分歧。也许 CT 师傅认为某个点是墙壁，但 PET 师傅认为那是空旷地带。
- 系统有一个特殊规则：只保留两个师傅都达成共识的猜测。 如果他们都说“是的，这是一个器官”，系统就会将其标记为“高质量标签”。如果他们意见不一，系统就会丢弃该猜测。
步骤 D：授课： 学生从师傅们创造的这些“高质量标签”中学习。随着时间的推移，学生自己绘制地图的能力会变得越来越好。

为什么这很特别？

以往的大多数方法试图只使用一个师傅（要么是 CT，要么是 PET），或者依赖学生通过自我猜测来生成标签（这往往会导致错误）。

MuDuo 的独特之处在于它迫使两个师傅进行交叉检查。

类比： 想象两名侦探正在试图破解一起犯罪案。侦探 A 查看脚印（CT），而侦探 B 查看指纹（PET）。如果侦探 A 说“嫌疑人在那里”，而侦探 B 说“不，指纹在那里”，他们会发生争论。但如果两人都指向同一个位置，他们就 100% 确定。MuDuo 只信任那些两个侦探达成共识的地方。

实验结果

团队在名为 AutoPET 的数据集上测试了该系统。他们尝试仅使用 5 个标注案例（5 张手工绘制的地图）和 953 个未标注案例（没有标签的照片）来教导系统。

结果： 他们的系统 (MuDuo) 绘制的地图比任何其他方法都更准确，甚至击败了那些尝试使用更多标注数据的系统。
“边界”优势： 该系统在绘制器官边缘方面表现尤为出色（HD95 指标）。与次优方法相比，它将边界误差降低了约 41%。这就像是在画一个完美的圆，而不是一个歪歪扭扭的圆。

总结

论文声称，通过使用两个专门的“师傅” AI 来教导一个“学生” AI，并且只信任两个师傅达成共识的部分，他们可以利用极少的标注样本创建一个高度准确的医学影像工具。他们称之为相互蒸馏 (Mutual Distillation)，这就像是一组专家通过互相核对作业，以确保学生学到的是正确答案。

技术摘要：用于半监督 PET/CT 分割的双基础模型相互蒸馏技术

问题陈述
精确的全身 PET/CT 器官分割对于定量代谢分析、疾病分期和放射治疗规划至关重要。然而，开发用于该任务的深度学习模型受到两个主要挑战的阻碍：

解剖-功能不匹配（Anatomical-Functional Mismatch）： PET 成像具有高代谢敏感性，但存在边界模糊和溢出伪影；而 CT 则提供清晰的结构细节。融合这两种模态以解决空间差异是非常困难的。
数据稀缺性： 高质量的像素级 3D 注释需要放射科专家和核医学专家的同步协作，这使得带标签的数据成本高昂且稀缺。
虽然半监督学习（SSL）和近期的基础模型（如 SAM）提供了解决方案，但现有的方法通常局限于单模态场景，或者无法利用结构（CT）与功能（PET）成像之间深层的语义相互依赖关系。此外，依赖伪标签的标准 SSL 方法往往会受到确认偏差（confirmation bias）的影响，从而强化错误的预测。

方法论：MuDuo 框架
作者提出了 MuDuo，这是一个相互蒸馏框架，旨在协同利用结构和功能基础模型的知识，将其蒸馏到轻量级学生网络中，且无需人工提示。该框架作用于双模态输入（ $X_{CT}$ 和 $X_{PET}$ ），由三个主要部分组成：

双基础模型教师（Dual Foundation Model Teachers）：
- SAM-Med3D： 一个专门用于 CT 的冻结教师模型，利用解剖学先验。
- SegAnyPET： 一个专门用于 PET 的冻结教师模型，利用代谢先验。
- 学生网络： 一个可学习的 3D U-Net ( $S_\theta$ )，用于处理双模态输入。
- 提示生成器（Prompt Generator）： 一个轻量级的 UNet ( $G_\phi$ )，用于连接学生网络与 PET 教师模型。
双路径伪注释生成（Dual-Pathway Pseudo Annotation Generation）：
对于无标签数据，该框架通过两种适应模态特性的不同路径生成伪标签：
- CT 路径： 学生网络的预测（通过提示生成器）经过下采样后，被用作 SAM-Med3D 的掩码提示（mask prompts）。教师模型根据 CT 解剖学先验对这些预测进行精细化处理。
- PET 路径： 提示生成器产生粗略的逻辑值（logits），这些逻辑值被转换为多点提示（multi-point prompts）（即采样前 K 个高概率位置），而非单一质心。这解决了 PET 影像中典型的异质性摄取问题。这些点引导 SegAnyPET 生成精细化的掩码。
相互蒸馏与一致性（Mutual Distillation and Consistency）：
- 基于 IoU 的共识过滤（IoU-Based Consensus Filtering）： 为确保可靠性，框架计算 CT 分支与 PET 分支预测之间的交并比（IoU）。只有当两种模态达成高度共识（高 IoU）的前 50% 样本会被保留用于训练。含有无效提示的样本将被排除。
- 动态伪标签融合（Dynamic Pseudo-Label Fusion）： 通过使用随机权重因子 ( $\alpha$ ) 动态混合 CT 和 PET 的专家预测，生成高质量的伪标签。这种扰动机制旨在防止模型记住自身的预测。
- 一致性损失（Consistency Loss）： 学生网络通过均方误差（MSE）来拟合这些融合后的高质量伪标签，并采用高斯升温（Gaussian ramp-up）权重调度方案，以防止训练早期的不稳定。

核心贡献

双模态基础模型集成： 与以往的单模态 SSL 方法不同，MuDuo 独特地整合了 SAM-Med3D（结构）和 SegAnyPET（功能）来实现相互知识蒸馏，解决了 PET/CT 固有的解剖-功能不匹配问题。
自动提示机制： 该框架通过利用学生模型自身的预测来引导基础模型，消除了对人工提示或外部提示生成器的需求，从而最大化了无标签数据的效用。
共识过滤： 引入基于 IoU 的过滤机制，确保仅由可靠的、共识驱动的伪标签来监督学生模型，从而减轻了传统伪标签方法中常见的确认偏差。
针对 PET 的多点提示： 提出的针对 PET 输入的多点采样方法，相比于单点提示，能更好地捕捉具有异质代谢摄取的器官空间范围。

实验结果
该框架在 AutoPET 数据集（1,038 例研究）上进行了评估，并使用了包含专家注释的 100 例子集。实验是在极端数据稀缺设置下进行的，分别测试了 5、10 和 20 个标注病例的情况。

性能表现： MuDuo 在所有设置下均达到了最先进（SOTA）的性能。在 5 个标注病例的情景下，其 Dice 分数达到 46.93%，显著优于第二名的 CPS 方法以及单模态基础模型方法（SemiSAM+）。
边界精度： 该方法展示了卓越的边界精度，在 5 个标注病例的设置下，将第 95 百分位豪斯多夫距离（HD95）降低至 8.50 像素——相比 SemiSAM+ 降低了 41%。
对比全监督： 在 10 个标注病例的情况下，半监督的 MuDuo 方法在 Dice 分数上比双模态全监督基准高出约 9%，证明了通过跨模态共识挖掘无标签数据的有效性。
消融实验： 实验证实，使用双教师模型优于单模态变体；自适应前 50% IoU 过滤比固定阈值效果更好；且多点提示（K=3）在 PET 分割中优于单点提示。

意义与主张
论文声称，MuDuo 成功弥合了任务特定学生模型与通用分割基础模型之间的差距。通过协同利用结构和功能先验，该框架实现了自动、高精度的分割，而无需承担昂贵的双模态标注负担。作者断言，他们的方法有效地突破了有限标注带来的性能瓶颈，为标注数据稀缺的肿瘤学定量分析和放射治疗规划提供了一种实用的解决方案。源代码已公开，以促进研究的可复现性。