💻 computer science

CPS4: Class Prompt driven Semi-Supervised Spine Segmentation with Class-specific Consistency Constraint

该论文提出了 CPS4，一种新型文本引导的半监督脊柱分割框架，该框架利用视觉语言模型（VLM）预训练过程中的类特定一致性约束来生成高质量伪标签，在仅使用 5% 有标签数据的情况下实现了卓越的性能。

原作者： Qingtao Pan, Hongzan Sun, Bing Ji, Shuo Li

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Qingtao Pan, Hongzan Sun, Bing Ji, Shuo Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人识别并勾勒出人类脊柱中的每一个椎骨和椎间盘。这是一项艰巨的任务，因为脊柱的许多部分看起来非常相似，而且在医学图像中标记每一个像素就像是在沙滩上数沙粒一样——既耗时又需要高度专业的专家。

这篇论文介绍了一种名为 CPS4 的新方法来解决这个问题。该方法旨在即使机器人在只有少量“已标记”示例（即人类已经画好轮廓的例子）且拥有大量“未标记”图像（即没有人画过任何东西的图像）的情况下也能正常工作。

以下是 CPS4 的工作原理，通过简单的概念进行拆解：

问题所在：机器人会感到困惑

通常，当机器人尝试从未标记的图像中学习时，它们会猜测轮廓（称为“伪标签”），然后尝试从自己的猜测中学习。问题在于，如果机器人在早期犯了一个小错误，它就会不断重复这个错误，导致情况越来越糟。这就像一个学生试图通过抄袭一个同样不知道正确答案的朋友的答案来学习数学一样。

解决方案：“文本指南”

作者意识到，虽然机器人在“猜测”方面表现不佳，但它在理解语言方面其实非常擅长。他们决定使用文本提示（例如写下“这是腰椎 1”）来帮助机器人集中注意力。

把机器人想象成一位非常聪明但有点分心的艺术家。如果你只是对艺术家说，“画一个脊柱”，艺术家可能会画出一个模糊的团块。但如果你递给这位艺术家一张具体的指令卡，上面写着，“只关注腰椎 1”，那么艺术家就能非常准确地画出那个特定的部分。

CPS4 如何运作（两步舞法）

该方法使用了一个两阶段训练过程，作者称之为 CPS4：

第一阶段：“严师”阶段（预训练）
在机器人开始在未标记图像上进行猜测之前，它需要学会如何完美地听从文本指令。

类比： 想象一位老师向学生展示一张特定骨骼的照片，并说：“这是 T12 椎骨。”学生必须学会精确地指向这块骨头，并忽略其他所有部分。
创新点： 作者创建了两个特殊的“规则”（损失函数）来强制机器人保持注意力：
1. 词元级注意力 (Token-Level Attention)： 这确保了机器人知道句子中的哪个词对应图像中的哪个部分。这就像是确保“T12”这个词在机器人的脑海中与 T12 骨头紧紧“粘连”在一起。
2. 像素级注意力 (Pixel-Level Attention)： 这确保了机器人不仅仅是模糊地指向骨头，而是能准确地覆盖整个骨头，而不仅仅是其中一个小角落。
结果： 机器人学会了将文本描述与实际图像部分紧密耦合。

第二阶段：“助手”阶段（半监督分割）
现在，机器人准备好处理未标记的图像了。

过程： 对于每一张未标记的脊柱图像，机器人都会使用其训练好的“文本指南”为每种类型的脊柱部分生成一张单独的图（例如，一张针对 T10 的图，一张针对 T11 的图，等等）。
神奇之处： 它将所有这些独立的图组合成一张高质量的“主图”。由于有了文本提示的引导，这张主图比单纯的猜测要好得多。
循环： 机器人利用这个“文本引导的主图”来教导自己，纠正自己的错误，并比仅靠自身猜测学得更快。

结果：小数据量下的巨大胜利

研究人员在一个公开的脊柱数据集上测试了他们的方法。

挑战： 他们尝试仅使用 5% 的已标记数据（极少量的数据）来训练机器人。
结果： 即便数据如此之少，CPS4 仍实现了 80.44% 的 Dice 分数。
对比： 这优于所有其他流行的模型，包括那些使用文本（视觉-语言模型）的模型以及那些不使用文本的模型。这证明了使用文本提示来引导机器人能让其“猜测”变得更加准确。

视觉证明

论文通过对比显示了他们的法与其他方法的图片（图 3 和图 5）。

其他方法： 经常会产生混淆，要么搞混不同的椎骨，要么遗漏部分结构。
CPS4： 其“注意力图”（机器人的内部关注点）显示出它知道该看哪里。当文本提到“L5”时，机器人的焦点完美地锁定在 L5 椎骨上，完全忽略了脊柱的其他部分。

总结

简而言之，CPS4 是一个通过使用**文本描述作为“聚光灯”**来教计算机进行脊柱分割的系统。通过首先训练计算机精确理解哪些文本属于哪块骨头，然后再利用这种理解力来生成更好的练习范例，该系统即使在人类提供的初始示例很少的情况下，也能非常准确地绘制脊柱。

技术摘要：CPS4 —— 基于类别提示的类特定一致性约束半监督脊柱分割

问题陈述

自动脊柱分割，特别是针对核磁共振成像（MRI）中椎体（VBs）和椎间盘（IVDs）的多类别分割，对于骨科诊断和手术规划至关重要。尽管深度学习方法已取得显著进展，但它们高度依赖像素级标注，而这类标注不仅耗时耗力，且需要专家知识。半监督学习（SSL）通过利用有限的有标签数据和大量的无标签数据提供了一种解决方案。然而，现有的半监督学习方法通常依赖于一致性正则化和伪标签技术，往往会导致伪标签质量低下。这些噪声标签会引入错误的监督信息，导致模型关注无关特征，从而阻碍对无标签数据的有效利用。

尽管视觉语言模型（VLMs）在通过利用文本类别提示生成分割图以增强伪标签质量方面展现出潜力，但目前的视觉语言模型缺乏显式约束来确保类别提示与特定图像对象之间的一致性。这种缺陷导致类特定语义绑定能力弱以及跨类别干扰，从而导致多类别分割图生成的性能不尽如人意。

方法论

作者提出了 CPS4，这是一个将类别提示集成到半监督脊柱分割中的新型两阶段训练策略框架。

第一阶段：类特定一致性约束的视觉语言模型预训练

现有的视觉语言模型（如 CLIP、MedCLIP）执行的是图像层面的跨模态对齐，这无法确保不同的类别提示能够聚焦于其对应的目标对象。为了解决这一问题，CPS4 引入了一个使用视觉语言模型（具体使用 ViT 进行视觉处理，使用 BioClinicalBERT 进行文本处理）的预训练阶段，并引入了两种新型损失函数，以增强类别提示与脊柱单元之间的一致性：

标记级注意力损失 ( $L_{token}$ )：该损失优化类别提示标记 ( $F_{T,i}$ ) 与相应图像块标记 ( $F_I$ ) 之间的对齐。它计算相似度得分以生成粗略的注意力图 ( $A_i$ )，并将激活聚合向预测的脊柱单元区域 ( $B_i$ )。其目标是迫使文本提示在语义空间中与目标脊柱单元紧密耦合。
像素级注意力损失 ( $L_{pixel}$ )：为了防止模型将注意力过度聚合到目标单元的某些子区域，引入了一个像素级交叉熵目标。这确保了注意力图能够均匀地覆盖整个目标脊柱单元。

总预训练损失是 $L_{token}$ 和 $L_{pixel}$ 的平均值。

第二阶段：类别提示驱动的半监督脊柱分割

在此阶段，预训练的视觉-文本编码器被用于增强无标签数据的伪标签生成过程。

类别提示引导的分割图生成：对于每个无标签脊柱图像，系统通过计算图像块标记与类别提示标记之间的点积，为每个类别（例如“腰椎 1”）生成二值分割图。这些图经过上采样并使用 OTSU 自动阈值法转换为二值掩码。所有类别特定的图被堆叠形成一个统一的多类别分割图 ( $y^{text}$ )。
伪标签生成与优化：该框架采用了带有学生网络和教师网络的 Mean Teacher (MT) 架构。教师网络通过指数移动平均（EMA）为无标签图像生成伪标签 ( $y^t_u$ $y_{u}^{t}$ )。
- 监督损失 ( $L_{sup}$ )：在有标签数据的学生网络预测值与地面真值（Ground Truth）之间计算。
- 半监督损失 ( $L_{semi}$ )：由两部分组成：
  1. $L^{text}_{semi}$ ：无标签数据上的学生网络预测与类别提示生成的图 ( $y^{text}$ ) 之间的一致性损失。
  2. $L^{enhance}_{semi}$ ：学生网络预测与通过整合教师伪标签 ( $y^t_u$ ) 和类别提示图 ( $y^{text}$ ) 构建的增强伪标签之间的一致性损失。

核心贡献

首个文本引导的脊柱分割半监督学习方法：本研究首次引入文本类别提示来增强半监督脊柱分割中的伪标签质量。
新型类特定一致性约束：作者提出了一种使用标记级和像素级注意力损失的特定预训练机制，以实施显式约束，确保每个类别提示与其目标脊柱单元之间实现紧密的语义耦合。
达到最先进水平的性能：该方法在各种有标签数据比例下均表现出卓越的性能，尤其是在低数据量场景下。

实验结果

该方法在 MRSpineSeg 数据集上进行了评估，该数据集包含 215 名受试者的 T2 加权 MR 体积图像，涵盖 20 个类别（19 种脊柱结构和背景）。

性能：仅使用 5% 的有标签数据，CPS4 实现了 80.44% 的 Dice 系数和 70.63% 的 mIoU。
对比：这些结果超越了流行的半监督学习方法（如 MT, BCP, SS-Net）以及现有的基于 VLM 的方法（如 CLIP, MedCLIP, MGCA, EGMA）。
- 与在 5% 有标签数据下使用带有文本提示的次优 GraphCL 方法相比，CPS4 的 mDice 提升了 2.23%，mIoU 提升了 2.42%。
鲁棒性：消融实验证实，标记级和像素级损失均对性能有显著贡献。随着有标签数据比例从 5% 增加到 50%，该方法表现出稳定的性能增益，明显优于 MT 基准线。
可视化：CPS4 生成的注意力图与目标脊柱单元呈现出强对齐性，而基准 VLM（如 MedCLIP）则表现出分散的激活和较弱的语义绑定。

意义

论文声称，CPS4 通过利用文本的语义能力来引导高质量伪标签的生成，有效地缓解了脊柱分割中的标签稀缺问题。通过在预训练期间显式约束类别提示与脊柱单元之间的一致性，该框架克服了当前 VLM 在医学影像任务中的局限性。实验结果表明，这种方法能够实现更可靠的类别提示驱动的伪标签生成，从而在标注数据有限的情况下显著提高半监督学习的效能。作者指出，他们将公开代码以促进进一步的研究。