💻 computer science

Label tree semantic losses for rich multi-class medical image segmentation

本文提出了两种新颖的基于树的语义损失函数，利用层次化标签结构来提升多类别医学图像分割性能，在完全监督的全脑分割任务和稀疏标注的神经外科高光谱成像任务中均展现出相较于基线方法的持续性能提升。

原作者： Junwen Wang, Oscar MacCormac, William Rochford, Aaron Kujawa, Jonathan Shapey, Tom Vercauteren

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Junwen Wang, Oscar MacCormac, William Rochford, Aaron Kujawa, Jonathan Shapey, Tom Vercauteren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教计算机识别人类大脑或手术场景中的每一个细微部分。过去，计算机就像严厉的考官，对所有错误一视同仁。如果计算机将“左肾”误判为“右肾”，它得到的“不及格”与将“肾脏”误判为“烤面包机”时完全相同。

但在医学领域，并非所有错误都同等重要。混淆两个相似的大脑区域是小错；而将大脑区域与完全不同的器官混淆则是大错。

本文介绍了一种教导计算机理解关系的新方法。作者为医学标签构建了一棵“家谱树”，将相似的事物归为一组，并创建了两个特殊的“评分系统”（损失函数），利用这棵树提供更智能的反馈。

以下通过简单的类比来解析他们的理念：

1. 问题：“一刀切”的评分系统

目前，大多数医疗人工智能的训练都采用标准的评分系统。如果人工智能将答案“类别 B"猜成“类别 A"，它会受到惩罚；如果它将答案“类别 Z"（完全不同）猜成“类别 A"，它受到的惩罚完全相同。

这就像老师给学生的评分：将"cat"拼错为"dog"（小错误）和将"car"拼错为"airplane"（大错误）都得到同样的“不及格”。随着医学图像日益精细，包含数百个微小且相似的类别，这种旧系统变得低效，因为它无法理解某些错误比其他错误更“接近”真相。

2. 解决方案：标签的“家谱树”

作者将所有医学标签（如大脑的不同部分或组织类型）组织成一个层级结构，即家谱树。

树根：树的顶部是宽泛的类别（例如，“大脑”）。
树枝：这些分支成主要组别（例如，“左半球”、“右半球”）。
树叶：这些是具体的微小细节（例如，“左颞叶”）。

他们基于这棵树创建了两种新的评分方式：

A. “行程成本”评分器（Wasserstein 距离损失）

想象标签树是一张城市地图。

如果人工智能犯错，计算机就会计算在地图上从错误答案到正确答案需要行进的距离。
如果人工智能混淆了两个相邻的街区（如“左颞叶”和“右颞叶”），“行程成本”很短，因此惩罚很小。
如果人工智能将一个街区与一个完全不同的城市混淆（如“大脑”和“肝脏”），“行程成本”巨大，因此惩罚严厉。
结果：人工智能学会，犯小的、"接近"的错误是可以接受的，但必须避免大的、"遥远"的错误。

B. “家族责任”评分器（树加权交叉熵）

想象人工智能是一名参加考试的学生。

在旧系统中，学生仅根据最终答案（树的特定树叶）接受评分。
在新系统中，学生还要根据到达答案所走的步骤接受评分。他们是否正确识别了“大脑”分支？是否正确识别了“左半球”分支？
即使学生弄错了微小的树叶，如果他们正确识别了大树枝，也能获得部分分数。这鼓励人工智能学习解剖学的“宏观”结构，从而帮助其更好地猜测微小细节。

3. 处理“缺失”信息（稀疏标注）

在现实世界中，医生没有时间为医学图像中的每一个像素进行标注。他们通常只标注重要部分，其余留白。

旧陷阱：如果某个像素未被标注，旧的人工智能系统会假设它是“背景”（无物）。这很危险，因为那片空白实际上可能是医生忘记标记的肿瘤。
新技巧：作者将他们的“家谱树”评分与一个“侦探”系统相结合。人工智能被告知：“如果你不能 100% 确定某个像素属于已标注的家族之一，就将其标记为‘未知’（分布外），而不是猜测它是背景。”这防止了人工智能自信地错误标记未标记区域。

4. 他们的发现（结果）

作者在两个截然不同的任务上测试了这些新的评分系统：

脑部 MRI（全脑分割）：将 3D 脑部扫描分解为 100 多个微小区域。
- 结果：“行程成本”评分器（Wasserstein）胜出。与标准方法相比，它显著提高了人工智能正确识别微小、难以观察的大脑结构的能力。
手术摄像头（高光谱成像）：使用一种能看见人眼不可见颜色的特殊摄像头，在脑部手术期间识别组织。
- 结果：“家族责任”评分器（树加权）在此表现最佳，特别是在训练数据稀疏（不完整）的情况下。它帮助人工智能更准确地区分“正常”和“异常”组织。

总结

该论文认为，通过教导人工智能理解医学标签之间的关系（利用家谱树结构），而不是将每个标签视为孤立的岛屿，我们可以构建更智能、更稳健的医学成像工具。这些工具犯下的灾难性错误更少，并且更能处理真实医生所面对的那些杂乱、不完整的数据。

技术摘要：用于丰富多类别医学图像分割的标签树语义损失

问题陈述
丰富且准确的医学图像分割对于术前规划、术中导航和术后评估至关重要。然而，分割任务的标准学习方法通常对所有分类错误一视同仁地进行惩罚，未能利用标签空间内的语义关系。随着标签基数增长至包含细微差别的类别（例如特定的大脑亚区或组织类型），这一局限性变得日益突出。此外，在手术成像和大规模标注工作中，数据通常仅带有“仅正例”标签进行稀疏标注，未标注区域不能被假定为背景。现有方法往往缺乏利用标签层级或语义有意义地处理未标注像素模糊性的机制。

方法论
作者提出了一种框架，通过两种互补的语义损失函数，将标签的层级组织（标签树）纳入训练过程。这些损失函数旨在同时适用于密集监督（例如全脑分区）和稀疏、无背景的标注（例如神经外科高光谱成像）。

基于 Wasserstein 距离的分割损失 ( $\mathcal{L}_{wass+seg}$ ):
该损失利用 Wasserstein 距离（最优传输）来衡量将预测概率分布转换为真实分布的成本。“地面距离”矩阵 ( $M$ ) 源自标签树，其中两个叶节点之间的距离由它们在层级中的路径长度定义。这种公式化根据语义严重程度对错误进行惩罚；将类别误分类为语义上遥远的兄弟节点，比误分类为近亲节点会受到更高的惩罚。最终损失是 Wasserstein 距离与通用分割损失（例如 Dice 或交叉熵）的组合。
树加权语义交叉熵损失 ( $\mathcal{L}_{twce+seg}$ ):
该方法通过聚合标签树中所有节点（而不仅仅是叶节点）的概率，扩展了标准的交叉熵 (CE)。使用邻接矩阵表示父子关系，模型计算内部节点的聚合概率。损失随后计算为所有节点上 CE 的加权和，其中权重根据边结构分配。这使得模型能够在多个抽象层级（粗粒度和细粒度）接收监督信号。
与稀疏仅正例学习的集成:
所提出的损失被集成到一个基于稀疏、仅正例标注进行训练的框架中（基于 Wang 等人，2026）。在此设置中，模型仅在标注的正例类别上进行训练。在推理过程中，分布外 (OOD) 检测机制将最大预测概率较低的像素标记为背景。作者通过聚合选定层级（例如顶层节点）的概率来确定 OOD 阈值，从而扩展了该方法，使其能够在不降低正例类别性能的情况下实现更鲁棒的背景检测。

主要贡献

新颖的损失函数： 引入了两种基于树的语义损失（基于 Wasserstein 的损失和树加权 CE），在优化过程中显式编码层级标签关系。
通用框架： 展示了这些损失如何同时适用于密集监督的全脑分区 (WBP) 和稀疏监督的神经外科高光谱成像 (HSI)，包括与用于背景识别的 OOD 检测的集成。
性能提升： 实证证据表明，与标准基线相比，引入专家定义或解剖学衍生的标签层级能带来更具语义意义的监督，并提高分割性能。
小结构的鲁棒性： 在标注有限的小解剖结构上观察到了具体的改进，而标准基线在这些结构上往往表现不佳。

实验结果
作者在两个不同的任务上评估了他们的方法：

全脑分区 (WBP)： 使用来自三个数据集（Mindboggle42、AOMIC、IXI）的 3D T1 加权 MRI 数据，并进行全监督。
- 发现： 基于 Wasserstein 的组合损失 ( $\mathcal{L}_{wass+seg}$ ) 始终优于标准的 nnU-Net 基线（Dice + CE）和广义 Wasserstein Dice 损失。改进在与小结构相关的指标（Dicesmall、NSDsmall）和表面重叠（NSD）方面最为显著。统计分析证实，在几乎所有训练 - 测试设置中，NSD 和小结构指标均取得了显著增益。
神经外科高光谱成像 (HSI)： 使用来自术中手术视频的稀疏、仅正例标注。
- 发现： 与仅在叶节点上训练的基线相比，所提出的框架提高了顶层类别（例如区分正常与异常组织）的性能。层级加权的顶层监督（具有特定边权的 $\mathcal{L}_{twce+seg}$ ）在稀疏设置中显示出强有力的支持。混淆矩阵分析显示，与基线相比，所提出的方法减少了语义上不可能的错误（例如混淆正常和异常组织）。

意义与主张
该论文主张，利用标签空间的结构作为信息来源对于丰富的分割任务至关重要，特别是在处理细微的类别变化和稀疏数据时。通过超越均匀的错误惩罚，所提出的方法使模型能够做出“更好的错误”（即语义上更接近真相的错误）。作者强调，他们的方法在不需要对分割网络（例如 nnU-Net 或 U-Net）进行架构修改的情况下改进了标准基线，使其成为现有流程的实用扩展。这项工作填补了手术成像领域的空白，此前该领域尚未探索过这种层级语义监督，并为在大型稀疏标注数据集上进行训练提供了可扩展的解决方案。