💻 computer science

Instance Awareness of Multi-class Semantic Segmentation Loss Functions

本文提出通过一对多分解和按组件反比大小加权，将实例敏感损失（如 blob 损失和 CC 损失）扩展至多类语义分割任务，证明这些改进能有效同时解决实例不平衡与类别不平衡问题，从而提升 BraTS-METS 2025 数据集上的 Dice 分数和全景质量。

原作者： Soumya Snigdha Kundu, Florian Kofler, Marina Ivory, Hendrik Moller, Jonathan Shapey, Tom Vercauteren

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Soumya Snigdha Kundu, Florian Kofler, Marina Ivory, Hendrik Moller, Jonathan Shapey, Tom Vercauteren

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人去查看人类大脑的三维地图，并找出所有的肿瘤。问题在于，大脑存在两种截然不同的“不公平”现象，使得这项工作对机器人来说极其困难。

两大核心难题

“微小 vs. 巨大”问题（实例不平衡）：
想象机器人正在寻找肿瘤。有些肿瘤巨大，像葡萄柚；有些则微小，像一粒沙子。
- 旧方法： 如果机器人试图一次性从整张图像中学习，它会被巨大的葡萄柚分散注意力。它会想：“哦，我找对了那个大的，干得好！”从而忽略了那粒微小的沙子。由于微小肿瘤在整体画面中占比太小，机器人永远学不会发现它们。
- 论文的解决方案： 作者制定了一套新规则（一种“损失函数”），强制机器人将每一个肿瘤视为独立的任务。这就像给机器人针对每一个肿瘤单独配备一个放大镜。现在，无论肿瘤是葡萄柚还是沙粒，机器人必须正确识别它才能通过测试。
“罕见 vs. 常见”问题（类别不平衡）：
现在想象大脑中存在不同类型的肿瘤。
- A 型（常见）： 有数千个。
- B 型（罕见）： 只有寥寥几个（例如某种特定的切除腔）。
- 旧方法： 当机器人学习时，它在 A 型肿瘤上获得了大量练习，从而成为发现它们的专家。但由于 B 型非常罕见，机器人在训练期间几乎看不到它们。它实际上忘记了去寻找它们。
- 论文的解决方案： 作者意识到，如果强制机器人将每一种类型的肿瘤视为独立的“一对一多”游戏（即先学习寻找 A 型而忽略其他所有，再学习寻找 B 型而忽略其他所有），就能拉平竞争环境。突然间，罕见的 B 型获得了与常见的 A 型同等的关注，即使 B 型只有 10 个，而 A 型有 1000 个。

关键秘诀：“局部”与“全局”重加权

论文还尝试了一种名为“逆尺寸加权”的技巧。这相当于给机器人发现微小物体时给予额外加分。

错误做法（全局）： 如果你一次性给整个大脑发放额外加分，机器人就会陷入混乱。一个微小且罕见的肿瘤会获得巨大的加分，而一个巨大且常见的肿瘤只获得微薄的加分。这种数学上的极度失衡会导致机器人崩溃（或学不到任何有用的东西）。
成功做法（局部）： 作者发现，如果只在那个微小肿瘤的具体区域内给予额外加分，效果就完美了。这就像给一名学生完成一个小拼图时颁发金星，但只关注那个特定的拼图，而不是整个教室。这既保持了机器人的专注，又不会破坏数学平衡。

结果：一种权衡

论文在脑扫描数据集（BraTS-METS 2025）上测试了这些方法。结果如下：

发现罕见目标： 新方法在发现罕见且难以察觉的肿瘤（即“切除腔”）方面表现出色。成功率从旧方法的15%跃升至新技巧下的31%甚至44%。
代价： 存在一种权衡。通过让机器人如此痴迷于寻找微小、罕见的肿瘤，它在观察巨大、常见的肿瘤时有时会变得有点“嘈杂”。
- 这就像一名保安如此专注于抓捕一个小偷，以至于不小心被一个大行李箱绊倒了。
- "Blob"和"CC"方法（新规则）找到了良好的平衡：它们在更好地发现罕见肿瘤的同时，没有过多地“绊倒”在常见肿瘤上。
- “逆尺寸”方法在发现最罕见的肿瘤方面表现最佳，但它使机器人在识别巨大、明显的肿瘤时略有退步。

结论

该论文证明，通过改变我们教导机器人观察大脑的方式——具体来说，将每一个肿瘤视为独立的挑战，将每一种肿瘤类型视为独立的游戏——我们可以解决遗漏罕见和微小肿瘤的问题。

他们不仅解决了“小与大”的问题，还意外地解决了“罕见与常见”的问题。其结果是一个更聪明的机器人，它不会因为微小、罕见的细节难以察觉而忽略它们。

以下是 Kundu 等人论文《多类语义分割损失函数的实例感知性》的详细技术总结。

1. 问题陈述

本文解决了多类语义分割中实例不平衡与类别不平衡同时存在的挑战，具体背景为脑转移瘤分割（BraTS-METS 2025）。

类别不平衡： 罕见类别（例如切除腔 RC）的体素数量和实例数量显著少于常见类别（例如全肿瘤 WT）。标准损失函数（如 Dice + 交叉熵）会对所有前景体素的梯度进行平均，导致罕见类别接收到的训练信号不成比例地微弱。
实例不平衡： 在单个类别内部，小病灶（微转移灶）往往被大病灶所掩盖，因为标准的体素级损失主要受大实例的较大体积主导。
差距： 现有的“实例敏感”损失函数（Blob Loss、CC Loss）是为单类分割设计的。它们能平衡同一类别内不同实例间的梯度，但无法解决多类设置下不同类别间的不平衡。反之，标准的多类损失函数通过均匀平均处理类别不平衡，却忽略了实例层面的大小差异。

2. 方法论

作者提出了一种框架，将实例敏感损失扩展到多类分割，并以一种新颖的局部化方式集成了逆尺寸加权。

A. 通过一对多分解实现多类扩展

作者利用一对多（One-vs-Rest）策略，将Blob Loss和CC（连通分量）Loss适配于多类设置：

分解： 对于每个前景类别 $c$ ，将多类标签图隔离为二值图 $y_c$ （其中类别 $c$ 为前景，其余均为背景）。
实例提取： 在 $y_c$ 内识别 3D 连通分量，以定义各个实例 $\{S^c_1, \dots, S^c_{K_c}\}$ 。
损失计算：
- CC Loss： 基于到最近分量的欧氏距离，将体积分割为 Voronoi 单元 $V^c_k$ 。损失仅在这些局部区域内计算，以防止大邻居主导小实例。
- Blob Loss： 通过移除同一类别的所有其他前景分量，构建特定实例的域 $\Omega^c_k$ ，仅保留目标分量和背景。
聚合： 最终的实例损失（ $L_{instance}$ ）是所有分量和所有类别损失的均匀平均：
$L_{instance} = \frac{1}{|C|} \sum_{c \in C} \frac{1}{K_c} \sum_{k=1}^{K_c} \ell^c_k$
关键洞察： 通过对类别进行均匀平均（ $\frac{1}{|C|}$ ），实例数量少的罕见类别（如 RC）对梯度的贡献与实例数量多的常见类别（如 ET）相等，从而有效解决了类别不平衡，而每个分量的平均则解决了实例不平衡。

B. 局部化逆尺寸加权（IWL）

标准的逆尺寸加权（分配与分量大小成反比的权重）在多类设置中若全局应用则会失效，因为罕见类别与常见类别之间的权重差异可达数个数量级，导致训练不稳定。

** proposed 解决方案：** 将加权集成在每个分量的损失内部。
机制： 权重图 $w^c_k$ 仅应用于特定分量域（ $\Omega^c_k$ 或 $V^c_k$ ）内的体素。
$w^c_k(v) = \min(\max(|\Omega^c_k|/|S^c_k|, 1), 2 \times 10^5)$
效果： 这将重加权限制在单个分量的空间上下文中，放大了小实例的梯度，同时避免了跨类别的全局权重失衡。

C. 组合损失函数

总损失结合了标准的全局损失（用于惩罚背景区域的假阳性）与新的实例损失：
$L = \alpha \cdot L_{global} + \beta \cdot L_{instance}$
作者评估了 $\alpha=1, \beta=1$ 和 $\alpha=1, \beta=2$ 的情况。

3. 主要贡献

实例损失的重用： 证明了通过一对多分解将实例敏感损失（Blob/CC）扩展到多类分割，能同时解决类别不平衡（通过均匀类别平均）和实例不平衡。
局部重加权： 表明逆尺寸加权仅在局部集成于每个分量的损失内部时才有效。全局应用会导致训练不稳定，而局部应用则显著提升了罕见类别的性能（例如 RC 的 Dice 从 0.22 提升至 0.44）。
权衡分析： 识别了**体素级重叠（Dice）与实例级检测（全景质量 Panoptic Quality）**之间的系统性权衡。激进地增加罕见类别权重的方法虽然提高了 Dice，但往往会降低检测质量（PQ）。

4. 实验结果

实验在BraTS-METS 2025数据集（260 个测试案例）上进行，重点关注四个区域：WT、TC、ET 以及罕见的切除腔（RC）。

基线： 标准 nnU-Net（Dice + CE）的 RC Dice 为0.15，前景平均 PQ（ $\tau=0.5$ ）为0.38。
多类 CC Loss：
- 将 RC Dice 提升至0.31。
- 保持前景平均 PQ 在0.39（与基线相当）。
- 实现了最佳的整体前景平均 Dice（0.64）。
多类 Blob Loss：
- 实现了最佳的前景平均 PQ（0.40）和识别质量（0.53）。
- 将 RC Dice 提升至0.22。
结合局部逆尺寸加权（IWL）：
- Blob + IWL： 实现了最高的 RC Dice（0.44）和前景平均 Dice（0.65）。
- 代价： 这是以牺牲检测质量为代价的，前景平均 PQ 降至0.31。
加权参数（ $\beta$ ）： 与推荐 $\beta=2$ 的单类设置不同，多类设置在 $\beta=1$ 时表现最佳。一对多分解已提供了足够的类别平衡，而 $\beta=2$ 会导致罕见类别的过分割。

5. 意义与结论

临床影响： 切除腔（RC）的准确分割对于术后立体定向放射外科（SRS）的规划至关重要。将 RC 的 Dice 从 0.15 提升至 0.44，直接提高了治疗规划的准确性。
方法论洞察： 本文确立了结构化的、空间受限的重加权（一对多分解 + 局部逆尺寸加权）优于全局重加权，适用于具有不平衡数据的多类分割。
未来方向： 作者强调了 Dice 与全景质量之间固有的权衡。未来的工作应致力于解决这一权衡，以同时实现高体素重叠和精确的实例检测。

总之，这项工作提供了一个鲁棒的损失函数框架，赋予每个肿瘤实例和每个肿瘤类别同等的重视，弥合了自动化分割与个体化脑转移瘤治疗所需的逐病灶精度之间的差距。