💻 computer science

Open-World Semantic Segmentation with Sensitivity Modeling

本文提出了一种新颖的开放世界语义分割框架，通过集成第三个“敏感性解码器”来捕捉细粒度的纹理异常和激活不稳定性，从而增强对未见或异常内容的检测，以此补充现有的基于原型和对比学习的方法，在保持闭集准确性的同时，实现卓越的异常分割和新类发现。

原作者： Anastasios Romanos Varvarigos, Nikos Giakoumoglou, Tania Stathaki

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Anastasios Romanos Varvarigos, Nikos Giakoumoglou, Tania Stathaki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人开车。你给它看了上百万张道路、汽车和行人的照片，它学会了完美地标注每一个像素。但随后，你把机器人带到了现实世界。突然间，它看到了一只戴着帽子的巨大霓虹粉色长颈鹿，或者高速公路上的一堆神秘且发光的碎片。在教室里的“封闭世界”中，机器人对这些东西没有标签。它并没有说：“我不知道那是什么！”，而是自信地猜测：“那是一辆车！”或者“那是一棵树！”这种过度自信是危险的。如果机器人认为一堆垃圾是马路，它可能会直接撞上去。

这就是“开放世界”视觉的问题。科学家们正试图构建一种不仅能识别已知事物，还能发现自己“不知道”的事物的AI。他们希望AI能既能说出“那是一辆车”，也能同样确定地指出“那是一个奇怪的未知物体”。挑战在于，大多数AI模型就像过度热心的学生，即使在毫无头绪时也会强行给出答案。它们需要一种方法，让自己在看到奇怪事物时能感受到“不确定性”，而无需先看过成百万上千万个各种各样奇怪事物的例子。

于是，来自伦敦帝国理工学院的研究人员开发出了一种新型AI大脑来解决这个问题。他们称之为“开放世界语义分割”，但你可以把它理解为在教机器人成为一名更好的侦探。

旧侦探的问题

以往解决此问题的方法使用的是“双解码器”系统。想象一个有两个助手的侦探：

语义助手（The Semantic Assistant）： 这个人非常擅长识别已知的嫌疑人。他观察一个像素并说：“那是路！”或“那是车！”，这是基于一份已知的类别清单。
对比助手（The Contrastive Assistant）： 这个人观察图像的“氛围”。他检查像素的特征是否符合已知事物的总体模式，或者是否漂浮在远离已知领域的“未知领域”。

问题在于，这两个助手都关注宏观图景。他们就像站在山上观察森林的人；他们能看到树木的大致轮廓，但可能会错过生长在树根处的一朵微小的、奇特的蘑菇。如果一个奇怪的物体被部分遮挡或具有奇怪的纹理，这两个助手可能仍会认为：“嗯，这看起来挺像一辆车的”，从而忽略了异常情况。他们太粗略、视角太宏观，以至于无法捕捉到细微的局部异常。

新的第三位侦探：敏感度解码器

论文作者意识到他们需要第三个助手，这个助手不在乎物体“是什么”，而是在乎AI对它的“感觉如何”。他们称之为敏感度解码器（Sensitivity Decoder）。

把敏感度解码器想象成一个拿着放大镜且嗅觉极其灵敏的侦探。当其他两个助手在观察大形状和距离时，这个新助手正在放大观察微小的细节。它寻找的是“激活异常”（activation irregularities）。

这里有一个神奇的比喻：想象AI的大脑是一个巨大的管弦乐团。当它看到一辆正常的汽车时，乐手们（神经元）演奏着平滑、稳定的旋律。但当它看到一些奇怪的东西——比如一个部分隐藏的、奇怪的物体时——乐手们开始结巴、节奏失调，或者奏出不属于这里的尖锐音符。敏感度解码器就是那位专门倾听这些结巴和走调音符的指挥。它不需要知道那个奇怪物体到底是什么；它只需要知道音乐听起来很“抖动”且“不稳定”。

这是一个至要的区别。前两个助手测量的是距离（这离已知的车有多远？）和能量（这看起来像已知的事物吗？）。而新的敏感度解码器测量的是不稳定性。它在问：“当看向这个物体时，AI自己的大脑是否在颤抖？”

它们是如何协同工作的

研究人员构建了一个拥有三个并行“头”（解码器）共同工作的系统：

语义头（The Semantic Head）： 识别已知事物（路、车、人）。
对比头（The Contrastive Head）： 检查事物在全局上是否奇怪（是否远离已知模式）。
敏感度头（The Sensitivity Head）： 检查局部的、细粒度的奇怪之处（纹理瑕疵、抖动的激活）。

这三个头共同投票。如果敏感度头说：“哇，这个纹理很抖动！”而另外两个头也不确定，系统就会将该区域标记为“未知”或“异常”。

结果：捕捉瑕疵

团队在两个著名的驾驶数据集上测试了他们的新型三头大脑：Cityscapes（城市街道图像集合）和 BDD-Anomaly（充满了意外障碍物，如碎片或奇怪车辆的图像）。

结果令人振奋。通过添加这个“敏感度解码器”，该系统在不产生混淆的情况下，更好地识别了那些奇怪的事物。

在 BDD-Anomaly 数据集上，他们的方法将异常检测能力提升了 2.4%（通过 AUROC 衡量，这是一个衡量系统寻找异常好坏的分数）。
它还降低了“误报率”（即将正常事物误认为奇怪事物的概率）达 2.5 个百分点。
至关重要的是，它在实现这些改进的同时，识别正常汽车和道路的能力与旧模型一样出色。

最棒的部分是？这个新的“敏感度解码器”极其轻量化。它为模型增加的参数不到 100 万个（不到总脑容量的 3.6%）。这就像是在一个巨大的机器人身上安装了一个微小且极其灵敏的耳朵，而没有让机器人变慢。它能以 24 帧/秒 的速度运行，足以满足实时驾驶的需求。

这意味着什么

论文表明，通过添加一个寻找局部不稳定性（local instability）的第三层“敏感度”，我们可以让AI更擅长发现未知事物。作者认为，这种方法迈出了坚实的一步，因为它不需要向AI展示数百万个各种可能奇怪事物的例子。相反，它教会了AI在数据看起来“摇摆不定”时，去信任自己的“直觉”。

虽然论文并未声称已经永久解决了开放世界视觉问题，但它证明了这种特定的“敏感度”技巧是一个强大的工具。它证明了有时，为了寻找未知，你不仅需要更努力地观察宏观图景；你还需要倾听音乐中那些细微的结巴。

技术摘要：具有敏感性建模的开放世界语义分割

问题陈述
现代视觉系统通常在“闭世界”假设下运行，即在固定的、预定义的类别集上进行训练。在现实世界的“开放世界”场景中，模型会遇到分布外（OOD）内容——例如意外的道路碎片、新型车辆或依赖于上下文的异常情况。传统的语义分割模型往往会对这类新颖内容产生过度自信的错误分类，这在自动驾驶导航等应用中会带来安全风险。核心挑战在于开放世界语义分割：即在无需额外监督的情况下，同时完成已知类别的分割以及对新颖或异常内容的检测与分组的任务。这要求模型既要对已知类别具有判别性，又要对未知内容保持适当的不确定性，而这两个目标在标准训练范式下往往是冲突的。

现有的双解码器方法试图通过结合语义分支（在 Logit 空间建模已知类别分布）和对比分支（通过结构化嵌入范数在全局范围内分离已知与未知特征）来解决这一问题。然而，这些方法依赖于粗粒度的全局聚合信号（原型距离和嵌入范数）。它们往往无法捕捉指示异常的细微局部线索，例如不规则的纹理模式、异常的激活频率或物体边界处的不一致性，因为这些线索容易在全局池化和层级上采样过程中被抹除。

方法论
作者提出了一种基于共享编码器-解码器设计的三解码器架构。该框架通过引入第三个正交目标——敏感性建模（sensitivity modeling），扩展了双解码器基准模型（ContMAV）。

共享编码器： 基于 ResNet-34 的编码器（通过 NonBottleneck-1D 模块、挤压与激励（Squeeze-and-Excitation）模块及金字塔池化进行了修改）提取多尺度特征图。中间特征通过跳跃连接传递至解码器。
语义解码器 ( $f_{sem}$ )： 使用高斯原型进行闭集分割。它利用结合了 Focal Loss、Soft Dice Loss 和特征对齐损失 ( $L_{feat}$ ) 的多损失目标，其中特征对齐损失惩罚偏离类级高斯原型的偏差，并由每类的标准差进行归一化。
对比解码器 ( $f_{con}$ )： 在特征空间中分离已知像素和未知像素。它采用对比损失，将每类平均归一化特征与历史原型在单位超球面上对齐，并使用 Objectosphere 损失来强制径向分离（将已知像素推离原点，将未知像素拉向原点）。未归一化嵌入的范数作为全局未知性的代理指标。
敏感性解码器 ( $f_{sen}$ )： 这是本文的核心贡献。该解码器旨在捕捉由激活异常和纹理异常引起的细粒度局部不确定性，它独立处理来自三个金字塔层级的编码器特征图。每一层级使用轻量级头部（三个 $1\times1$ $1 \times 1$ 卷积层，带有层归一化和 ReLU）。生成的尺度级敏感性图经过上采样后，通过元素级求和进行融合，最后通过 Sigmoid 函数生成逐像素的不确定性图。
- 训练信号： $f_{sen}$ 通过针对“代理未知标签”的二元交叉熵进行训练。这些标签由数据集中的空缺标注（void annotations）和通过 CutPaste 数据增强合成的 OOD 切片生成。
- 互补性： 与其他分支不同， $f_{sen}$ 不预测类别成员身份或特征距离；它专门学习基于局部激活不稳定性，模型在何处应当表现出不确定性。

推理与融合
最终的未知性得分通过融合来自三个解码器的信号得出：

语义未知性源自语义 Logit 的高斯似然。
对比异常得分与敏感性图取平均值。
最终得分是语义得分与对比-敏感性得分的平均值。
在融合之前，所有得分都会在每张图像内进行 Min-Max 归一化，以防止规模主导。超过阈值 ( $\delta=0.99$ ) 的像素被标记为未知；其余像素采用语义解码器的标签。

核心贡献

敏感性解码器： 一种新型的细粒度不确定性建模模块，在概念上区别于基于原型和基于范数的不确定性，专门用于检测模糊边界和纹理异常。
统一架构： 一个全卷积三解码器架构，可在单张消费级 GPU 上进行端到端训练，无需多阶段流水线或针对新类别的额外监督。
全面的评估： 证明了该方法在使用闭集指标（mIoU）和专门的开放世界指标（AUROC、AUPR、FPR@95TPR）方面均较基准模型有持续改进。

实验结果
该方法在 Cityscapes（闭集）和 BDD-Anomaly（开放世界）上进行了评估。

闭集性能： 在 Cityscapes 上，所提方法实现了 69.88% 的 mIoU，优于复现的 ContMAV 基准（69.28%）以及 DMLNet 和 RAML 等其他开放世界方法。
开放世界性能： 在 BDD-Anomaly 上，该方法显著提升了异常检测指标：
- AUROC： 从 63.4%（基准）增加到 65.8%。
- AUPR： 从 41.8% 增加到 44.3%。
- FPR@95TPR： 从 67.4% 降低到 64.9%（越低越好）。
效率： 敏感性解码器增加的参数量不足 100 万个（占总模型的 <3.6%），且引入的计算开销可以忽略不计，在 NVIDIA L40s GPU 上保持了 24 fps 的推理速度（基准模型为 23 fps）。

意义与主张
论文声称，这三个解码器提供了真正互补的信号：Logit 空间中的类别级 OOD 距离、嵌入空间中的全局特征能量，以及跨编码器尺度的局部激活不稳定性。消融研究证实，每个组件都解决了开放世界问题的不同方面，敏感性解码器特别有助于提升未知区域的检测能力，且不会降低闭集准确率。作者将该方法定位为一种轻量级的单阶段解决方案，避免了使用重型骨干网络或复杂的多阶段训练计划（如 RAML），同时在检测全局信号容易遗漏的细微异常方面实现了更优的表现。未来的工作将探索学习化的融合策略以及用于敏感性分支的更丰富的 OOD 合成方法。