📊 statistics

Conformal Prediction Sets for Instance Segmentation

本文介绍了一种用于实例分割的符合预测算法，该算法能够生成自适应置信集，在提供可证明保证的同时，确保集合中至少有一个预测结果能与真实值实现高交并比（IoU），并能在多种应用场景中有效地捕捉结构不确定性。

原作者： Kerri Lu, Dan M. Kluger, Stephen Bates, Sherrie Wang

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Kerri Lu, Dan M. Kluger, Stephen Bates, Sherrie Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在看一张复杂的城市地图，然后你指向屏幕上的一个特定位置。你问电脑：“这是什么？”

在实例分割（Instance Segmentation，这是一个寻找并勾勒出图像中单个物体轮廓的高级术语）的世界里，目前的 AI 模型就像是过度自信的导游。它们会指着一个地方说：“那肯定是一个公园，”并画出一个单一且清晰的轮廓。它们大多数时候可能是正确的，但它们从不承认：“实际上，这个区域看起来有点模糊；它可能是一个公园，也可能是一个高尔夫球场，或者可能是两个小型公园合并在一起。”它们即便在不确定时，也会给出一个具有高置信度的唯一答案。

这篇论文介绍了一种新的提问方式：“给我一份可能性清单，并向我保证其中一个是正确的。”

以下是使用简单类比对他们解决方案的拆解：

1. 问题所在： “一锤子买卖”式的导游

目前的 AI 模型试图挑选出唯一的“最佳”答案。但在现实生活中，事物往往具有歧义性。

问题： 如果你要求 AI 在卫星图像中勾勒出一个农田，它可能会画出一条将田地一分为二的线（认为它是两个田地），或者将两个田地合并为一个。
缺陷： 模型并不知道自己很困惑。它只是给你一个掩码（一种数字化的轮廓）并说：“这就是真相。”如果它错了，你没有任何预警。

2. 解决方案：选项的“安全网”

作者创建了一种称为符合性预测（Conformal Prediction）的方法。与其要求 AI 给出一个答案，不如要求它生成一个置信集（Confidence Set）——即同一个位置的一组不同可能轮廓的小篮子。

这就像天气预报。

旧方法： “下午 2 点会下雨。”（如果没下，预报就错了）。
新方法： “下午 1 点到 3 点之间有 90% 的概率会下雨。”（即使你不知道确切的分钟，你也有一个保证真相存在的窗口期）。

在这篇论文中，“窗口”就是一组不同的形状。该算法承诺：“我会给你 3 或 4 个不同的轮廓。我保证其中至少有一个轮廓能以高精度匹配真实物体。”

3. 它是如何工作的：“调音旋钮”策略

这些不同选项生成的秘诀在于它们使用的“可调参数”（就像音量旋钮或滑块）。

类比： 想象一台信号略微模糊的收音机。如果你把旋钮稍微向左转，你能听清音乐但带有些许杂音。如果你向右转一点，杂音消失了，但音乐变得沉闷。没有哪一个设置是对每首歌都完美的。
方法： 研究人员使用了一个校准数据集（一组带有已知答案的练习图像）。他们用许多不同的“旋钮设置”来测试 AI。
- 设置 A 对田地 1 效果很好，但在田地 2 上失败了。
- 设置 B 在田地 1 上失败，但在田地 2 上表现完美。
神奇之处： 算法观察所有这些设置，并挑选出一个最小化的组合，这些设置结合在一起时，能够覆盖练习集中几乎所有的场景。

当一张新的、未知的图像进来时，AI 不仅仅选择“最佳”设置。它通过那个特定的组合运行图像，并给你返回结果中的掩码列表。

4. “重复项”过滤器

有时，不同的设置会产生几乎相同的轮廓。为了保持列表有用且不至于过于冗长，系统有一个“重复项移除器”。

类比： 如果你索要一份餐厅名单，结果得到了“披萨店”、“市中心披萨店”和“主街披萨店”，而它们其实都是同一个地方，你只需要一个条目。
系统会移除近乎重复的项，因此如果 AI 非常确定，你可能只会得到 1 或 2 个选项。如果图像非常混乱（具有歧义），列表就会增加以包含更多截然不同的可能性。

5. 现实世界测试

作者在三个非常不同的任务上测试了该方法：

农田： 在卫星图像中区分相邻的田地（通常很难判断一个田地的结束和另一个的开始）。
细胞： 在显微镜图像中勾勒单个细胞（其中细胞经常重叠）。
车辆： 在街景中识别汽车。

结果：

覆盖率： 他们的这种方法比标准的“最佳猜测”方法更好地实现了其目标保证（例如，“在 90% 的情况下，我们的一个掩码是正确的”）。
适应性： 当图像清晰时，列表很短（高效）；当图像混乱且令人困惑时，列表会变长（安全），确保用户不会被错误答案误导。
结构性： 与以往仅仅“模糊化”单个形状边缘的方法不同，这种方法提供了结构上不同的形状（例如，一个形状说“这是一个大田地”，另一个形状说“这是两个小田地”）。

总结

这篇论文不仅让 AI 变得更聪明，还让 AI 变得诚实。它承认有时并不存在唯一的正确答案。它不再强行给出一个可能错误的单一轮廓，而是提供一份经过筛选的可能性清单，并保证真相就隐藏在其中。它将一次“猜测”变成了一张“安全网”。

技术摘要：用于实例分割的符合预测集（Conformal Prediction Sets）

问题陈述
目前的实例分割模型虽然实现了较高的平均性能，但缺乏原则性的不确定性量化。它们的输出（如逻辑值或置信度分数）通常是未校准的，无法保证预测的掩码（mask）接近地面真值（ground truth）。现有的不确定性指标（例如边界概率）通常也是未校准且难以解释的。此外，近期的针对分割任务的符合预测方法受限于对单个模型预测掩码的修改（例如通过膨胀或边界扩张）。这些方法只能捕捉局部边界的不确定性，却无法解决结构不确定性（structural uncertainty）——即关于相邻区域应当被视为单个对象还是拆分为多个对象的歧义性。这种局限性在现实应用中至关重要，因为对于不同的查询，可能并不存在单一的“最佳”参数设置。

方法论
作者提出了一种符合预测算法，旨在为给定的图像和像素坐标查询生成自适应置信集。该方法在以下框架下运行：

设定： 输入包含一张图像 $I$ 和一个查询点 $(z_1, z_2)$ 。目标是为包含该查询点的对象实例预测一个二值掩码 $Y$ 。该方法利用一个接受可调参数 $T$ （例如分水岭阈值、逻辑值阈值或掩码索引）的实例分割模型 $f$ ，以产生多样化的预测 $\hat{Y} = f(X, T)$ 。
校准： 利用包含 $n$ 个图像-查询对及其地面真值掩码的校准数据集，算法评估由 $k$ 个参数值组成的网格 $\{t_1, \dots, t_k\}$ 生成的预测结果的交并比（IoU）。
集合构建（集合覆盖）： 对于目标 IoU 阈值 $\tau$ 和误差率 $\alpha$ ，算法识别一个最小的参数索引子集 $J_{\alpha, \tau}$ ，使得成功预测（即 IoU $> \tau$ 的预测）的并集覆盖至少 $(1-\alpha)n$ 个校准样本。这一步被建模为一个集合覆盖（Set Cover）问题，通过贪心算法结合暴力搜索精炼来最小化集合大小。
预测： 对于新的测试输入，算法使用选定的参数子集 $J_{\alpha, \tau}$ 生成预测，形成初始置信集 $C_{\alpha, \tau}(X_{test})$ 。
自适应精炼（去重）： 为了避免冗余，算法使用支配集（Dominating Set）方法移除近乎重复的掩码（由第二个 IoU 阈值 $\eta$ 定义）。这产生了一个随查询难度变化的自适应集合大小。
保证： 该方法提供了渐近保证，即以概率 $\ge 1-\alpha$ ，最终的置信集至少包含一个 IoU 大于重新校准后的阈值 $\tilde{\theta}$ 的掩码。同时，研究也提供了一个基于样本拆分和符合风险控制（CRC）的有限样本版本。

核心贡献

新颖的公式化： 本文引入了第一个能够捕捉结构不确定性的实例分割符合预测公式。不同于以往通过扰动单个掩码的方法，本方法通过构建多个模型配置下的多样化预测来构建置信集。
在非单调设置下的可行性： 该方法不需要单调损失函数（这是标准符合风险控制和“先学习后测试”框架的要求）。这使得可以使用 IoU 相关的损失函数，而这类函数相对于分割参数本质上是非单调的。
自适应置信集： 算法生成的预测集大小会根据查询难度进行调整，通过移除重复项，在不使信息过载的情况下提供更具信息量的确定性表示。
理论保证： 该工作提供了覆盖率的渐近和有限样本理论保证，确保集合中至少有一个预测能与地面真值实现高 IoU。

实验结果
该算法在三个不同的任务上进行了评估：农田边界划分、细胞分割和车辆检测。

覆盖率： 该方法实现了接近目标 $(1-\alpha)$ 的经验覆盖率，显著优于基准方法。例如，在车辆检测中，覆盖率从“朴素最佳参数基准”（66.1%）提升到了 84.3%。
基准对比： “朴素最佳参数”基准（选择单一全局参数）和“形态学膨胀”基准（扩张单个掩码）都未能捕捉到结构歧义。所提方法成功恢复了基准方法出现过度分割或分割不足的情况。
自适应性： 预测集的大小随查询难度而变化。在模糊场景（如田间边界）中，集合会扩展以包含多个可能的掩码（最多 5 个）；而在清晰场景（如明显的细胞）中，集合则收缩至 1 或 2 个。
阈值： 重新校准后的 IoU 阈值 $\tilde{\theta}$ 保持在接近或高于原始目标 $\tau$ 的水平，表明去重过程并未显著降低覆盖率保证。

意义与主张
作者声称，这项工作是首个通过构建多样化分割预测的置信集来捕捉实例分割中结构不确定性的工作。其意义在于将范式从提供单一的“最佳”预测（该预测可能在结构上是错误的）转向提供一组可证明的多样化假设。这种方法承认，在歧义图像（如低对比度田野、重叠细胞）中，单一掩码往往是不够的。该方法通过显式量化集合内包含真实对象的概率，使分割模型的可靠性变得形式化。

论文也谦虚地指出，符合预测无法克服底层分割模型固有的局限性；如果基础模型无法达到一定的 IoU，置信集也无法保证该 IoU。此外，该方法依赖于存在一个能诱导有意义多样性的可调参数。作者将未来的工作方向确定为：开发能够显式激励掩码多样性的训练策略，以及创建可扩展的近似算法来处理组合优化步骤（集合覆盖和去重），以应对更大的参数空间。