技术摘要：CONSIGN - 基于分解的空间分组引导的共形分割

1. 问题定义

基于机器学习的图像分割模型通常输出逐像素的置信度分数（例如 softmax 概率），这些分数作为不确定性的启发式指标。虽然在医学成像等高风险领域这些分数很有价值，但它们缺乏严格的统计保证。共形预测（Conformal Prediction, CP）提供了一个框架，可将这些启发式指标转化为具有用户指定误差保证的统计有效不确定性估计（共形风险控制）。

然而，现有共形预测在分割应用中的一个关键局限是逐像素独立性假设。标准方法为每个像素单独构建预测集，忽略了图像数据中固有的基本空间相关性。这种对空间结构的忽视导致了：

• 过于保守的估计：生成的预测集（可能的分割掩码集合）不必要地过大。
• 不一致的预测：集合可能包含空间上不一致或不现实的组合标签配置（例如，嘈杂、破碎的掩码）。
• 可解释性降低：缺乏结构约束使得不确定性估计对决策的意义降低。

2. 方法：CONSIGN

作者提出了CONSIGN（基于分解的空间分组引导的共形分割），这是一种将空间相关性整合到共形预测框架中的方法。该方法设计为与任何能够生成多个样本输出的预训练分割模型兼容（例如通过蒙特卡洛 Dropout、贝叶斯建模或集成方法）。

该方法包含两个主要阶段：

A. 空间感知集合的构建

CONSIGN 不再将像素视为独立的个体，而是利用**主成分分析（PCA）通过奇异值分解（SVD）**来捕捉图像中不确定性的联合变化。

1. 样本生成：给定预训练模型 $f$，该方法为给定输入图像 $X$ 生成 $N_s$ 个样本输出 $\hat{s}_1, \dots, \hat{s}_{N_s}$。
2. SVD 分解：样本围绕其均值 $\mu(X)$ 进行中心化并分解：
   $$\hat{S} - \mu(X) \cdot \mathbf{1}^T = U \Sigma V^T$$
   $U$ 的列（记为 $u_k$）代表不确定性的主方向。作者指出，使用少量分量（$K \in \{2, 5\}$）的截断 SVD 足以捕捉基本的空间结构，与完整基相比显著降低了计算复杂度。
3. 系数边界：对于每个主成分 $k$，该方法计算校准样本上投影系数的经验分位数（$a_k, b_k$）。这些定义了一个基线区间。
4. 预测集定义：预测集 $C^*_\lambda(X)$ 定义为所有标签图 $Y$ 的集合，这些标签图可以通过前 $K$ 个主成分的线性组合重建，其中系数 $c_k$ 位于由参数 $\lambda$ 缩放的边界内：
   $$c_k \in \left[ \frac{a_k+b_k}{2} - \lambda \Sigma_{k,k} \frac{b_k-a_k}{2}, \quad \frac{a_k+b_k}{2} + \lambda \Sigma_{k,k} \frac{b_k-a_k}{2} \right]$$
   最终的标签图是通过对重建的分数向量应用非线性投影 $P(\cdot)$（argmax）获得的。这种非线性使得该方法能够在保持低维表示的同时，强制执行标签级别的准确性约束（$\beta$）。

B. 校准

该方法采用校准程序来确定满足共形风险控制保证的最优 $\hat{\lambda}$：
$$\mathbb{E}[\ell(C(X_{test}), Y_{test})] \leq \alpha$$
其中 $\ell$ 是一个有界损失函数，用于衡量真实标签未包含在预测集中的失败程度。

• 优化挑战：与检查真实标签是否在集合中是微不足道的逐像素方法不同，在 CONSIGN 中检查 $Y \in C^*_\lambda(X)$ 需要寻找是否存在一个在边界内的系数向量 $c$，使得重建的掩码与 $Y$ 匹配（精度为 $\beta$）。
• 解决方案：作者将此表述为一个约束最小化问题，以找到最优系数 $c^*$，从而最小化真实标签与重建掩码之间的损失。如果数值求解器在边界内找到解，则认为真实标签被覆盖。
• 保证：即使求解器未能找到全局最优解（导致可能更保守的 $\lambda$），统计覆盖保证仍然有效。

3. 主要贡献

• 空间感知共形预测：本文引入了一个新颖的框架，明确将空间相关性纳入图像分割的共形预测集中，超越了逐像素独立性假设。
• 基于 SVD 的分解：通过利用 SVD 提取不确定性的主方向，该方法构建了结构一致且显著更小（不确定性体积更低）的预测集，优于逐像素基线。
• 截断带来的效率：作者证明，使用极少的主成分（$K=2$ 或 $5$）即可实现有意义的预测集，尽管存在非线性投影步骤，该方法在计算上仍是可行的。
• 通用适用性：该方法与模型无关，仅需能够从预训练模型生成多个样本的能力，适用于医学和自然图像数据集。

4. 实验结果

作者将 CONSIGN 与两个基线进行了评估：

1. 逐像素 RAPS：一种将像素视为独立的标准共形风险控制方法。
2. SACP（空间感知共形预测）：一种在局部邻域上聚合 softmax 分数的方法。

数据集：三个医学成像数据集（M&Ms-2, MS-CMR19, LIDC）和两个 COCO 子集（动物、车辆）。
指标：

• Chao 估计量：估计预测集中唯一分割的数量（不确定性体积）。
• 基于样本的估计覆盖率（sEC）：衡量经验覆盖率收敛到目标 $1-\alpha$ 的速度。
• 相关性：衡量采样分割的内部相关性。

发现：

• 降低的不确定性体积：与 RAPS 和 SACP 相比，CONSIGN 一致地生成了具有显著更低不确定性体积（更少唯一分割）的预测集。在 LIDC 数据集中，差异达到了几个数量级。
• 提高的效率：CONSIGN 用比基线更少的样本实现了所需的覆盖保证，表明预测集占据了一个更低维的子空间。
• 结构一致性：CONSIGN 生成的样本表现出更高的内部相关性和区域间更平滑的过渡，避免了逐像素方法中常见的“嘈杂”或组合不一致的掩码。
• 基线局限性：事后聚合分数的 SACP 方法表现与逐像素 RAPS 相当，表明简单的聚合无法有效捕捉实现紧密不确定性边界所需的真实空间依赖性。

5. 意义与局限性

意义：
本文声称 CONSIGN 提供了一种强大的工具，用于生成图像分割中“有意义”且“可解释”的不确定性估计。通过承认空间相关性，它产生了更紧密的预测集，这对于关键决策（特别是在假阳性/假阴性成本高昂的医学成像中）更为有用。该方法将启发式置信度分数转化为统计有效的边界，而无需重新训练底层分割模型。

局限性：

• 交换性假设：与所有标准共形预测方法一样，其保证仅在假设校准数据和测试数据是可交换的（例如，独立同分布）时才成立。该方法目前未解决分布偏移或分布外数据的问题。
• 计算成本：预测集的隐式形式要求在校准期间求解数值优化问题，这比逐像素方法增加了离线计算时间。然而，作者指出在线采样仍然很快。
• 求解器最优性：覆盖保证依赖于数值求解器找到合适的系数向量。虽然即使求解器保守（增加 $\lambda$）统计保证仍然成立，但这可能导致在病理情况下产生比理论必要更宽的边界。