📊 statistics

When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression

本文引入了一种校准感知的诊断框架，该框架推导出伪标记回归中置信度阈值化所引发的衰减偏差的闭式表达式，使从业者能够利用基于残差分数方差的计算性决策规则，判断此类阈值化是否适用于下游推断。

原作者： Marcell T. Kurbucz

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Marcell T. Kurbucz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，试图解开关于一大群人的谜团。你有一小群嫌疑人，你确切知道他们是有罪还是无辜（你的标注数据）。但你面对着一大群你一无所知的人（你的未标注数据）。

你拥有一台高科技的“有罪检测器”（一个机器学习分类器），它观察人群并为每个人给出一个介于 0% 到 100% 之间的“有罪分数”。这个分数是经过校准的，意味着如果检测器说"50%"，那就真的意味着他们有 50% 的概率是有罪的。

常见错误：“全有或全无”规则

大多数侦探（和数据科学家）会走捷径。他们会说：“如果有罪分数高于 90%，我就直接称他们为‘有罪’（1）。如果低于 10%，我就称他们为‘无辜’（0）。对于其他人，我直接忽略。”

这被称为置信度阈值法。它将模糊、细微的概率转化为生硬、非黑即白的标签。

问题所在： 这种捷径是危险的。通过强迫模糊的分数变成生硬的“是”或“否”，你丢失了信息。这就像把一个三维物体压扁成二维阴影；你丢失了深度。当你稍后使用这些“压扁”后的标签来计算统计数据时，你的结果会产生偏差（它们会系统地出错，通常偏小）。

论文的解决方案：“信任计”

这篇论文并没有告诉你停止使用这种捷径。相反，它提供了一个诊断工具（一个“信任计”），让你在开始分析之前进行检查。它回答的问题是：“我是否安全可以将这些模糊的分数转化为生硬的标签，还是说这会毁了我的结果？”

以下是论文中的“信任计”如何运作，使用简单的类比：

1. “噪声”检查（ $V^*$ 概念）

想象你的有罪检测器正透过一扇雾蒙蒙的窗户观察人群。

雾（ $X$ ）： 这些是你已经知道的关于每个人的基本事实（例如年龄、职业、性别）。
清晰视野（ $W$ ）： 这些是检测器看到的额外细节（例如面部微表情、语调、步态），而这些细节你没有在最终计算中使用。

论文引入了一个名为 $V^*$ 的概念。将其想象为在考虑了基本事实后，还剩多少“雾”。

如果 $V^*$ 为零： 检测器只是在重复你已经知道的基本事实。它没有任何新信息。如果你尝试使用这个检测器，你的数学计算会崩溃。这就像试图通过看一张你已有的天空图片来猜测天气。
如果 $V^*$ 很高： 检测器看到了你看不到的东西。它拥有“秘密知识”。这是好事。这意味着检测器增加了价值。

规则： 如果你的检测器只是在重复你已经知道的内容（ $V^* \approx 0$ ），不要信任它。如果它看到了新东西（ $V^* > 0$ ），你可能是安全的。

2. “信号丢失”检查（ $\kappa$ 概念）

现在，假设你决定使用“全有或全无”规则（90% 的阈值）。你丢弃了多少检测器的“秘密知识”？

论文计算了一个名为 $\kappa$ （卡帕）的数字。

$\kappa = 1.0$ ： 你保留了 100% 的信号。阈值是完美的；你没有丢失任何信息。
$\kappa = 0.2$ ： 你丢弃了 80% 的信号。你的最终结果将只有它本应强度的 20%。

神奇之处： 论文表明，你甚至可以在运行最终分析之前计算出这个 $\kappa$ 值。你只需要查看未标注的人群和检测器的分数。

决策规则（“交通灯”）

论文为从业者提供了一个简单的三步决策规则（算法 1），以决定该做什么：

检查雾（ $V^*$ ）： 检测器是否看到了任何新东西？
- 没有： 红灯。 停止。该检测器对此特定任务无用。坚持使用你那小群已知的嫌疑人。
- 有：进入第 2 步。
检查信号丢失（ $\kappa$ ）： 如果你使用生硬阈值（如 90%），你会丢失多少信号？
- 高丢失（低 $\kappa$ ）： 黄灯。 不要使用生硬的“是/否”标签。相反，直接使用模糊的分数（“软”方法）。保留细微差别更安全。
- 低丢失（高 $\kappa$ ）： 绿灯。 你可以安全地将分数转化为生硬标签。使用这种捷径是安全的。

为什么这很重要

论文从数学上证明，你甚至可以在运行实验之前，精确预测你的结果会被“衰减”（削弱）多少。

“软”方法： 直接使用模糊的分数。它很准确，但如果你没有足够的数据，可能会充满噪声。
“硬”方法： 使用“是/否”标签。它很清晰，但如果你切断了太多数据，通常会有偏差（太弱）。
“监督”方法： 仅使用你确切知道的那一小群人。

这篇论文的贡献是一个计算器，它告诉你：“鉴于你的特定数据和特定检测器，这三条路径中的哪一条会给你最准确的答案？”

一句话总结

不要盲目地将模糊的概率转化为生硬的标签；使用这个新的“信任计”来检查你的检测器是否拥有足够的独特信息，以及你选择的截断点是否过于严苛，确保你不会无意中丢弃你所需的证据。

技术摘要：伪标签回归的校准诊断

1. 问题陈述

现代机器学习流程越来越多地利用在小型标记子集（ $L$ ）上训练的分类器输出的校准概率分数，来指导针对大型未标记群体（ $U$ ）的下游回归任务。常见应用包括估计潜在群体的总体效应、流行率或不平等性（例如，公平性审计中的受保护属性或医学影像中的疾病风险）。

在这种半监督设置中，一种主导做法是伪标签：通过应用置信度阈值 $\tau_{thr}$ （例如 0.9），将校准概率 $p$ 转换为硬二值标签 $\hat{G}$ 。尽管这种方法在分类任务中经验上很成功，但本文解决了一个关键差距：这种阈值处理如何使下游回归系数产生偏差？ 现有文献缺乏对置信度阈值如何衰减或扭曲感兴趣估计量的定量解释，特别是在部分线性回归模型的背景下，其目标是估计潜在组指示变量 $G$ 与结果 $Y$ 之间的关联，同时控制协变量 $X$ 。

2. 方法论与设置

本文在一个框架内运作，其中：

数据：观察到两个独立同分布样本：一个标记集 $L = \{(W_i, X_i, G_i, Y_i)\}$ 和一个更大的未标记集 $U = \{(W_i, X_i, Y_i)\}$ 。
特征：分类器在特征集 $W$ 上进行训练，而下游回归控制一个子集 $X \subseteq W$ 。至关重要的是，本文强制实施结构分离，即 $W$ 必须严格比 $X$ 丰富（ $X \subsetneq W$ ），以确保可识别性。
模型：目标参数 $\tau$ 通过部分线性回归定义： $E[Y | G, X] = \mu(X) + \tau G$ 。
假设：分类器输出 $p = f(W)$ 是条件校准的，满足 $E[G | p, X] = p$ 。

基于伴随的识别结果 [8]，作者利用矩方程直接使用校准分数 $p$ 来识别 $\tau$ （“软”估计量）。随后，他们分析了“硬”估计量的性质，该估计量用阈值化的二值标签 $\hat{G} = \mathbb{1}\{p > \tau_{thr}\}$ 替换了 $p$ 。

3. 主要贡献与理论结果

本文推导了五个具体预测和一个诊断程序，形式化如下：

I. 闭式衰减偏差（预测 1）
本文推导了由硬伪标签引起的衰减偏差的闭式表达式。硬估计量 $\hat{\tau}_{hard}$ 的概率极限为：
$\text{plim } \hat{\tau}_{hard} = \kappa(\tau_{thr}) \cdot \tau$
其中衰减因子 $\kappa(\tau_{thr})$ 是残差化硬标签对残差化软分数的总体 OLS 斜率。

意义：该因子可在运行任何推断之前计算，仅依赖于未标记集上 $(p, X)$ 的联合分布。它精确量化了在特定阈值处将概率二值化时损失了多少信号。

II. 软估计量的三明治方差（预测 2）
软估计量（直接使用 $p$ ）的渐近方差与残差分数方差 $V^* = E[\text{Var}(p|X)]$ 的平方成反比。

推论：即使分数信息量（低 $V^*$ ）的适度减少也会导致巨大的精度损失。本文提供了一种三明治方差插入法，可生成有效的 Wald 区间。

III. 置信度阈值处理的偏差 - 方差遗憾（预测 3）
对于将伪标签限制在自信子集的方法（例如 FixMatch 风格），均方误差（MSE）分解为平方偏差项（由 $\kappa_{FM}$ 驱动）和方差项（由减少的样本量 $|C|$ 放大）。

发现：随着阈值变得更加严格，方差单调增长，而偏差可能会波动。总 MSE 通常由方差驱动，这使得软估计量在许多机制下优于硬标签，尽管它缺乏“硬”标签。

IV. 校准漂移下的敏感性边界（预测 4）
在校准条件以误差 $\eta(p, X)$ 成立且该误差有界 $\delta$ 的有界分布偏移下，渐近偏差有界为：
$|\text{plim } \hat{\tau} - \tau| \leq |\tau| \frac{\delta E|2p-1|}{2V^*}$

推论：较高的残差方差 $V^*$ （信息量更大的分数）按比例降低了给定水平校准漂移下的最坏情况偏差。

V. $V^*$ -坍缩边界（预测 5）
本文识别出一个尖锐的边界：当且仅当 $p$ 是 $X$ 的确定性函数时， $V^* = 0$ 。

结构要求：如果分类器特征 $W$ 与下游控制变量 $X$ 相同，则 $p = f(X)$ ， $V^*=0$ ，且矩方程变得无信息（识别失败）。补救措施是确保 $W$ 包含下游回归中未控制的特征。

4. 诊断程序

作者提出了一种实用的、单页的诊断算法（算法 1），供从业者决定置信度阈值处理是否安全：

计算 $V^*$ ：在未标记集上，通过回归去除 $X$ 后，估计校准分数的残差方差。
计算 $\hat{\kappa}$ ：对于一系列阈值，估计衰减因子。
决策规则：
- 如果软估计量的隐含标准误过高（由于低 $V^*$ ），则优先选择监督基线（仅使用 $L$ ）。
- 如果对于所有阈值 $\hat{\kappa}$ 都远小于 1，则硬阈值处理会导致显著的衰减；优先选择软估计量。
- 否则，两者均可接受，但建议优先选择软估计量，因为它对阈值选择具有鲁棒性。

5. 实验结果

本文通过五个受控模拟和基于UCI Adult Income数据集的真实数据示例验证了这些预测：

衰减： $\hat{\tau}_{hard}$ 的经验估计值在六个不同阈值下与闭式 $\kappa(\tau_{thr})$ 预测高度吻合，具有显著的统计意义。
方差：三明治方差公式准确预测了蒙特卡洛方差，并实现了标称的 95% 覆盖率。
遗憾：实验证实，高置信度阈值通常因方差膨胀而导致高 MSE，验证了偏差 - 方差权衡分析。
敏感性：推导出的敏感性边界在各种校准漂移场景下均成立，经验偏差远低于理论最坏情况包络。
现实案例：在 UCI Adult 实验中，诊断正确识别出监督基线（ $L$ 上的 OLS）优于伪标签估计量，因为标记集具有足够的信息量，且条件概率能很好地被控制变量解释（相对于噪声， $V^*$ 较低）。相反，诊断显示，由于分类器特征的丰富性，该数据集上的硬标签引起的衰减极小（ $\hat{\kappa} \approx 0.92$ ）。

6. 意义与主张

本文声称做出了操作性贡献，而非新的算法架构。它没有提出新的伪标签算法，也不与最先进的分类损失（如 FixMatch）竞争。相反，它提供了：

对为何置信度阈值处理会使下游回归系数产生偏差的定量解释。
一个诊断工具（ $(V^*, \kappa)$ 决策规则），允许从业者预先计算使用硬标签是否安全，或者是否应坚持使用软分数或纯粹的监督方法。
一个结构洞察，即分类器特征（ $W$ ）与下游控制变量（ $X$ ）之间的分离不仅仅是设计选择，而是该设置下识别的数学必要条件。

作者强调，他们的框架是“校准感知”的，将分类器校准的抽象质量转化为下游估计偏差的具体边界，从而弥合了分类性能与因果/关联推断之间的差距。