📊 statistics

Density-Ratio Losses for Post-Hoc Learning to Defer

本文提出了一种事后学习延迟框架，将延迟决策建模为模型与专家理想分布之间的密度比估计，从而在无需重新训练的情况下实现可调节的延迟率，同时统一了 Chow 规则、专家倾斜贝叶斯推断和异常检测。

原作者： Alexander Soen, Ragnar Thobaben, Joakim Jaldén, Richard Nock

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexander Soen, Ragnar Thobaben, Joakim Jaldén, Richard Nock

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名在繁忙医院工作的住院医师。你聪明且受过专业训练，但你深知自己并非完美无缺。有时，患者的症状如此令人困惑或罕见，以至于即使是你最好的猜测也可能出错。在这些时刻，最明智的做法不是猜测，而是说：“我不确定，让我们请教内科主任。”

本文旨在教导计算机程序（AI 模型）做到 exactly 这一点：知道何时退后，让人类专家接手。这一过程被称为学习延迟（Learning to Defer）。

以下是作者所做工作的简要拆解，使用了日常类比。

问题：“事后”困境

通常，当我们构建 AI 时，我们会从头训练它，使其在所有方面都达到完美。但在现实世界中，我们往往已经拥有一个强大的 AI 模型，却难以轻易更改（也许它太大了，或者已经部署）。我们称其为“固定”模型。

挑战在于：如何在不重新训练整个模型的情况下，教会这个固定模型知道何时寻求帮助？

大多数现有方法试图通过观察 AI 的“自信度”来猜测这一点。如果 AI 有 99% 的把握，它就给出答案；如果只有 50% 的把握，它就寻求帮助。但这就像学生根据自己感觉声音的大小来猜测是否知道答案一样。当数据混乱，或者专家在特定、罕见的案例上表现非常出色时，这种方法往往会失效。

解决方案：“理想世界”类比

作者提出了一种思考这一问题的新方式。他们不再问"AI 有多自信？”，而是问"在什么样的世界里，这个 AI 能表现完美？"

他们设想了两个不同的“理想世界”（他们称之为理想分布）：

AI 的理想世界：一个 AI 是天才的现实版本。在这个世界里，AI 犯的错误极少。
专家的理想世界：一个人类专家是天才的现实版本。在这个世界里，专家犯的错误极少。

魔法技巧：
作者意识到，你可以比较这两个世界。

如果某个具体的病例看起来非常像AI 的理想世界，AI 就应该给出答案。
如果同一个病例看起来更像专家的理想世界，AI 就应该延迟（寻求帮助）。

他们使用一种名为**密度比（Density Ratio）**的数学工具来衡量这一点。这就像一个“可能性计”。它问道：“这种情况更可能发生在 AI 的完美世界里，还是专家的完美世界里？”

“记分牌”（DR CPE 损失函数）

为了在实践中实现这一点，作者必须发明一种新方法，来训练一个“记分员”（一个小型、简单的程序）来读取这个计量器。

他们意识到，弄清楚这两个“理想世界”之间的差异，在数学上类似于猜赢家的游戏。

想象你有两支队伍：AI 队和专家队。
你向记分员展示一场比赛（一个数据点）。
记分员必须猜测：“这场比赛是发生在 AI 队通常获胜的世界里，还是专家队？”

通过训练记分员玩这个猜谜游戏，作者创造了一种新的“损失函数”（用于训练的分值规则），称为DR CPE。这使得系统能够确切地学习何时切换到专家，而无需在做出决定之前就知道专家的答案。

为什么这更好（结果）

作者在各种混乱的数据集上测试了这种方法（例如包含错误的医学图像，或某些疾病非常罕见的数据）。

旧方法：当数据混乱时经常失败。这就像一个学生在测试题与练习题略有不同时就会惊慌失措。
新方法（DR CPE）：更加稳健。它更好地处理了混乱的数据，并始终做出正确的选择：在安全时给出答案，在不安全时寻求帮助。

“温度”旋钮

他们方法的一个有趣功能是“温度”设置（称为 $\gamma$ ）。

高温：AI 更愿意冒险，即使有点不确定也会给出答案。
低温：AI 非常谨慎，会更频繁地寻求帮助。

这非常棒，因为这意味着你可以在系统构建好之后，调整 AI 寻求帮助的频率，而无需重新训练整个系统。你只需要转动旋钮即可。

总结

简而言之，这篇论文教导 AI 模型要谦虚。它们不再仅仅猜测自己有多自信，而是将当前情况与两个“完美世界”进行比较：一个是它们完美的世界，一个是人类专家完美的世界。如果情况看起来更像专家的完美世界，AI 就会礼貌地退后，说：“这个由你处理。”

这使得 AI 系统更加安全和高效，特别是在医学等高风险领域，因为它确保了困难案例始终由最佳可用头脑（人类或机器）处理。

问题陈述
学习延迟（Learning to Defer, L2D）旨在解决在可靠性至关重要的高风险领域（如医疗保健、金融）部署机器学习（ML）模型所面临的挑战。其目标是使模型能够在自身输出被认为不可靠时，放弃做出预测，转而求助于专家（可能是人类）。虽然“学习拒绝”（Learning to Reject, L2R）允许模型基于自身置信度放弃预测，但 L2D 在训练过程中明确引入专家，以学习专家何时可能优于模型。

现代机器学习的一个关键约束是“事后”（post-hoc）设置，即预训练的基础模型 $h$ 是固定的，仅学习延迟机制（拒绝器） $r$ 。重新训练大型模型往往成本高到无法承受。现有的事后方法通常依赖简单的启发式规则（如置信度阈值），或试图估计点对点专家比较目标（预测专家正确而模型错误的情况）。然而，这些方法在分布偏移或专家具有专业性时可能会失效。此外，许多现有方法需要重新训练以调整延迟率，限制了其适应性。

方法论
本文提出了一种基于理想分布和密度比估计的新型事后 L2D 框架。

理想分布：作者将“理想分布”定义为真实数据分布 $P$ 的散度正则化重加权，在该分布下特定的分类器 - 损失对能达到低损失。他们引入了两种类型：
- 边际理想分布（ $Q_m$ ）：在观测空间 $X$ 上优化。
- 联合理想分布（ $Q_j$ ）：在联合空间 $X \times Y$ 上优化。
  对于 Kullback-Leibler (KL) 散度，这些理想分布被证明是数据分布的乘法重加权，其中权重取决于分类器（或专家）在贝叶斯类别后验下的期望损失。
密度比延迟规则：作者不是直接学习一个二元拒绝器，而是通过比较模型 $h$ 和专家 $h^{(e)}$ 的理想分布来定义延迟。延迟决策通过对密度比 $\rho(x) = \frac{dQ_i(x)}{dQ^{(e)}_i(x)}$ 进行阈值化来做出。
- 如果观测值 $x$ 能更好地由专家的理想分布解释（即比率较低），则模型进行延迟。
- 这种方法自然地将评分器（密度比估计器）与延迟阈值分离开来，允许在训练后调整延迟率而无需重新训练评分器。
理论联系：
- Chow 规则：对于边际 KL 理想分布，推导出的规则在原始数据分布下恢复了经典的 Chow 规则。
- 专家倾斜后验：对于联合 KL 理想分布，该规则对应于在“专家倾斜”分布下的 Chow 式决策。该分布根据专家的损失对标签进行重加权，有效地将专家的比较优势纳入延迟决策中。
- 假设检验：延迟规则被框架化为区分模型理想分布与专家理想分布的 Neyman-Pearson 假设检验。
DR CPE 损失：由于理想分布依赖于未知的贝叶斯后验，且需要点对点专家访问（这在测试时不可用），作者无法使用闭式解。相反，他们将密度比估计（DRE）简化为类别概率估计（CPE）。
- 他们推导出一族DR CPE 损失（ $L_m$ 和 $L_j$ ），允许通过二元分类任务学习模型与专家理想分布之间的密度比。
- 联合 DR CPE 损失（ $L_j$ ）被证明是可实际估计的，并且作为边际损失（ $L_m$ ）的上界。
- 本文建立了该方法与现有专家比较估计方法（例如，回归零一准确率差异）及异常检测之间的联系。

主要贡献

分布公式化：本文引入了一个基于比较模型和专家理想分布而非直接点对点性能估计的事后 L2D 框架。
边际与联合理想分布：分析了边际理想分布与联合理想分布的区别，表明联合规则对应于在专家倾斜分布下的延迟，这在实践中具有重要意义，因为它考虑了专家的具体优势。
DR CPE 损失：作者推导出一族新的损失函数（DR CPE），使得可以通过标准的类别概率估计来学习延迟规则，弥合了理论理想分布与实际学习之间的差距。
适应性：该方法将评分器与阈值解耦，使得无需重新训练即可调整延迟率。

实验结果
作者在 CIFAR-100 和 MedMNIST 数据集的各种损坏设置（标签噪声、长尾分布和专业子集）下评估了其DR CPE方法。

竞争力：DR CPE 方法在与常见基线的对比中表现具有竞争力，包括基于置信度的启发式方法、两阶段代理损失方法以及专家比较估计器。
鲁棒性：与基线相比，该方法在不同数据集损坏组合下表现出更优越的鲁棒性。例如，当其他方法在专业子集（如 DermaMNIST 专家子集）上表现严重挣扎时，DR CPE 保持了稳定的性能。
消融实验：实验表明，损失函数的选择（如广义交叉熵与概率零一损失）和温度参数 $\gamma$ 会影响性能，但联合 DR CPE 方法仍保持鲁棒。

意义与主张
本文主张将事后 L2D 视为理想分布之间的密度比学习问题。这一视角：

弥合了经典 Chow 式规则与现代专家比较方法之间的差距。
阐明了与相关学习设置（如异常检测）的联系。
提供了一种具有理论依据、实际鲁棒且适应性强的方法，解决了重新训练大型模型的局限性以及简单启发式规则在高风险、偏移环境中的不稳定性。

作者指出，虽然他们的方法目前尚未为代理损失提供一致性保证（与某些端到端方法相比的理论局限性），但它为事后延迟提供了一种实用且鲁棒的解决方案，能够在无需完全重新训练模型的情况下有效利用专家信息。

问题：“事后”困境

解决方案：“理想世界”类比

“记分牌”（DR CPE 损失函数）

为什么这更好（结果）

“温度”旋钮

总结

类似论文