Contrasting Cost-Agnostic and Cost-Sensitive Losses under Limited Model Capacity via $\mathcal H$-consistency

技术摘要：在有限模型容量下，对比成本无关损失与成本敏感损失的 H-一致性

问题陈述
在机器学习领域，关于从业者应当使用通用的、成本无关的目标函数（例如交叉熵）并进行后处理（例如阈值搜索）来处理特定决策任务，还是应当通过成本敏感的损失函数将下游决策任务直接纳入训练目标，存在着长期的争论。虽然在理想设置（具有无限数据和无限模型容量）下，这两种方法在统计上是等价的，但经验证据表明，在实践中，成本敏感训练通常能产生更好的特定任务性能。然而，这种差距的理论基础尚未得到严格表征，特别是在有限模型容量的设置下。

本文研究了以下两种方法之间存在严格性能差距的条件：

1. 成本无关方法（Cost-Agnostic Approach）： 使用通用的代理损失 $L_{ag}$（例如交叉熵）进行训练，随后针对特定的决策任务进行链路函数（例如阈值）搜索。
2. 成本敏感方法（Cost-Sensitive Approach）： 使用专门设计的代理损失 $L_{cs}$ 来对齐目标成本矩阵 $\ell$，而无需单独的阈值搜索。

作者关注的模型类 $\mathcal{H}$ 是“小”的（有限容量）——具体而言，该模型类足够丰富，能够包含成本敏感任务的最优决策边界，但不足以包含预测完整条件标签分布 $p(x)$ 的假设。

方法论与理论框架
本文利用 H-一致性（H-consistency） 框架来分析在假设类 $\mathcal{H}$ 上最小化代理损失与最小化目标离散损失 $\ell$ 之间的关系。

• H-一致性： 如果在 $\mathcal{H}$ 上最小化期望代理损失意味着在 $\mathcal{H}$ 上最小化期望目标损失，则称代理损失 $L$ 与链路函数 $\psi$ 是 $H$-一致的。
• 动机反例（示例 1）： 作者构建了一个二分类场景，其中最优的成本敏感决策边界是线性的，但其斜率取决于成本参数 $\alpha$。然而，最优的成本无关线性分类器（最小化交叉熵）产生的等高线是与 $\alpha$ 无关的垂直线。
  • 核心洞察： 后处理（阈值化）可以沿着所学模型的等高线移动决策边界，但无法改变其斜率。因此，如果最优的成本敏感边界需要与成本无关边界不同的斜率，那么即使最优边界位于模型类的几何能力范围内，阈值化也无法恢复出最优决策。
• 代理类型分析：
  1. 成本无关代理（例如交叉熵）： 本文证明，对于线性模型（$\mathcal{H}_{lin}$），结合阈值搜索的成本无关代理在处理成本敏感任务时，对于斜率不同的边界是 非 $H$-一致的（定理 6）。
  2. 嵌入（Embeddings）： 作者分析了一类直接从成本矩阵 $\ell$ 构建的分段线性凸代理，称为“嵌入”（Finocchiaro et al., 2024）。在满足 $P$-最小化性（最优决策边界存在于 $\mathcal{H}$ 中）和 $\mathcal{H}$ 近似封闭性的假设下，证明了嵌入是 $H$-一致的（定理 9）。它们有效地“几乎直接诱导”了最优决策属性。
  3. 正确评分规则的加权类似物（例如加权交叉熵）： 本文研究了标准损失的加权版本。虽然这些损失在强假设（参数空间凸性和实现边界的假设的最优性）下可以实现 $H$-一致性，但作者通过反例（命题 11）证明这些条件通常并不满足。因此，加权类似物在有限容量设置下往往无法实现 $H$-一致性。

核心贡献

1. 建立理论差距： 本文确立了在有限模型容量设置下，成本敏感方法与成本无关方法之间的严格理论差距。它证明了即使最优决策边界在模型类中是可表示的，由于代理损失的最优假设与目标的决策最优假设之间存在不一致，成本无关代理仍可能无法学习到该边界。
2. 后处理的局限性： 本研究正式展示了当所学模型的决策等高线（例如线性交叉熵的垂直线）与最优成本敏感边界的几何形状不一致时，“巧妙的”后处理（如阈值搜索）不足以恢复出最优决策。
3. 嵌入的 H-一致性： 作者证明了在温和的分布假设下，成本敏感嵌入是 $H$-一致的，这为它们在小模型中的应用提供了理论保证。
4. 加权类似物的条件： 本文识别了要求加权评分规则实现 $H$-一致性的特定（且通常无法满足的）条件（假设 3 和 4），强调了它们相对于嵌入的脆弱性。

实证结果
作者利用合成数据以及来自 UCI 存储库（德国信贷、学生表现、糖尿病）的真实数据集，通过线性模型和小型神经网络验证了其理论发现。

• 性能差距： 在评估成本敏感损失指标时，成本敏感代理（特别是嵌入和加权交叉熵）的表现始终优于结合了后处理的成本无关代理（交叉熵）。
• 嵌入的优越性： 嵌入的表现通常优于加权交叉熵，这与嵌入是 $H$-一致而加权类似物则不能保证 $H$-一致的理论结果相吻合。
• 多分类挑战： 在多分类设置中，成本无关模型的后处理往往会导致性能相对于不进行阈值搜索时有所下降，这可能是由于高维空间中阈值搜索的复杂性所致。
• 模型容量： 性能差距在小型模型（线性分类器）中最为显著。随着模型容量的增加（例如 4 层 ReLU 网络），该差距缩小，尽管嵌入通常仍保持竞争优势或更优表现。

意义与主张
本文旨在作为刻画“何时”选择代理损失会影响决策论性能的第一步研究。它并不主张将成本敏感代理作为通用解决方案，而是界定了特定的场景（有限模型容量），在这些场景下，它们比带有后处理的成本无关方法具有严格的优势。

作者强调，其结果揭示了一种权衡：虽然成本敏感代理在资源受限的设置中（例如边缘计算、高频推理）可以提高特定任务的性能，但它们牺牲了成本无关模型（例如全预测器/omnipredictors）的泛化优势（即通过后处理适应未知或变化的成本矩阵）。这项工作表明，在模型容量有限且决策成本已知且固定的场景下，通过 $H$-一致的代理直接优化成本敏感目标在理论和实证上都是更优的选择。