Ratio-based Loss Functions

技术摘要：基于比率的损失函数

问题陈述
在监督机器学习中，损失函数的选择是与假设空间和概率测度集并列的关键组成部分。虽然基于距离的损失函数（依赖于 $|y - f(x)|$）在加性误差假设（信号加噪声）下的回归任务中是标准做法，但它们无法有效捕捉相对误差。在许多现实世界的应用中——如医疗给药、金融建模和质量控制——输出空间严格为正（$Y \subset (0, \infty)$），且误差结构通常是乘性的（信号乘以噪声）。基于距离的方法本质上依赖于尺度；恒定的绝对误差对于大数值可能微不足道，但对于小数值却至关重要。相反，基于比率的方法提供了尺度不变性。然而，文献中缺乏针对基于比率的损失函数的系统理论框架，特别是关于其一般数学性质（连续性、凸性、可微性）及其与风险泛函的关系。

方法论
作者提出了基于比率（rb）损失函数的形式化定义，并系统分析了其性质。

• 定义：如果存在一个表示函数 $\ell: (0, \infty) \to [0, \infty)$、一个常数 $c \ge 0$ 以及一个链接函数 $u: \mathbb{R} \to \mathcal{Y}$（可测、满射、单调），使得监督损失函数 $L: \mathcal{X} \times \mathcal{Y} \times \mathbb{R} \to [0, \infty)$ 满足：
  $$L(x, y, t) = \ell\left(\frac{u(t) + c}{y + c}\right)$$
  其中 $\mathcal{Y} = (a, b)$ 且 $0 \le a < b \le \infty$，则称其为基于比率的损失函数。当 $c=0$ 时，称为“严格基于比率”。链接函数 $u$ 将实值预测 $t$ 映射到输出空间 $\mathcal{Y}$，以确保比率定义良好。
• 理论分析：本文研究了表示函数 $\ell$ 和链接函数 $u$ 的性质（如连续性、Lipschitz 连续性、凸性、可微性）如何传递给损失函数 $L$ 及相应的风险泛函 $R_{L,P}(f)$。该分析依赖于统计学习理论中的标准结果（例如 Csiszár、Steinwart 和 Christmann 的研究），即关于性质从损失函数继承到风险泛函的结论。
• 比较：作者分析了基于比率的损失与基于距离的损失之间的关系，证明了虽然它们可以通过对数变换相互映射，但在其原始参数空间中并不等价。

主要贡献

1. 通用框架：本文建立了基于比率的损失函数的统一理论框架，将其与现有的基于间隔（分类）和基于距离（回归）的方法区分开来。
2. 性质传递：提供了严格的引理和命题，详细阐述了 $L$ 从 $\ell$ 和 $u$ 继承连续性、可微性、凸性和 Lipschitz 连续性的条件。一个关键发现是，在基于比率的情境中，凸性与 Lipschitz 连续性之间存在张力：凸性通常要求 $c=0$（严格基于比率），而全局 Lipschitz 连续性通常要求 $c>0$ 以在零附近或无穷远处界定比率。
3. 新提出与综述的损失函数：作者编目了文献中现有的基于比率的损失函数（例如最小绝对相对误差、最小乘积相对误差、对数 RMSE），并提出了几种新函数，包括：
   • Huber 型对数和相对损失。
   • Log-cosh-log 和 Cosh-log 相对损失。
   • 受 Hampel 损失启发的最小绝对相对误差（LARE）和最小乘积相对误差（LPRE）的平滑鲁棒版本。
   • 基于比率的损失的加权和不敏感变体。
4. 风险分析：本文解决了风险泛函的有限性问题，表明 $\ell$ 的有界性或 $u$ 和 $c$ 的特定条件是确保可测函数具有有限风险所必需的，特别是在 $\mathcal{Y} = (0, \infty)$ 的情况下。
5. 替代定义：作者简要考虑了使用倒数比率（$\frac{y+c}{u(t)+c}$）的替代定义，并证明了虽然性质在很大程度上成立，但原始定义（1）在证明全局 Lipschitz 连续性和风险有界性方面具有技术优势。

结果

• 凸性：本文证明，对于 $\mathcal{Y}=(0,1)$，无论 $c$ 取何值，非恒定的凸基于比率损失通常是不可能的。然而，对于 $\mathcal{Y}=(0, \infty)$ 且 $c=0$ 以及 $u(t)=e^t$ 的情况，如果 $\ell$ 满足特定的微分不等式（例如 $\ell(r) = e^{\tilde{\ell}(r)} + e^{\tilde{\ell}(r^{-1})} - 2e^{\tilde{\ell}(1)}$），则可以构造凸损失。
• Lipschitz 连续性：如果输出空间有界，或者在有界域上使用 $c>0$，则可以实现全局 Lipschitz 连续性。对于 $c=0$ 的无界域，除非 $\ell$ 被特别界定，否则通常会失去全局 Lipschitz 连续性。
• 可微性：$L$ 的可微性取决于 $\ell$ 和 $u$ 的可微性。本文提供了一阶和二阶导数的显式公式。
• Nemitski 性质：作者确立了基于比率的损失满足 Nemitski 性质的条件，这对于极小值的存在性和风险泛函的连续性至关重要。
• 性质表：综合表格（表 2 和表 3）总结了各种提出和现有的损失函数在不同链接函数（$u(t) = e^t$ 与逻辑函数）和常数（$c=0$ 与 $c>0$）下的性质（凸性、Lipschitz 连续性、可微性）。

意义与主张
作者明确指出，本文是一项综述和理论研究，而非针对特定算法推导具体学习率、一致性证明或稳定性结果。其意义在于：

• 基础工作：提供必要的数学基础（连续性、凸性、可微性），以支持未来关于基于比率的学习算法的研究。
• 弥合差距：强调虽然相对误差在实践中被广泛使用（例如在剂量 - 反应研究或通胀建模中），但它们缺乏像基于距离的损失那样系统的理论处理。
• 未来方向：本文旨在激发研究，以寻找更多凸且 Lipschitz 连续的基于比率的损失函数，推导表示定理，并为使用这些损失函数的基于核的方法和 CNN 建立统计鲁棒性结果（影响函数、最大偏差）。作者指出，基于距离的方法与基于比率的方法之间的选择应由特定应用的误差结构（加性 vs. 乘性）驱动，而不仅仅是数学便利性。