🤖 machine learning

Tube Loss: A Novel Approach for Prediction Interval Estimation

本文介绍了“管状损失”（Tube Loss），这是一种用于回归的新型损失函数，能够同时实现具有渐近覆盖率保证的高质量预测区间估计、可调整定位以捕捉更密集的概率区域（尤其适用于偏态分布），以及通过梯度下降进行高效优化，并在核机、神经网络和共形预测框架中展现出优越性能。

原作者： Pritam Anand, Tathagata Bandyopadhyay, Suresh Chandra

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pritam Anand, Tathagata Bandyopadhyay, Suresh Chandra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名天气预报员。你不想只说“明天气温将是 75 度”，而是希望给人们提供一个可能性范围，以便他们更好地规划。你可能会说：“气温很可能在 70 到 80 度之间。”这个范围被称为预测区间（Prediction Interval, PI）。

目标是在保持范围尽可能紧凑的同时，确保足够高的准确率（例如 95% 的准确率）。如果你说“在 0 到 100 度之间”，你 100% 会是对的，但这毫无帮助。如果你说“在 74 到 76 度之间”，这很有帮助，但你可能会过于频繁地出错。

本文介绍了一种名为**Tube Loss（管状损失）**的新数学工具，旨在帮助计算机更准确、更高效地构建这些“天气范围”。以下是其工作原理，通过简单的类比来说明：

1. 旧工具的缺陷

在这篇论文之前，计算机构建这些范围主要有几种方式：

“两个独立工人”方法：某些方法训练一台计算机来预测范围的下限，再训练一台完全不同的计算机来预测上限。这种方法速度慢，且有时两个预测值无法很好地匹配。
“阶梯函数”方法：其他方法使用一种看起来像楼梯的损失函数（衡量计算机错误程度的记分牌）。由于楼梯有平坦的台阶，使用“梯度下降”（一种通过沿山坡滑下进行学习的主流方法）的计算机容易卡住。它们无法在平坦的台阶上滑下以找到最佳答案，因此不得不使用更慢、更笨拙的方法进行学习。
“脆弱”方法：一些较新的方法对“异常值”——即怪异、极端的数据点——非常敏感。如果一个数据点出现巨大误差（例如由于传感器故障导致温度读数高达 500 度），这些方法就会崩溃，导致范围的上限和下限交叉，这显然是不合逻辑的。

2. 解决方案：“管状”（Tube）

作者提出了Tube Loss。将预测区间想象成数据点应该流经的管状或隧道。

一个平滑的滑道：与旧的“阶梯”方法不同，Tube Loss 是平滑且顺滑的（在数学上，它是可微分的）。这意味着计算机可以使用标准的、快速的“沿山坡滑下”方法（梯度下降）来完美学习。这就像用平滑的滑道取代了凹凸不平的楼梯。
“移位”旋钮（参数 r）：这是本文最独特的功能。想象这个管状漂浮在数据之河中。有时，河水（数据）在一侧比另一侧更深（偏态分布）。
- 如果数据是歪斜的，标准的管状可能位于中间，在空旷的一侧浪费空间。
- Tube Loss 拥有一个旋钮（称为 r），允许你将整个管状沿河岸上下滑动。你可以移动管状，使其紧贴数据密集拥挤的部分。这使得计算机能够缩小管状（提高精度），而不会遗漏其中的任何数据点。
“收紧”旋钮（参数 δ）：有时，计算机过于谨慎。它构建的管状比必要的安全范围更宽。作者添加了第二个旋钮，它像一条腰带。如果计算机覆盖了 99% 的数据，而你只要求 95%，你可以收紧这条腰带以缩小管状，使预测更有用，同时仍保持在安全限制内。

3. 为何更优（结果）

该论文使用以下方法将这种新的“管状”与许多其他方法进行了测试：

核机（Kernel Machines）：类似于在图表上画线的复杂版本。
神经网络：深度学习中使用的那种“类脑”计算机。
时间序列：预测随时间变化的事物，如风速、电力使用和太阳黑子。

研究结果如下：

速度：由于它使用标准的“滑下”方法，其训练速度比需要复杂、非标准数学的方法快得多。
准确性：它构建的管状通常比竞争对手更窄（更精确），同时仍能达到目标置信水平（例如，95% 的准确率）。
鲁棒性：当出现怪异、极端的数据点（异常值）时，它不会崩溃。“管状”保持完整，不会自我交叉。
灵活性：通过调整“移位”旋钮，它处理偏态数据（数据堆积在一侧的情况）的能力远优于那些假设数据完美平衡的旧方法。

4. 现实世界测试

作者不仅在纸面上进行数学推导，还在现实世界的问题中运行了 Tube Loss：

风力预测：预测用于发电的风速。Tube Loss 模型排名顶尖，击败了 DeepAR 和混合密度网络（Mixture Density Networks）等其他流行模型。
文本相似度：确定两个句子的相似程度。与现有方法相比，Tube Loss 提供了更优的不确定性估计。
共形预测（Conformal Prediction）：他们还展示了将其与称为“共形预测”的技术结合使用时，能够保证统计准确性，且速度比之前的标准方法更快。

总结

可以将Tube Loss想象为数据的智能、可调节的隧道。

它是平滑的，因此计算机学习速度快。
它有一个滑块，可以将隧道移动到数据最密集的地方，使隧道更窄、更精确。
它有一个收紧器，如果隧道太松，可以在不破坏安全规则的情况下将其缩小。
它是坚固的，因此当数据变得混乱时不会崩溃。

该论文声称，与以往可用的方法相比，这种方法在各种机器学习模型中都能产生质量更高、更紧凑、更可靠的预测区间。

技术摘要：用于预测区间估计的管状损失

问题陈述
在回归任务中，仅提供点预测而不量化不确定性，往往不足以支持高风险决策。虽然预测区间（PIs）提供了具有指定置信水平 $1-\alpha$ 的范围 $[\hat{\mu}_1(x), \hat{\mu}_2(x)]$ ，但现有方法面临显著局限。传统的基于分布的方法（如均值 - 方差估计）在偏态或重尾噪声下往往失效。无分布方法如下界 - 上界估计（LUBE）依赖于涉及阶跃函数的不可微损失函数，阻碍了标准梯度下降（GD）的使用。其他方法，如分位数回归（SQR），需要为多个分位数求解复杂的优化问题；而松弛分位数回归（RQR）则对异常值高度敏感，且可能出现区间边界交叉的问题。此外，许多现有方法在条件响应分布不对称时，难以生成紧凑的区间。

方法论：管状损失函数
本文提出了一种管状损失（Tube Loss），这是一种专为通过单一优化问题同时估计下界和上界预测区间而设计的新颖损失函数。

定义：设 $u_1 = y - \mu_1(x)$ 和 $u_2 = y - \mu_2(x)$ 分别为下界和上界的预测误差，并满足约束 $\mu_2 \ge \mu_1$ （即 $u_2 \le u_1$ ）。对于目标覆盖率 $1-\alpha$ 和可调参数 $r \in (0, 1)$ ，管状损失 $L^{(1-\alpha)}_r(u_1, u_2)$ 分段定义如下：
- 若 $u_2 > 0$ （观测值高于上界），则为 $(1-\alpha)u_2$ 。
- 若 $u_2 \le 0, u_1 \ge 0$ ，且 $ru_2 + (1-r)u_1 \ge 0$ （观测值位于管的“上”部分内），则为 $-\alpha u_2$ 。
- 若 $u_2 \le 0, u_1 \ge 0$ ，且 $ru_2 + (1-r)u_1 < 0$ （观测值位于管的“下”部分内），则为 $\alpha u_1$ 。
- 若 $u_1 < 0$ （观测值低于下界），则为 $-(1-\alpha)u_1$ 。
关键机制：
1. 梯度下降兼容性：与涉及不可微阶跃函数或需要 Sigmoid 近似的质量驱动（QD）损失不同，管状损失是误差的线性函数（几乎处处可微），支持通过标准梯度下降进行直接优化。
2. 通过参数 $r$ 实现可移位性：参数 $r$ 控制管状结构相对于数据密度的“中点”。当 $r=0.5$ 时，管状结构居中（适用于对称分布）。通过调节 $r$ ，区间可沿响应分布的支持域向上或向下移动。这对于偏态分布尤为有效，允许区间捕捉高密度区域，从而在不牺牲覆盖率的情况下降低平均预测区间宽度（MPIW）。
3. 通过参数 $\delta$ 实现再校准：如果验证集上的经验覆盖率（PICP）超过标称水平 $1-\alpha$ ，可以在损失函数中添加线性惩罚项 $\delta|\mu_2(x) - \mu_1(x)|$ 。这使得在保持所需覆盖率的同时进一步缩小区间（降低 MPIW），该过程比其他方法中使用的二次惩罚对异常值更不敏感。

理论性质
本文提供了理论分析（引理 1 和命题 1），证明随着样本量 $n \to \infty$ ，基于管状损失导出的区间的经验覆盖率渐近达到标称置信水平 $1-\alpha$ 。该分析根据损失函数的条件将特征空间划分为四个区域，表明落在区间外的数据点与落在区间内的数据点之比收敛于 $\alpha / (1-\alpha)$ 。

实验结果
作者在多种框架和数据集上评估了管状损失：

核机：在具有对称和正偏态噪声的合成数据集上，与居中区间和标准分位数回归相比，经调节 $r$ 的管状损失在保持目标覆盖率的同时显著降低了 MPIW。此外，与基于分位数的核机相比，其训练时间更短。
神经网络（NN）：
- 与 QD 损失对比：与 QD 损失相比，管状损失生成了更平滑、更紧凑的预测区间，具有更低的均方误差之和（SMSE），且避免了对 QD 所需的软化参数的敏感性。
- 与 RQR 对比：在存在异常值的情况下，管状损失保持了稳定的边界，而 RQR 则表现出边界交叉和覆盖率下降。
- 基准测试：在 12 个基准数据集上，基于管状损失的神经网络在 12 个案例中的 9 个案例中，在 PICP 和 MPIW 方面实现了优于或相当于 RQR、QRNN、SQR 和 QD 基线的性能。
深度概率预测：将管状损失应用于时间序列数据集（如电力、太阳黑子、风速）上的 LSTM 网络，基于管状损失的 LSTM（T-LSTM）在 6 个数据集中的 5 个上优于基于分位数的 LSTM（Q-LSTM）。关键在于，T-LSTM 仅需单次训练周期，而 Q-LSTM 需要训练两个独立的模型，从而将训练时间减少了 33% 至 63%。
共形预测：当集成到共形化分位数回归（CQR）框架中（用管状边界替换分位数边界）时，生成的基于管状的共形回归（TCR）达到了与 CQR 相当的覆盖率和宽度，但计算运行时间显著减少。
语义文本相似度（STS）：在 STS 任务中，管状损失神经网络的集成在生成高质量预测区间方面，优于现有的不确定性量化基线（包括 QRGB、QRNN、HTS 和 MDN）。

重要性与主张
本文主张，管状损失为回归中的不确定性量化提供了一种稳健、高效且灵活的替代方案。其主要意义在于：

同时优化：在单一的可微优化问题中求解两个边界，不同于需要单独分位数估计或非基于梯度的求解器的方法。
对偏态的适应性：能够通过 $r$ 移动区间以对齐非对称数据分布，从而在传统居中方法失效的地方生成更紧凑的区间。
鲁棒性：相比 RQR 降低了对异常值的敏感性，并消除了 QD/LUBE 中所需的阶跃函数近似。
效率：与双模型分位数方法相比，显著减少了深度学习应用的训练时间。

作者得出结论，管状损失是一种优越的方法，适用于在核机、神经网络和深度概率预测框架中生成高质量预测区间，特别是在涉及偏态噪声或计算约束的场景中。

1. 旧工具的缺陷

2. 解决方案：“管状”（Tube）

3. 为何更优（结果）

4. 现实世界测试

总结

类似论文