📊 statistics

Adaptive deep nonparametric regression from dependent data under covariate shift

本文针对协变量偏移和相关数据下的非参数分位数回归与 Huber 回归，提出了一种稀疏惩罚深度神经网络估计器，并建立了在各种混合过程和未知密度比下均能达到极小极大最优收敛速率的非渐近误差界。

原作者： William Kengne, Ehud Mossa Ockegna

发布于 2026-07-23

📖 1 分钟阅读☕ 轻松阅读

原作者： William Kengne, Ehud Mossa Ockegna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何识别猫。你给它看了上千张在阳光明媚的客厅里拍摄的、毛茸茸的橘色虎斑猫的照片。机器人学得非常完美，成为了一个猫咪检测专家。但随后，你要求它在一组在黑暗、多雨的小巷中拍摄的新照片中寻找猫。突然间，机器人困惑了。它看到了同样的猫，但光照、背景和相机角度都完全不同。在人工智能领域，这被称为协变量偏移（covariate shift）。当用于训练模型的数据（“源数据”）与你实际想要预测的数据（“目标数据”）来自不同的分布时，就会发生这种情况。这就像尝试用一张你从未去过的城市的地图来开车，那里的街道名称不同，交通规则也发生了变化。

为了解决这个问题，科学家通常尝试对训练数据进行“重加权”，即给予那些看起来像目标数据的样本更高的权重，而降低那些不像的样本的权重。然而，现实世界的数据很少是完美的。通常，数据点并不是独立的；它们在时间上是相互关联的，就像股票价格取决于昨天的价格，或者天气模式遵循前一天的情况一样。这被称为相关数据（dependent data）。此外，输入（比如照片）与输出（比如猫）之间的关系可能不是一条简单的直线；它可能是一个复杂的、扭曲的曲线，并且会根据情况而变化。这就是非参数回归（nonparametric regression）。挑战在于构建一个能够处理这些混乱、相互关联且不断变化的动态数据流而不至于迷失方向的模型，同时还要足够鲁棒，能够忽略奇怪的离群值（比如穿着猫装的狗）。

这篇论文通过引入一种超级智能的人造大脑——深度神经网络（DNN），来应对这一挑战。作者 William Kengne 和 Ehud Mossa Ockegna 提出了一种不仅是靠猜测，而是能够适应的方法。他们创建了一个“稀疏惩罚”估计器，这是一种高级说法，意指他们强迫网络变得高效，只保留最重要的连接并忽略噪声。他们在两类特定问题上对其进行了测试：Huber 回归（非常擅长处理带有极端离群值的数据，比如温度的突然飙升）和分位数回归（有助于预测特定的百分位数，比如降雨量的第 90 百分位数，而不仅仅是平均值）。

这项重大发现在于，即使在数据具有相关性且训练与测试环境不同的情况下，他们的方法依然有效。他们从数学上证明，他们的估计器可以适应问题的“平滑度”（即曲线的波动程度），并且仍能达到最优的学习速度，即所谓的极小极大最优速率（minimax optimal rate）。这意味着他们的学习速度达到了理论上的极限，仅差一个微小的对数因子。他们还表明，如果训练和测试数据之间的差异巨大（即“密度比”是无界的），他们仍然可以通过一个巧妙的两步过程取得成功：首先，训练一个小型的网络来估计两个世界之间的差异，然后利用该估计值对主要的训练过程进行重加权。无论数据是独立的，还是遵循复杂的序列模式（如混合过程），他们的方法都能保持稳健，为如何教机器从不完美且不断变化、偏移的现实中学习提供了一种鲁棒的方法。

技术摘要：协变量偏移下依赖数据的自适应深度非参数回归

问题陈述
本文解决了在训练（源）数据与测试（目标）数据遵循不同分布（即协变量偏移现象）的情况下，使用深度神经网络（DNN）进行非参数回归的挑战。具体而言，源数据中的协变量边缘分布（ $P_{X_0}$ ）与目标数据中的协变量边缘分布（ $Q_{X_0}$ ）不同，而给定协变量的响应条件分布保持不变（ $P_{Y_0|X_0} = Q_{Y_0|X_0}$ ）。

本研究从三个关键方向扩展了现有文献：

依赖观测值： 不同于以往主要假设独立同分布（i.i.d.）数据的研究，本文考虑了由平稳且遍历过程生成的数据，包括 $\phi$ -混合、强混合和 C-混合过程。
鲁棒损失函数： 作者研究了 Huber 回归（针对异常值和重尾误差具有鲁棒性）和分位数回归，超越了在协变量偏移文献中常见的标准最小二乘法或 ReLU 类方法。
自适应正则化： 本文提出了**稀疏惩罚深度神经网络（SPDNN）**估计量。不同于以往依赖于具有固定且未知稀疏水平 $S$ 的稀疏约束正则化方法，该方法使用一个惩罚项，允许估计量在无需预先知晓目标函数光滑度的情况下，自适应地达到最优收敛速率。

方法论
作者将数据建模为一个满足 $Y_t = h_0(X_t) + \xi_t$ 的平稳过程 $Z_t = (X_t, Y_t)$ ，其中 $h_0$ 是未知的回归函数， $\xi_t$ 是中心化的 i.i.d. 误差过程。为了处理协变量偏移，该方法依赖于密度比 $r(x) = q_{X_0}(x) / p_{X_0}(x)$ 。

核心方法论包括：

广义 Bernstein 型不等式： 为了处理依赖数据，作者利用了各种混合过程所满足的广义 Bernstein 型不等式。该不等式引入了一个“有效观测数”，记作 $\phi(n)$ ，它在收敛速率分析中取代了样本量 $n$ 。
SPDNN 估计量： 估计量通过最小化损失函数（Huber 或分位数）加上一个稀疏惩罚项 $J_n(h)$ 来定义。该惩罚项基于应用于网络参数的函数 $\pi_{\lambda_n, \tau_n}$ （例如，截断的 $L_1$ 或 SCAD）。
两步预训练程序（未知密度比）： 当 $r(x)$ $r (x)$ 未知时，提出了一个两步程序：
1. 第一步： 使用在无标签源样本和目标样本上训练的最小二乘 SPDNN 估计量 $\hat{r}_S$ 来估计密度比 $r$ 。如果 $r$ 是无界的，则估计其截断版本 $T_\eta r$ 。
2. 第二步： 使用第一步中估计的密度比构建用于回归函数 $h_0$ 的重加权 SPDNN 估计量。
针对无界比率的截断： 在密度比无界但具有有限阶矩的情况下，作者采用了截断密度比 $T_\eta r(x) = \min(r(x), \eta)$ 以确保稳定性并推导误差界限。

主要贡献

依赖数据的统一理论： 本文通过使用有效样本量 $\phi(n)$ ，在一个统一的框架下统一了各种依赖结构（ $\phi$ -混合、强混合、C-混合）的理论分析。
自适应极小极大最优性： 所提出的 SPDNN 估计量被证明能够自适应地达到 Hölder 光滑函数的极小极大（minimax）最优收敛速率（仅差一个对数因子）。这对于 i.i.d. 数据和经典的序列模型均成立，即使在密度比未知或无界（只要具有足够的阶矩）的情况下也是如此。
向 Huber 和分位数回归的扩展： 作者建立了协变量偏移下 Huber 回归和分位数回归的非渐近误差界限，解决了在此背景下 Huber 损失参数的特定校准问题。
两步预训练分析： 本文为预训练重加权估计量提供了严谨的非渐近 $L^2(Q_{X_0})$ 误差界限，证明了通过估计密度比产生的误差不会在样本量适当平衡时降低回归估计量的整体收敛速率。

结果
本文为所提出的估计量建立了 $L^2(Q_{X_0})$ 范数下的非渐近误差界限。

无权重估计量： 在密度比一致有界的假设下，无权重 SPDNN 估计量达到了极小极大速率。然而，如果比率无界（但具有二阶矩），则速率会变为次优。
重加权估计量： 当密度比已知且一致有界时，重加权 SPDNN 估计量达到了极小极大最优速率 $O((\phi(n))^{-2s/(2s+d)})$ ，其中 $s$ 是光滑参数。
截断重加权估计量： 当密度比无界但具有任意阶矩时，使用截断密度比的重加权估计量也能达到极小极大最优速率（最多差一个对数因子）。
预训练估计量： 当密度比未知并通过两步程序进行估计时，所得估计量能保持极小极大最优速率，前提是用于估计密度比的样本量相对于回归样本量足够大。

这些结果总结在论文的表 1 中，详细列出了 i.i.d.、 $\phi$ -混合、指数 $\alpha$ -混合和几何 C-混合过程的收敛速率。

意义与主张
本文声称将深度非参数回归的理论保证扩展到了涉及依赖数据和分布偏移的更现实场景中。通过引入稀疏惩罚正则化，作者提供的估计量具有自适应性，消除了从业者需要预先知道目标函数的光滑度或稀疏水平的需求。

作者强调，其工作通过以下方式推广了先前的研究结果（特别是 [11] 中的结果）：

通过广义 Bernstein 不等式纳入了依赖观测值。
处理了 Huber 回归，这对于最小二乘法无法达到极小极大速率的重尾数据至关重要。
利用稀疏惩罚正则化来实现自适应性，这与非自适应的稀疏约束方法形成对比。

其意义在于为在医疗保健和自然语言处理等领域应用深度学习提供了一个鲁棒的理论框架，在这些领域中，分布不匹配和时间依赖性非常普遍，从而确保即使在这些复杂条件下，估计量仍能保持最优。

类似论文