📊 statistics

Transfer Learning in Nonparametric Regression with Deep ReLU Networks

本文提出了一种用于非参数回归的两阶段迁移学习框架，该框架利用深度 ReLU 网络通过汇聚数据来估计共同结构并随后学习特定组的偏移量，从而在分层组合模型下实现了克服维度灾难的最优收敛速率。

原作者： Junpeng Ren, Carlos Misael Madrid Padilla, Yanzhen Chen, Oscar Hernan Madrid Padilla

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Junpeng Ren, Carlos Misael Madrid Padilla, Yanzhen Chen, Oscar Hernan Madrid Padilla

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代数据科学的广袤领域中，研究人员经常面临一种丰盈与匮乏并存的问题。他们拥有来自一个来源的海量信息，却需要针对一个数据稀缺的特定小群体做出准确预测。想象一下，一位医生研究了数百万份来自普通人群的病例记录，但需要诊断出某一特定人群中一种罕见疾病的情况，而该人群的记录却非常少。挑战在于，如何利用广泛的知识，而不让其淹没特定群体的独特细节。这正是迁移学习的核心——这种方法试图从一个大型的相关数据集中汲取力量，以提升在较小目标数据集上的表现。几十年来，统计学家们已经意识到，仅仅将所有数据汇集在一起往往会失败，因为它忽略了较小群体的独特特征；而仅针对该小群体进行训练又会失败，因为缺乏足够的信息来进行学习。问题在于如何找到完美的平衡点：如何在学习适用于所有人的共同模式的同时，依然能捕捉到使特定群体变得独特的特定偏差。

现在，一个研究小组提出了一种解决这一难题的新方法，特别针对那些规则并非简单直线、具有复杂非线性关系的场景。他们专注于一种被称为深度神经网络的强大计算机模型，这种模型以其发现高维数据（如图像或文本）中复杂模式的能力而闻名。作者开发了一种两步走的策略，模拟人类处理难题的方式：先理解大局，再聚焦细节。在第一步中，计算机观察来自所有可用群体的组合数据，以学习一个通用的“平均”函数。这不仅仅是数字的简单平均，而是一个复杂的数学形状，捕捉了所有群体所共享的共同结构。一旦学习到这个通用形状，计算机就会进入第二步。在此阶段，它只观察一个特定的群体，并计算该群体的现实情况与刚才学到的通用平均值之间的差异，即“偏移量”。通过将这一特定差异重新加回到通用平均值中，计算机便创建了一个既具备广泛信息量又具备局部精确性的最终模型。

研究人员使用深度神经网络测试了这种方法，这类网络旨在处理具有许多变量的数据，而这往往会让传统的统计方法感到困惑。他们发现，这种两阶段过程运作得非常出色，使模型能够克服一个被称为“维度诅咒”的主要障碍。这是一个现象，即随着变量数量的增加，学习某种模式所需的数据量呈指数级增长，这往往使得在高维环境下进行学习变得不可能。通过将问题分解为共享部分和特定部分，新方法有效地降低了计算机在每个阶段需要学习的复杂度。共享部分是从整个数据集中学习的，提供了一个稳健的基础；而特定部分通常比整体要简单得多，只需要极少的数据点即可实现准确估计。

为了证明其理论，该团队在各种场景下（包括低维和高维设置）利用数千个数据点进行了广泛的计算机模拟。在这些测试中，他们的两阶段方法始终优于其他常见策略。例如，它击败了那些试图仅利用小群体数据从零开始学习的模型，也击败了那些简单地忽略群体差异并将所有人视为同一类别的模型。在一个涉及一百个变量的高维场景中，新方法的误差显著低于竞争对手，证明了它能比其他方法更有效地从噪声中提取信号。研究人员还将该方法应用于一组关于人脸图像的真实世界数据集，用以估算不同种族背景的人群年龄。在此测试中，两阶段方法再次产生了最准确的结果，成功地利用了衰老的共同视觉特征，同时兼顾了每个种族的独特特征。

这项研究表明，该框架不仅是一个理论上的奇想，更是提高机器从分组数据中学习能力的实用工具。作者展示了即使在各组规模差异巨大的情况下（这是现实生活中常见的情况，即某些群体在数据中得到充分体现，而另一些则不然），该方法依然有效。他们还证明，只要各组之间的差异不是过于极端，该方法即使在各组并不完全相似的情况下也能保持稳健。虽然论文侧重于数学保证和模拟结果，但其核心信息是明确的：通过将普遍性与特殊性分离，深度学习模型可以变得更加高效和准确。这种方法为诸多领域提供了一条充满前景的路径，从疾病模式随地区变化的流行病学，到必须针对个体患者概况进行定制化治疗的个性化医学，皆无需为每一个细分亚群都要求获得难以企及的海量数据。

技术摘要：深度 ReLU 网络在非参数回归中的迁移学习

问题表述
本文研究了非参数回归问题，其数据由多个具有结构相似性但存在组间差异的截然不同的组构成。作者将数据生成过程形式化为：
$y_i = f_0(x_i) + f_{0, z_i}(x_i) + \epsilon_i$
其中 $f_0$ 代表所有组共有的共享函数， $f_{0, \ell}$ 表示第 $\ell$ 组的特定偏差。目标是估计组特定的条件均值函数 $g_{0, \ell}(x) = f_0(x) + f_{0, \ell}(x)$ 。该框架旨在处理 $L$ 个组的数量可能随总样本量 $n$ 增长的情景，这反映了现代机器学习中多样化且大规模的数据集背景。

方法论：两阶段偏移学习 (Two-Stage Offset Learning)
所提出的方法采用了一种受预训练启发的两阶段偏移学习程序：

第一阶段（共享结构估计）： 汇总来自所有 $L$ 个组的数据，以估计整体条件均值函数 $\bar{f}(x) = E[Y|X=x]$ 。这是通过在组合数据集上对函数类 $\mathcal{F}$ （例如深度 ReLU 网络）最小化经验风险来实现的。
第二阶段（组特定偏移估计）： 对于每个目标组 $\ell$ ，该方法估计整体均值与组特定均值之间的偏移。具体而言，它利用仅属于第 $\ell$ 组的数据，通过在残差 $y_i - \hat{f}_{A_n}(x_i)$ 上最小化组特定函数类 $\mathcal{F}_\ell$ 的经验风险，来估计函数 $G_\ell(x) = f_{0, \ell}(x) - \sum_{k} f_{0, k}(x)P(Z=k|X=x)$ 。
最终估计器： 目标组 $\ell$ 的最终估计器通过加法构建： $\hat{g}_\ell(x) = \hat{f}_{A_n}(x) + \hat{f}_{\ell, B_n}(x)$ 。

该框架支持两种变体：一种是两个阶段共享数据，另一种是使用独立数据（通过样本分割）。

核心贡献与理论结果

通用理论框架： 本文为广泛的非参数估计器建立了 $L_2$ 误差上界，这些估计器满足温和的复杂度与噪声条件（容纳亚指数级噪声）。定理 3.2 提供了一个通用的误差分解界限，将其分解为第一阶段估计误差和第二阶段近似/估计误差。
深度 ReLU 网络与维度诅咒： 当在分层组合模型下实例化为深度 ReLU 网络时，作者推导出了显式的收敛速率。定理 3.4 表明，所提出的迁移学习框架保留了深度网络克服维度诅咒的能力。收敛速率被证明是估计共享函数与偏移函数的速率之和，而非完整复杂函数的速率。
正向迁移的条件： 本文识别了迁移学习产生比单组估计更快速收敛速率的情景。当共享函数 $\bar{f}$ 和偏移量 $G_\ell$ 比目标函数 $g_{0, \ell}$ 更简单（在平滑度或内在维度方面）时，就会发生这种情况。例如，如果偏移量比完整函数更平滑或维度更低，则两阶段方法可以利用较大的汇总样本量来处理复杂部分，并利用特定样本量来处理较简单的残差部分。
样本分割： 定理 3.7 和推论 3.8 分析了第一阶段和第二阶段使用独立数据的情况。这种变体放宽了对函数类的某些复杂度约束，并可以产生更紧凑的收敛速率，特别是当目标组的比例 $\pi_\ell$ 较小时。
通用性： 该框架被证明不仅适用于神经网络，还为迁移学习设置下的趋势滤波提供了首个收敛保证，并恢复了正交级数回归的现有速率。

实证结果
作者通过广泛的模拟实验和真实数据实验验证了该方法：

模拟实验： 实验涵盖了低维（加性与非线性混合）和高维设置（带有偏移表示的潜在因子模型）。在各种场景下，所提出的“两阶段”深度神经网络估计器始终优于竞争对手，包括汇总训练、单独训练、仅微调输出层（Top-FT）以及带标签的汇总（Pool-w-L）。在高维设置下，它也优于随机森林和参数化竞争对手（ptLasso）。
真实数据应用：
- 北京 PM2.5： 一个展示了在环境数据中有效性的低维研究。
- UTKFace： 一个跨五个种族的人脸年龄估计高维任务。两阶段迁移学习方法实现了最低的整体均方误差 (MSE)，在白人、黑人和亚洲亚组上表现最优，并且相比于汇总基准模型，在印度裔亚组上表现出显著提升。

意义与主张
本文声称为非参数回归中的迁移学习提供了一个通用的理论基础，特别是弥合了深度学习的经验成功与多组设置下理论保证之间的差距。其主要意义在于：

理论证明： 提供了严谨的收敛速率，解释了为什么在汇总数据上进行预训练后再进行偏移学习，会比仅在目标数据上进行训练更优，特别是当底层函数呈现分层或组合结构时。
维度诅咒： 证明了在此框架下的深度 ReLU 网络可以通过利用共享组件和偏移组件的内在低维结构，有效地缓解维度诅咒。
鲁棒性： 展示了即使在目标组规模相对于总数据集较小时，该方法仍能保持稳健，这是实际迁移学习中的常见挑战。

作者对最优性保持了审慎的态度，指出分层函数类的下界在一般情况下尚未完全建立。他们也承认，如果偏移量非常复杂或各组之间不相似，则理论上可能出现负向迁移，尽管他们的实验表明现实世界的数据集具有很强的跨组相似性。未来的工作建议将框架扩展到连续任务变化、更先进的架构（CNN、Transformer）以及负向迁移的正式检测。

技术摘要：深度 ReLU 网络在非参数回归中的迁移学习

类似论文