Transfer Learning in Nonparametric Regression with Deep ReLU Networks

Technische Samenvatting: Transfer Learning in Niet-parametrische Regressie met Diepe ReLU-netwerken

Probleemformulering
Dit artikel behandelt het probleem van niet-parametrische regressie in scenario's waarbij de data bestaat uit meerdere afzonderlijke groepen die structurele gelijkenissen delen maar groepsspecifieke afwijkingen vertonen. De auteurs formaliseren het datageneratieproces als:
$$y_i = f_0(x_i) + f_{0, z_i}(x_i) + \epsilon_i$$
waarbij $f_0$ een gedeelde functie representeert die algemeen is voor alle groepen, en $f_{0, \ell}$ de groepsspecifieke afwijking voor groep $\ell$ aanduidt. Het doel is om de groepsspecifieke conditionele gemiddelde functie $g_{0, \ell}(x) = f_0(x) + f_{0, \ell}(x)$ te schatten. Het raamwerk is ontworpen om scenario's aan te kunnen waarbij het aantal groepen $L$ kan meegroeien met de totale steekproefomvang $n$, wat een reflectie is van moderne machine learning-contexten met diverse en grootschalige datasets.

Methodologie: Two-Stage Offset Learning
De voorgestelde methode maakt gebruik van een tweestaps offset learning-procedure geïnspireerd door pretraining:

1. Fase 1 (Schatting van Gedeelde Structuur): Data van alle $L$ groepen worden samengevoegd om de algemene conditionele gemiddelde functie $\bar{f}(x) = E[Y|X=x]$ te schatten. Dit wordt bereikt door de empirische risico te minimaliseren over een functieklasse $\mathcal{F}$ (bijv. diepe ReLU-netwerken) met behulp van de gecombineerde dataset.
2. Fase 2 (Schatting van Groepsspecifieke Offset): Voor elke doelgroep $\ell$ schat de methode de offset tussen het algemene gemiddelde en het groepsspecifieke gemiddelde. Specifiek schat het de functie $G_\ell(x) = f_{0, \ell}(x) - \sum_{k} f_{0, k}(x)P(Z=k|X=x)$ met uitsluitend de data van groep $\ell$. Dit gebeurt door het empirische risico te minimaliseren over een groepsspecifieke functieklasse $\mathcal{F}_\ell$ op de residuen $y_i - \hat{f}_{A_n}(x_i)$.
3. Finale Schatter: De finale schatter voor groep $\ell$ wordt additief geconstrueerd: $\hat{g}_\ell(x) = \hat{f}_{A_n}(x) + \hat{f}_{\ell, B_n}(x)$.

Het raamwerk ondersteunt twee variaties: één waarbij de fasen data delen en één waarbij ze onafhankelijke data gebruiken (via sample splitting).

Belangrijkste Bijdragen en Theoretische Resultaten

• Algemeen Theoretisch Raamwerk: Het artikel stelt $L_2$-foutbovengrenzen vast voor een brede klasse van niet-parametrische schatters onder milde complexiteit- en ruiscondities (die sub-exponentiële ruis accommoderen). Theorem 3.2 biedt een algemene foutdecompositie die de fout opsplitst in een eerste-fase schattingsfout en tweede-fase benaderings-/schattingsfouten.
• Diepe ReLU-netwerken en de Vloek van Dimensionaliteit: Wanneer geïnstantieerd met diepe ReLU-netwerken onder hiërarchische compositiemodellen, leiden de auteurs expliciete convergentiesnelheden af. Theorem 3.4 demonstreert dat het voorgestelde transfer learning-raamwerk het vermogen van diepe netwerken behoudt om de vloek van dimensionaliteit te overwinnen. De convergentiesnelheid wordt getoond als de som van de snelheden voor het schatten van de gedeelde functie en de offsetfunctie, in plaats van de snelheid voor de volledige complexe functie.
• Condities voor Positieve Transfer: Het artikel identificeert regimes waarin transfer learning strikt snellere convergentiesnelheden oplevert dan enkelvoudige groepsschatting. Dit gebeurt wanneer de gedeelde functie $\bar{f}$ en de offset $G_\ell$ minder complex zijn (in termen van gladheid en intrinsieke dimensie) dan de doelfunctie $g_{0, \ell}$. Bijvoorbeeld, als de offset gladder of lager-dimensionaal is dan de volledige functie, benut de tweestaps-aanpak de grotere gepoolde steekproefomvang voor het complexe deel en de specifieke steekproefomvang voor het eenvoudigere residu.
• Sample Splitting: Theorem 3.7 en Corollary 3.8 analyseren het geval waarbij Fase 1 en Fase 2 onafhankelijke data gebruiken. Deze variant verlicht bepaalde complexiteitsbeperkingen op de functieklassen en kan striktere convergentiesnelheden opleveren, met name wanneer de proportie van de doelgroep $\pi_\ell$ klein is.
• Generaliteit: Het raamwerk is aangetoond toepasbaar te zijn buiten neurale netwerken, waarbij het de eerste convergentiegaranties biedt voor trend filtering in een transfer learning-setting en bestaande snelheden herstelt voor orthogonale seriesregressie.

Empirische Resultaten
De auteurs valideren de methode via uitgebreide simulaties en experimenten met echte data:

• Simulaties: Experimenten dekken laag-dimensionale (additieve en niet-lineaire mengsels) en hoog-dimensionale settings (latente factor modellen met verschoven representaties) af. In diverse scenario's presteert de voorgestelde "2-Stage" diepe neurale netwerk-schatter consistent beter dan concurrenten, inclusief gepoolde training, aparte training, fine-tuning van enkel de outputlaag (Top-FT), en pooling met labels (Pool-w-L). Het presteert ook beter dan Random Forests en parametrische concurrenten (ptLasso) in hoog-dimensionale settings.
• Toepassingen op Echte Data:
  • Beijing PM2.5: Een laag-dimensionale studie die de effectiviteit in milieudata aantoont.
  • UTKFace: Een hoog-dimensionale taak voor gezichtsalder-schatting over vijf etnische groepen. De tweestaps transfer learning-aanpak behaalde de laagste algehele Mean Squared Error (MSE), presteerde optimaal op de subgroepen Wit, Zwart en Aziatisch, en toonde een substantiële verbetering ten opzichte van gepoolde baselines voor de Indiase subgroep.

Betekenis en Claims
Het artikel claimt een algemeen theoretisch fundament te bieden voor transfer learning in niet-parametrische regressie, specifiek door de kloof te overbruggen tussen het empirische succes van deep learning en theoretische garanties in multi-groep settings. De primaire betekenis ligt in:

1. Theoretische Rechtvaardiging: Het bieden van rigoureuze convergentiesnelheden die verklaren waarom pretraining op gepoolde data gevolgd door offset learning superieur kan zijn aan training op doeldata alleen, met name wanneer de onderliggende functies hiërarchische of compositionele structuren vertonen.
2. Vloek van Dimensionaliteit: Het demonstreren dat diepe ReLU-netwerken binnen dit raamwerk effectief de vloek van dimensionaliteit kunnen verzachten door de intrinsieke laag-dimensionale structuur van de gedeelde en offset componenten te exploiteren.
3. Robuustheid: Het aantonen dat de methode robuust blijft, zelfs wanneer de omvang van de doelgroep klein is ten opzichte van de totale dataset, een veelvoorkomende uitdaging in praktische transfer learning.

De auteurs hanteren een bescheiden standpunt met betrekking tot optimaliteit, waarbij zij opmerken dat lagere grenzen voor hiërarchische functieklassen in algemene gevallen niet volledig zijn vastgesteld. Zij erkennen ook dat negatieve transfer theoretisch mogelijk is als de offset zeer complex is of de groepen verschillend zijn, hoewel hun experimenten sterke cross-groep gelijkenis suggereren in real-world datasets. Toekomstig werk wordt gesuggereerd om het raamwerk uit te breiden naar continue taakvariaties, geavanceerdere architecturen (CNN's, Transformers) en de formele detectie van negatieve transfer.