Adaptive deep nonparametric regression from dependent data under covariate shift

Technische Samenvatting: Adaptieve Diepe Niet-parametrische Regressie van Afhankelijke Data onder Covariaatverschuiving

Probleemstelling
Dit artikel behandelt de uitdaging van niet-parametrische regressie met behulp van diepe neurale netwerken (DNN's) in scenario's waar de trainingsdata (bron) en testdata (doel) verschillende distributies volgen, een fenomeen dat bekend staat als covariaatverschuiving (covariate shift). Specifiek verschilt de marginale distributie van de covariaten in de bron-data ($P_{X_0}$) van die in de doel-data ($Q_{X_0}$), terwijl de conditionele distributie van de respons gegeven de covariaten invariant blijft ($P_{Y_0|X_0} = Q_{Y_0|X_0}$).

De studie breidt bestaande literatuur uit in drie cruciale richtingen:

1. Afhankelijke Observaties: In tegenstelling tot eerdere werken die primair uitgaan van onafhankelijke en identiek verdeelde (i.i.d.) data, beschouwt dit artikel data gegenereerd uit stationaire en ergodische processen, inclusief $\phi$-mixing, strong mixing en C-mixing processen.
2. Robuuste Verliesfuncties: De auteurs onderzoeken zowel Huber-regressie (voor robuustheid tegen uitschieters en heavy-tailed fouten) als kwantielregressie, waarmee zij verder gaan dan de standaard kleinste kwadraten of ReLU-gebaseerde benaderingen die vaak in de covariaatverschuivingsliteratuur worden aangetroffen.
3. Adaptieve Regularisatie: Het artikel stelt Sparse-Penalized Deep Neural Network (SPDNN) schatters voor. In tegen tegenstelling tot eerdere methoden die vertrouwen op regularisatie met een beperkte spaarzaamheid (sparsity-constrained regularization) met een vast, onbekend spaarzaamheidsniveau $S$, gebruikt deze aanpak een strafterm die de schatters in staat stelt om adaptief optimale convergentiesnelheden te bereiken zonder voorafgaande kennis van de gladheid (smoothness) van de doelunctie.

Methodologie
De auteurs modelleren de data als een stationair proces $Z_t = (X_t, Y_t)$ dat voldoet aan $Y_t = h_0(X_t) + \xi_t$, waarbij $h_0$ de onbekende regressiefunctie is en $\xi_t$ een gecentreerd i.i.d. foutenproces is. Om covariaatverschuiving aan te pakken, steunt de methodologie op de dichtheidsratio $r(x) = q_{X_0}(x) / p_{X_0}(x)$.

De kernmethodologie omvat:

• Gegeneraliseerde Bernstein-type Ongelijkheid: Om afhankelijke data te behandelen, maken de auteurs gebruik van een gegeneraliseerde Bernstein-type ongelijkheid die wordt voldaan door diverse mixing-processen. Deze ongelijkheid introduceert een "effectief aantal observaties", aangeduid als $\phi(n)$, die de steekproefomvang $n$ vervangt in de convergentie-analyse.
• SPDNN Schatters: De schatters worden gedefinieerd door het minimaliseren van een verliesfunctie (Huber of kwantiel) plus een strafterm $J_n(h)$. De straf is gebaseerd op een functie $\pi_{\lambda_n, \tau_n}$ (bijv. afgeknipte/clipped $L_1$ of SCAD) toegepast op de netwerkparameters.
• Tweestaps Pre-training Procedure (Onbekende Dichtheidsratio): Wanneer $r(x)$ onbekend is, wordt een tweestaps procedure voorgesteld:
  1. Stap 1: Schat de dichtheidsratio $r$ met behulp van een least-squares SPDNN-schatter ($\hat{r}_S$) getraind op ongelabelde bron- en doelstalen. Als $r$ onbegrensd is, wordt een getrunceerde versie ($T_\eta r$) geschat.
  2. Stap 2: Stel een hergewogen SPDNN-schatter op voor de regressiefunctie $h_0$ met behulp van de geschatte dichtheidsratio uit Stap 1.
• Truncatie voor Onbegrensde Ratio's: In gevallen waar de dichtheidsratio onbegrensd is maar eindige momenten bezit, gebruiken de auteurs een getrunceerde dichtheidsratio $T_\eta r(x) = \min(r(x), \eta)$ om stabiliteit te garanderen en foutgrenzen af te leiden.

Belangrijkste Bijdragen

1. Verenigde Theorie voor Afhankelijke Data: Het artikel verenigt de theoretische analyse voor diverse afhankelijkheidsstructuren ($\phi$-mixing, strong mixing, C-mixing) onder één enkel kader met behulp van de effectieve steekproefomvang $\phi(n)$.
2. Adaptieve Minimax Optimaliteit: De voorgestelde SPDNN-schatters blijken adaptief de minimax optimale convergentiesnelheid (tot een logaritmische factor) te bereiken voor Hölder-gladde functies. Dit geldt zowel voor i.i.d.-data als voor klassieke tijdreeksmodellen, zelfs wanneer de dichtheidsratio onbekend of onbegrensd is (mits deze voldoende momenten heeft).
3. Uitbreiding naar Huber en Kwantielregressie: De auteurs stellen non-asymptotische foutgrenzen vast voor zowel Huber- als kwantielregressie onder covariaatverschuiving, waarbij zij de specifieke kalibratieproblemen van de Huber-verliesparameter in deze context adresseren.
4. Tweestaps Pre-training Analyse: Het artikel biedt rigoureuze non-asymptotische $L^2(Q_{X_0})$ foutgrenzen voor de pre-training hergewogen schatters, waarbij wordt aangetoond dat de fout bij het schatten van de dichtheidsratio de algehele convergentiesnelheid van de regressieschatter niet verslechtert wanneer de steekproefgroottes gepast in balans zijn.

Resultaten
Het artikel stelt non-asymptotische foutgrenzen vast in de $L^2(Q_{X_0})$-norm voor de voorgestelde schatters.

• Niet-gewogen Schatters: Onder de aanname dat de dichtheidsratio uniform begrensd is, bereikt de ongewogen SPDNN-schatter de minimax-snelheid. Echter, als de ratio onbegrensd is (maar eindige tweede-orde momenten heeft), wordt de snelheid suboptimaal.
• Hergewogen Schatters: Wanneer de dichtheidsratio bekend en uniform begrensd is, bereikt de hergewogen SPDNN-schatter de minimax optimale snelheid $O((\phi(n))^{-2s/(2s+d)})$, waarbij $s$ de gladheidsparameter is.
• Getrunceerde Hergewogen Schatters: Wanneer de dichtheidsratio onbegrensd is maar eindige momenten bezit, bereikt de hergewogen schatter met een getrunceerde dichtheidsratio ook de minimax optimale snelheid (tot logaritmische factoren).
• Pre-training Schatters: Wanneer de dichtheidsratio onbekend is en geschat wordt via een tweestaps procedure, behoudt de resulterende schatter de minimax optimale snelheid, mits de steekproefomvang die gebruikt wordt voor het schatten van de dichtheidsratio voldoende groot is ten opzicht van de regressie-steekproefomvang.

Deze resultaten zijn samengevat in Tabel 1 van het artikel, die de convergentiesnelheden voor i.i.d., $\phi$-mixing, exponentiële $\alpha$-mixing en geometrische C-mixing processen detailsert.

Betekenis en Claims
Het artikel claimt de theoretische garanties van diepe niet-parametrische regressie uit te breiden naar meer realistische scenario's die betrokken zijn bij afhankelijke data en distributieverschuivingen. Door het introduceren van sparse-penalized regularisatie bieden de auteurs schatters die adaptief zijn, waardoor de noodzaak voor de praktijk even te weten als de gladheid van de doelunctie of het spaarzaamheidsniveau vooraf bekend is, wordt weggenomen.

De auteurs benadrukken dat hun werk eerdere resultaten (specifiek die in [11]) generaliseert door:

1. Afhankelijke observaties te incorporeren via een gegeneraliseerde Bernstein-ongelijkheid.
2. Huber-regressie te adresseren, wat cruciaal is voor heavy-tailed data waarbij de kleinste kwadraten niet in staat zijn om minimax-snelheden te bereiken.
3. Sparse-penalized regularisatie te gebruiken om adaptiviteit te bereiken, in contrast met niet-adaptieve methoden met beperkte spaarzaamheid.

De betekenis ligt in het bieden van een robuust theoretisch kader voor de toepassing van deep learning in domeinen zoals de gezondheidszorg en natuurlijke taalverwerking, waar distributieverschillen en temporele afhankelijkheden gebruikelijk zijn, en het waarborgen dat schatters optimaal blijven, zelfs onder deze complexe condities.