Adaptive deep nonparametric regression from dependent data under covariate shift

Sintesi Tecnica: Regressione Nonparametrica Profonda Adattiva da Dati Dipendenti sotto Covariate Shift

Definizione del Problema
Questo articolo affronta la sfida della regressione nonparametrica utilizzando reti neurali profonde (DNN) in scenari in cui i dati di addestramento (source) e di test (target) seguono distribuzioni differenti, un fenomeno noto come covariate shift. Nello specifico, la distribuzione marginale delle covariate nei dati sorgente ($P_{X_0}$) differisce da quella nei dati target ($Q_{X_0}$), mentre la distribuzione condizionale della risposta date le covariate rimane invariante ($P_{Y_0|X_0} = Q_{Y_0|X_0}$).

Lo studio estende la letteratura esistente in tre direzioni critiche:

1. Osservazioni Dipendenti: A differenza dei lavori precedenti che assumono principalmente dati indipendenti e identicamente distribuiti (i.i.d.), questo articolo considera dati generati da processi stazionari ed ergodici, inclusi i processi $\phi$-mixing, strong mixing e C-mixing.
2. Funzioni di Perdita Robuste: Gli autori investigano sia la regressione di Huber (per la robustezza contro gli outlier e gli errori a code pesanti) sia la regressione quantile, andando oltre gli approcci standard basati su minimi quadrati o ReLU spesso presenti nella letteratura sul covariate shift.
3. Regolarizzazione Adattiva: L'articolo propone stimatori di tipo Sparse-Penalized Deep Neural Network (SPDNN). A differenza dei metodi precedenti che si affidano a una regolarizzazione con vincolo di sparsità con un livello di sparsità $S$ fisso e ignoto, questo approccio utilizza un termine di penalità che permette agli stimatori di raggiungere adattivamente tassi di convergenza ottimali senza la conoscenza preventiva della regolarità (smoothness) della funzione target.

Metodologia
Gli autori modellano i dati come un processo stazionario $Z_t = (X_t, Y_t)$ che soddisfa $Y_t = h_0(X_t) + \xi_t$, dove $h_0$ è la funzione di regressione ignota e $\xi_t$ è un processo di errore centrato i.i.d. Per gestire il covariate shift, la metodologia si basa sul rapporto di densità $r(x) = q_{X_0}(x) / p_{X_0}(x)$.

La metodologia centrale prevede:

• Disuguaglianza di tipo Bernstein Generalizzata: Per gestire i dati dipendenti, gli autori utilizzano una disuguaglianza di tipo Bernstein generalizzata soddisfatta da vari processi di mixing. Questa disuguaglianza introduce un "numero effettivo di osservazioni", denotato come $\phi(n)$, che sostituisce la dimensione del campione $n$ nelle analisi dei tassi di convergenza.
• Stimatori SPDNN: Gli stimatori sono definiti minimizzando una funzione di perdita (Huber o quantile) più un termine di penalità sparsa $J_n(h)$. La penalità si basa su una funzione $\pi_{\lambda_n, \tau_n}$ (ad esempio, clipped $L_1$ o SCAD) applicata ai parametri della rete.
• Procedura di Pre-Training a Due Fasi (Rapporto di Densità Ignoto): Quando $r(x)$ è ignoto, viene proposta una procedura in due fasi:
  1. Fase 1: Stimare il rapporto di densità $r$ utilizzando uno stimatore SPDNN a minimi quadrati ($\hat{r}_S$) addestrato su campioni non etichettati sorgente e target. Se $r$ è illimitato, viene stimata una sua versione troncata ($T_\eta r$).
  2. Fase 2: Costruire uno stimatore SPDNN ripesato per la funzione di regressione $h_0$ utilizzando il rapporto di densità stimato dalla Fase 1.
• Troncamento per Rapporti Illimitati: Nei casi in cui il rapporto di densità sia illimitato ma possieda momenti finiti, gli autori impiegano un rapporto di densità troncato $T_\eta r(x) = \min(r(x), \eta)$ per garantire la stabilità e derivare i limiti di errore.

Contributi Chiave

1. Teoria Unificata per Dati Dipendenti: L'articolo unifica l'analisi teorica per varie strutture di dipendenza ($\phi$-mixing, strong mixing, C-mixing) sotto un unico framework utilizzando la dimensione del campione effettiva $\phi(n)$.
2. Ottimalità Minimax Adattiva: Si dimostra che gli stimatori SPDNN proposti raggiungono adattivamente il tasso di convergenza minimax ottimale (fino a un fattore logaritmico) per funzioni con regolarità di tipo Hölder. Ciò è valido sia per dati i.i.d. che per modelli di serie temporali classici, anche quando il rapporto di densità è ignoto o illimitato (purché possieda momenti sufficienti).
3. Estensione alla Regressione di Huber e Quantile: Gli autori stabiliscono limiti di errore non asintotici per la regressione di Huber e la regressione quantile sotto covariate shift, affrontando i problemi specifici di calibrazione del parametro della perdita di Huber in questo contesto.
4. Analisi del Pre-Training a Due Fasi: L'articolo fornisce rigorosi limiti di errore non asintotici $L^2(Q_{X_0})$ per gli stimatori ripesati di pre-training, dimostrando che l'errore derivante dalla stima del rapporto di densità non degrada il tasso di convergenza complessivo dello stimatore di regressione quando le dimensioni dei campioni sono appropriatamente bilanciate.

Risultati
L'articolo stabilisce limiti di errore non asintotici nella norma $L^2(Q_{X_0})$ per gli stimatori proposti.

• Stimatori Non Pesati: Sotto l'assunto che il rapporto di densità sia uniformemente limitato, lo stimatore SPDNN non pesato raggiunge il tasso minimax. Tuttavia, se il rapporto è illimitato (ma possiede momenti di secondo ordine), il tasso diventa subottimale.
• Stimatori Ripesati: Quando il rapporto di densità è noto e uniformemente limitato, lo stimatore SPDNN ripesato raggiunge il tasso minimax ottimale $O((\phi(n))^{-2s/(2s+d)})$, dove $s$ è il parametro di regolarità.
• Stimatori Ripesati Troncati: Quando il rapporto di densità è illimitato ma possiede momenti di qualsiasi ordine, lo stimatore ripesato utilizzando un rapporto di densità troncato raggiunge anch'esso il tasso minimax ottimale (fino ai fattori logaritmici).
• Stimatori di Pre-Training: Quando il rapporto di densità è ignoto e stimato tramite una procedura a due fasi, lo stimatore risultante mantiene il tasso minimax ottimale, a condizione che la dimensione del campione utilizzata per stimare il rapporto di densità sia sufficientemente grande rispetto alla dimensione del campione di regressione.

Questi risultati sono riassunti nella Tabella 1 dell'articolo, che dettaglia i tassi di convergenza per processi i.i.d., $\phi$-mixing, $\alpha$-mixing esponenziale e C-mixing geometrico.

Significatività e Rivendicazioni
L'articolo sostiene di estendere le garanzie teoriche della regressione nonparametrica profonda a scenari più realistici che coinvolgono dati dipendenti e shift di distribuzione. Introducendo la regolarizzazione a penalità sparsa, gli autori forniscono stimatori che sono adattivi, eliminando la necessità per il professionista di conoscere in anticipo la regolarità della funzione target o il livello di sparsità.

Gli autori sottolineano che il loro lavoro generalizza i risultati precedenti (specificamente quelli in [11]) poiché:

1. Incorpora osservazioni dipendenti attraverso una disuguaglianza di Bernstein generalizzata.
2. Affronta la regressione di Huber, fondamentale per dati con code pesanti dove i minimi quadrati non riescono a raggiungere i tassi minimax.
3. Utilizza la regolarizzazione a penalità sparsa per ottenere l'adattività, contrastando con i metodi non adattivi con vincolo di sparsità.

La significatività risiede nel fornire un framework teorico robusto per l'applicazione del deep learning in domini come l'assistenza sanitaria e l'elaborazione del linguaggio naturale, dove i mismatch di distribuzione e le dipendenze temporali sono comuni, garantendo che gli stimatori rimangano ottimali anche in queste condizioni complesse.