Nonparametric Goodness-of-fit Testing under Covariate Shift

Sintesi Tecnica: Test di Goodness-of-fit Nonparametrico sotto Covariate Shift

Formulazione del Problema
Questo articolo affronta il problema del test di goodness-of-fit nonparametrico in presenza di covariate shift. In questo contesto, i dati etichettati $\mathcal{D} = \{(X_i, Y_i)\}_{i=1}^n$ sono estratti da una distribuzione sorgente $P$, ma l'obiettivo è valutare le prestazioni di una funzione di regressione $f^*$ rispetto a una distribuzione target $Q$. Le distribuzioni marginali delle covariate differiscono ($P_X \neq Q_X$), mentre la distribuzione condizionata della risposta rimane invariante ($P_{Y|X} = Q_{Y|X}$).

L'obiettivo inferenziale primario è testare l'ipotesi nulla:
$$H_0: \|f_0 - f^*\|_{L^2(Q)} = 0 \quad \text{vs.} \quad H_1: \|f_0 - f^*\|_{L^2(Q)} > 0,$$
dove $f_0$ è una funzione candidata e la norma è definita rispetto alla misura target $Q_X$. La sfida risiede nella costruzione di set di confidenza validi per $f^*$ nella geometria $L^2(Q)$ utilizzando solo campioni del dominio sorgente, in particolare quando il rapporto di densità target-sorgente $\rho(x) = dQ_X/dP_X$ è illimitato o presenta code pesanti, il che può destabilizzare gli stimatori standard basati sul weighting per importanza (importance-weighting).

Metodologia
Il framework proposto combina la regressione kernel ridge pesata per importanza con troncamento (IWKRR) con una procedura di multiplier bootstrap.

1. Stimatore IWKRR Troncato:
   Il classico weighting per importanza (IW) stima il rischio target pesando i campioni sorgente tramite $\rho(x)$. Tuttavia, valori elevati di $\rho(x)$ possono causare un'alta varianza. Gli autori impiegano una funzione di peso troncata $w_n(x) = \min\{\rho(x), \tau_n\}$, dove $\tau_n$ è un livello di troncamento prestabilito. Lo stimatore $\hat{f}$ minimizza il rischio empirico troncato:
   $$\hat{f} = \arg\min_{f \in \mathcal{H}} \frac{1}{n} \sum_{i=1}^n w_n(X_i)(Y_i - f(X_i))^2 + \lambda_n \|f\|_{\mathcal{H}}^2,$$
   dove $\mathcal{H}$ è uno Spazio di Hilbert Riproducente (RKHS) e $\lambda_n$ è il parametro di regolarizzazione.

2. Multiplier Bootstrap per i Set di Confidenza:
   Per costruire un ball di confidenza al $100(1-\alpha)\%$ $CS_\alpha(\hat{f}) = \{f \in \mathcal{H} : \|\hat{f} - f\|_{L^2(Q)} \leq \hat{c}_{\alpha,n}\}$, gli autori utilizzano un multiplier bootstrap.

   • Decomposizione Bias-Varianza: L'errore $\sqrt{n}(\hat{f} - f^*)$ viene decomposto in un termine di bias (trascurabile sotto l'under-smoothing) e un termine di fluttuazione stocastica.
   • Rappresentazione di Bahadur: Si dimostra che il termine stocastico ammette una rappresentazione di Bahadur che coinvolge funzioni di influenza $U_i$.
   • Statistica Bootstrap: Viene costruito un statisticamente computabile statistica bootstrap $B$ utilizzando moltiplicatori antisimmetrici $h_{ij} \sim N(0,1)$ e residui empirici. Il raggio $\hat{c}_{\alpha,n}$ è determinato dai quantili empirici di $\|B\|_{L^2(Q)}$.
   • Efficienza Computazionale: Il metodo sfrutta la struttura matriciale dell'RKHS per calcolare $\|B\|_{L^2(Q)}$ in modo efficiente tramite forme quadratiche, evitando la necessità di ri-adattare il modello in ogni iterazione del bootstrap.

Framework Teorico e Assunzioni
La validità dell'inferenza si basa su diverse condizioni chiave:

• Condizioni di Compatibilità: Il documento introduce la "copertura di trasferimento regolarizzata" (Assunzione 4.4) e la "non-degenerazione della covarianza" (Assunzione 4.5). Queste condizioni assicurano che la geometria della distribuzione sorgente pesata (controllata dai pesi troncati) sia sufficientemente compatibile con la geometria $L^2(Q)$ target per consentire un trasferimento di errore valido e proprietà di anti-concentrazione.
• Condizioni sul Rapporto di Densità: La teoria accoglie tre regimi per il rapporto di densità $\rho(x)$:
  1. Rapporto di densità limitato.
  2. Condizioni di coda sub-esponenziale (condizioni di momento di tipo Bernstein).
  3. Distribuzioni a code pesanti con momenti di ordine superiore limitati (che richiedono un appropriato troncamento).
• Condizioni Spettrali: I risultati dipendono dal decadimento spettrale dell'operatore integrale del kernel $L_Q$, coprendo sia il decadimento polinomiale ($\mu_k \asymp k^{-\beta}$) che quello esponenziale.

Contributi Chiave e Risultati

1. Validità Nonasintotica: Il documento stabilisce limiti nonasintotici sull'errore di copertura dei set di confidenza bootstrap. Il tasso di errore dipende dal bias, dall'errore di approssimazione gaussiana e dall'errore di approssimazione bootstrap.
2. Tassi di Errore Espliciti: Sotto specifiche condizioni sul rapporto di densità e sul decadimento spettrale del kernel, gli autori derivano tassi di convergenza espliciti per la probabilità di miscoverage $|P(f^* \notin CS_\alpha(\hat{f})) - \alpha|$. Ad esempio, sotto rapporti di densità limitati e decadimento spettrale polinomiale, il tasso di errore è mostrato essere dell'ordine di $O(n^{-\gamma} \log^3 n)$ per un esponente $\gamma$ specifico determinato dai parametri di smoothnes e dimensionalità.
3. Trattamento Operatore-Teorico: Un contributo tecnico originale è l'uso di isomorfismi unitari generati dalle radici quadrate degli operatori integrali target e della sorgente pesata. Ciò consente il confronto delle fluttuazioni stocastiche in diverse geometrie ($L^2(Q)$ vs. RKHS) all'interno di un calcolo operativo comune, catturando sia il bias dello stimatore troncato che la sua struttura di covarianza.
4. Validazione Empirica:
   • Simulazioni: Gli esperimenti numerici dimostrano che il raggio bootstrap è ben calibrato e che i set di confidenza raggiungono una copertura empirica vicina al livello nominale, anche quando il rapporto di densità è elevato.
   • Applicazione su Dati Reali: Il metodo viene applicato al Survey of Consumer Finances (SCF) per testare ipotesi riguardanti il patrimonio netto delle famiglie e la monotonicità delle probabilità di possesso di azioni rispetto al reddito. I risultati mostrano la capacità di rifiutare specifiche funzioni candidate (ad esempio, KRR basato solo sulla sorgente) e di testare ipotesi composte (ad esempio, la monotonicità) in un contesto pesato per l'indagine.

Significato e Rivendicazioni
Il documento sostiene di fornire un framework inferenziale generale per valutare le funzioni di regressione sotto covariate shift, un problema meno compreso rispetto al problema della stima stessa. Combinando il troncamento per stabilizzare la varianza con un multiplier bootstrap per quantificare l'incertezza, gli autori offrono una procedura che è:

• Robusta: Applicabile anche quando il rapporto di densità presenta code pesanti, purché il livello di troncamento sia scelto appropriatamente.
• Teoricamente Fondata: Dimostrata avere garanzie di copertura nonasintotica sotto esplicite condizioni di compatibilità e spettrali.
• Praticamente Fattibile: Computazionalmente efficiente, richiedendo solo moltiplicazioni matrice-vettore dopo il calcolo iniziale dello stimatore.

Gli autori sottolineano che il loro approccio permette la costruzione di set di confidenza nella geometria della distribuzione target, affrontando il problema critico per cui una funzione vicina alla verità nella distribuzione sorgente potrebbe non essere vicina nella distribuzione target. Il lavoro colma il divario tra la stima robusta sotto covariate shift e l'inferenza statistica valida.