Nonparametric Goodness-of-fit Testing under Covariate Shift

Technische Samenvatting: Nonparametrische Goedheid-van-passing-testen onder Covariaatverschuiving

Probleemformulering
Dit artikel behandelt het probleem van de nonparametrische goedheid-van-passing-test (goodness-of-fit testing) in aanwezigheid van covariaatverschuiving (covariate shift). In deze setting zijn gelabelde gegevens $\mathcal{D} = \{(X_i, Y_i)\}_{i=1}^n$ afkomstig uit een bronverdeling $P$, maar is het doel om de prestaties van een regressiefunctie $f^*$ te evalueren onder een doelverdeling $Q$. De marginale verdelingen van de covariaten verschillen ($P_X \neq Q_X$), terwijl de conditionele verdeling van de respons invariant blijft ($P_{Y|X} = Q_{Y|X}$).

Het primaire inferentiële doel is het testen van de nulhypothese:
$$H_0: \|f_0 - f^*\|_{L^2(Q)} = 0 \quad \text{tegen.} \quad H_1: \|f_0 - f^*\|_{L^2(Q)} > 0,$$
waarbij $f_0$ een kandidaatfunctie is en de norm gedefinieerd is met betrekking tot de doelmaat $Q_X$. De uitdaging ligt in het construeren van geldige betrouwbaarheidssets voor $f^*$ in de $L^2(Q)$-geometrie met uitsluitend steekproeven uit het brondomein, met name wanneer de doel-naar-bron dichtheidsratio $\rho(x) = dQ_X/dP_X$ onbegrensd is of zware staarten vertoont, wat standaard importance-weighting schatters kan destabiliseren.

Methodologie
Het voorgestelde raamwerk combineert getrunceerde importance-weighted kernel ridge regressie (IWKRR) met een multiplier bootstrap-procedure.

1. Getrunceerde IWKRR-schatter:
   Standaard importance weighting (IW) schat het doelrisico door bronsteekproeven te wegen met $\rho(x)$. Grote waarden van $\rho(x)$ kunnen echter leiden tot een hoge variantie. De auteurs maken gebruik van een getrunceerde gewichtfunctie $w_n(x) = \min\{\rho(x), \tau_n\}$, waarbij $\tau_n$ een vooraf gespecificeerd truncatieniveau is. De schatter $\hat{f}$ minimaliseert het getrunceerde empirische risico:
   $$\hat{f} = \arg\min_{f \in \mathcal{H}} \frac{1}{n} \sum_{i=1}^n w_n(X_i)(Y_i - f(X_i))^2 + \lambda_n \|f\|_{\mathcal{H}}^2,$$
   waarbij $\mathcal{H}$ een Reproducing Kernel Hilbert Ruimte (RKHS) is en $\lambda_n$ de regularisatieparameter is.

2. Multiplier Bootstrap voor Betrouwbaarheidssets:
   Om een $100(1-\alpha)\%$ betrouwbaarheidsbal $CS_\alpha(\hat{f}) = \{f \in \mathcal{H} : \|\hat{f} - f\|_{L^2(Q)} \leq \hat{c}_{\alpha,n}\}$ te construeren, maken de auteurs gebruik van een multiplier bootstrap.

   • Bias-Variantie Decompositie: De fout $\sqrt{n}(\hat{f} - f^*)$ wordt gedecomponeerd in een bias-term (verwaarloosbaar onder under-smoothing) en een stochastische fluctuatieterm.
   • Bahadur Representatie: Er wordt aangetoetahui dat de stochastische term een Bahadur-representatie toelaat die betrokken is bij invloedsfuncties $U_i$.
   • Bootstrap Statistiek: Een berekenbare bootstrap-statistiek $B$ wordt geconstrueerd met behulp van antisymmetrische multipliers $h_{ij} \sim N(0,1)$ en empirische residuen. De straal $\hat{c}_{\alpha,n}$ wordt bepaald door de empirische kwantielen van $\|B\|_{L^2(Q)}$.
   • Computationele Efficiëntie: De methode maakt gebruik van de matrixstructuur van de RKHS om $\|B\|_{L^2(Q)}$ efficiënt te berekenen via kwadratische vormen, waardoor het niet nodig is om het model in elke bootstrap-iteratie opnieuw te fitten.

Theoretisch Raamwerk en Veronderstellingen
De validiteit van de inferentie rust op verschillende cruciale condities:

• Compatibiliteitscondities: Het artikel introduceert "regularized transfer coverage" (Aanname 4.4) en "non-degenerate covariance" (Aanname 4.5). Deze condities zorgen ervoor dat de geometrie van de gewogen bronverdeling (gecontroleerd door de getrunceerde gewichten) voldoende compatibel is met de doel-$L^2(Q)$-geometrie om geldige fouttransfer en anti-concentratie eigenschappen mogelijk te maken.
• Dichtheidsratio Condities: De theorie accommodeert drie regimes voor de dichtheidsratio $\rho(x)$:
  1. Begrensde dichtheidsratio.
  2. Sub-exponentiële staartcondities (Bernstein-type momentcondities).
  3. Heavy-tailed verdelingen met begrensde hogere-orde momenten (vereist passende truncatie).
• Spectrale Condities: De resultaten zijn afhankelijk van de spectrale verval van de kernel integraaloperator $L_Q$, waarbij zowel polynomiaal verval ($\mu_k \asymp k^{-\beta}$) als exponentieel verval worden behandeld.

Belangrijkste Bijdragen en Resultaten

1. Niet-asymptotische Validiteit: Het artikel stelt niet-asymptotische grenzen vast voor de dekkingfout van de bootstrap betrouwbaarheidssets. De foutgraad hangt af van de bias, de Gaussische benaderingsfout en de bootstrap benaderingsfout.
2. Expliciete Foutgraden: Onder specifieke condities op de dichtheidsratio en de spectrale verval van de kernel, leiden de auteurs expliciete convergentiesnelheden af voor de miscoveragedichtheid $|P(f^* \notin CS_\alpha(\hat{f})) - \alpha|$. Bijvoorbeeld, onder begrensde dichtheidsratio's en polynomiale spectrale verval, wordt getoond dat de foutgraad van de orde $O(n^{-\gamma} \log^3 n)$ is voor een specifieke exponent $\gamma$ die wordt bepaald door de smoothing en dimensie parameters.
3. Operator-theoretische Behandeling: Een nieuwe technische bijdrage is het gebruik van unitaire isomorfismen gegenereerd door de vierkantswortels van de doel- en de gewogen-bron integraaloperatoren. Dit maakt de vergelijking van stochastische fluctuaties in verschillende geometrieën ($L^2(Q)$ vs. RKHS) mogelijk binnen een gemeenschappelijke operatorcalculus, waarbij zowel de bias van de getrunceerde schatter als de covariantiestructuur worden gevangen.
4. Empirische Validatie:
   • Simulaties: Numerieke experimenten laten zien dat de bootstrap-straal goed gekalibreerd is en dat de betrouwbaarheidssets een empirische dekking bereiken die dicht bij het nominale niveau ligt, zelfs wanneer de dichtheidsratio groot is.
   • Toepassing op Real-world Data: De methode wordt toegepast op de Survey of Consumer Finances (SCF) om hypothesen te testen over het netto vermogen van huishoudens en de monotoniciteit van de kans op aandelenbezit met betrekking tot inkomen. De resultaten tonen het vermogen aan om specifieke kandidaatfuncties (bijv. bron-alleen KRR) te verwerpen en samengestelde hypothesen (bijv. monotoniciteit) te testen in een survey-gewogen setting.

Significantie en Claims
Het artikel claimt een algemeen inferentieel raamwerk te bieden voor het evalueren van regressiefuncties onder covariaatverschuiving, een probleem dat minder goed begrepen is dan het schattingsprobleem zelf. Door het combineren van truncatie om variantie te stabiliseren met een multiplier bootstrap om onzekerheid te kwantificeren, biedt de auteurs een procedure die:

• Robuust is: Toepasbaar zelfs wanneer de dichtheidsratio zware staarten heeft, mits het truncatieniveau gepast is gekozen.
• Theoretisch Onderbouwd is: Bewezen te beschikken over niet-asymptotische dekkinggaranties onder expliciete compatibiliteits- en spectrale condities.
• Praktisch Haalbaar is: Computationeel efficiënt, aangezien het slechts matrix-vector vermenigvuldigingen vereist nadat de initiële schatter is berekend.

De auteurs benadrukken dat hun benadering de constructie van betrouwbaarheidssets in de geometrie van de doelverdeling mogelijk maakt, waarmee zij het kritieke probleem aanpakken dat een functie die dicht bij de waarheid ligt in de bronverdeling, niet noodzakelijkerwijs dichtbij ligt in de doelverdeling. Het werk overbrugt de kloof tussen robuuste schatting onder covariaatverschuiving en geldige statistische inferentie.