Nonparametric Goodness-of-fit Testing under Covariate Shift

Resumen Técnico: Pruebas de bondad de ajuste no paramétricas bajo cambio de covariables

Formulación del Problema
Este artículo aborda el problema de las pruebas de bondad de ajuste no paramétricas en presencia de un cambio de covariables (covariate shift). En este escenario, los datos etiquetados $\mathcal{D} = \{(X_i, Y_i)\}_{i=1}^n$ se extraen de una distribución de origen $P$, pero el objetivo es evaluar el desempeño de una función de regresión $f^*$ bajo una distribución objetivo $Q$. Las distribuciones marginales de las covariables difieren ($P_X \neq Q_X$), mientras que la distribución condicional de la respuesta permanece invariante ($P_{Y|X} = Q_{X|Y}$).

El objetivo inferencial principal es probar la hipótesis nula:
$$H_0: \|f_0 - f^*\|_{L^2(Q)} = 0 \quad \text{vs.} \quad H_1: \|f_0 - f^*\|_{L^2(Q)} > 0,$$
donde $f_0$ es una función candidata y la norma se define con respecto a la medida objetivo $Q_X$. El desafío radica en construir conjuntos de confianza válidos para $f^*$ en la geometría $L^2(Q)$ utilizando únicamente muestras del dominio de origen, particularmente cuando la razón de densidad de la densidad objetivo-origen $\rho(x) = dQ_X/dP_X$ es ilimitada o presenta colas pesadas, lo que puede desestabilizar los estimadores estándar de ponderación por importancia.

Metodología
El marco propuesto combina la regresión de núcleo de ridge ponderada por importancia truncada (IWKRR) con un procedimiento de bootstrap de multiplicadores.

1. Estimador IWKRR Truncado:
   La ponderación por importancia estándar (IW) estima el riesgo objetivo ponderando las muestras de origen por $\rho(x)$. Sin embargo, los valores grandes de $\rho(x)$ pueden causar una alta varianza. Los autores emplean una función de peso truncada $w_n(x) = \min\{\rho(x), \tau_n\}$, donde $\tau_n$ es un nivel de truncamiento preespecificado. El estimador $\hat{f}$ minimiza el riesgo empírico truncado:
   $$\hat{f} = \arg\min_{f \in \mathcal{H}} \frac{1}{n} \sum_{i=1}^n w_n(X_i)(Y_i - f(X_i))^2 + \lambda_n \|f\|_{\mathcal{H}}^2,$$
   donde $\mathcal{H}$ es un Espacio de Hilbert Reproductor de Núcleos (RKHS) y $\lambda_n$ es el parámetro de regularización.

2. Bootstrap de Multiplicadores para Conjuntos de Confianza:
   Para construir un conjunto de confianza de $100(1-\alpha)\%$ $CS_\alpha(\hat{f}) = \{f \in \mathcal{H} : \|\hat{f} - f\|_{L^2(Q)} \leq \hat{c}_{\alpha,n}\}$, los autores utilizan un bootstrap de multiplicadores.

   • Descomposición Sesgo-Varianza: El error $\sqrt{n}(\hat{f} - f^*)$ se descompone en un término de sesgo (despreciable bajo sub-suavizado) y un término de fluctuación estocástica.
   • Representación de Bahadur: Se demuestra que el término estocástico admite una representación de Bahadur que involucra funciones de influencia $U_i$.
   • Estadístico de Bootstrap: Se construye un estadístico de bootstrap computable $B$ utilizando multiplicadores antisimétricos $h_{ij} \sim N(0,1)$ y residuos empíricos. El radio $\hat{c}_{\alpha,n}$ se determina mediante los cuantiles empíricos de $\|B\|_{L^2(Q)}$.
   • Eficiencia Computacional: El método aprovecha la estructura matricial del RKHS para calcular $\|B\|_{L^2(Q)}$ de manera eficiente mediante formas cuadráticas, evitando la necesidad de reajustar el modelo en cada iteración del bootstrap.

Marco Teórico y Supuestos
La validez de la inferencia depende de varias condiciones clave:

• Condiciones de Compatibilidad: El artículo introduce la "cobertura de transferencia regularizada" (Supuesto 4.4) y la "no degeneración de la covarianza" (Supuesto 4.5). Estas condiciones aseguran que la geometría de la distribución de origen ponderada (controlada por los pesos truncados) sea suficientemente compatible con la geometría $L^2(Q)$ objetivo para permitir una transferencia de error válida y propiedades de anticoncentración.
• Condiciones de la Razón de Densidad: La teoría contempla tres regímenes para la razón de densidad $\rho(x)$:
  1. Razón de densidad acotada.
  2. Condiciones de cola sub-exponenciales (condiciones de momento tipo Bernstein).
  3. Distribuciones de cola pesada con momentos de orden superior acotados (que requieren una truncación apropiada).
• Condiciones Espectrales: Los resultados dependen de la caída espectral del operador integral del núcleo $L_Q$, cubriendo la caída polinómica ($\mu_k \asymp k^{-\beta}$) y la exponencial.

Contribuciones Clave y Resultados

1. Validez No Asintótica: El artículo establece límites no asintóticos sobre el error de cobertura de los conjuntos de confianza de bootstrap. La tasa de error depende del sesgo, el error de aproximación gaussiana y el error de aproximación del bootstrap.
2. Tasas de Error Explícitas: Bajo condiciones específicas sobre la razón de densidad y la caída espectral del núcleo, los autores derivan tasas de convergencia explícitas para la probabilidad de error de cobertura $|P(f^* \notin CS_\alpha(\hat{f})) - \alpha|$. Por ejemplo, bajo razones de densidad acotadas y caída espectral polinómica, se muestra que la tasa de error es del orden de $O(n^{-\gamma} \log^3 n)$ para un exponente $\gamma$ específico determinado por los parámetros de suavidad y dimensión.
3. Tratamiento Operador-Teórico: Una novedosa contribución técnica es el uso de isomorfismos unitarios generados por las raíces cuadradas de los operadores integrales objetivo y de la fuente ponderada. Esto permite la comparación de las fluctuaciones estocásticas en diferentes geometrías ($L^2(Q)$ vs. RKHS) dentro de un cálculo de operadores común, capturando tanto el sesgo del estimador truncado como su estructura de covarianza.
4. Validación Empírica:
   • Simulaciones: Los experimentos numéricos demuestran que el radio de bootstrap está bien calibrado y que los conjuntos de confianza logran una cobertura empírica cercana al nivel nominal, incluso cuando la razón de densidad es grande.
   • Aplicación a Datos Reales: El método se aplica a la Encuesta de Finanzas de los Consumidores (SCF) para probar hipótesis sobre el patrimonio neto de los hogares y la monotonicidad de las probabilidades de tenencia de acciones con respecto al ingreso. Los resultados muestran la capacidad de rechazar funciones candidatas específicas (por ejemplo, KRR de solo origen) y probar hipótesis compuestas (por ejemplo, la monotonicidad) en un entorno ponderado por encuestas.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco de inferencia general para evaluar funciones de regresión bajo cambio de covariables, un problema que ha sido menos comprendido que el problema de la estimación en sí. Al combinar la truncación para estabilizar la varianza con un bootstrap de multiplicadores para cuantificar la incertidumbre, los autores ofrecen un procedimiento que es:

• Robusto: Aplicable incluso cuando la razón de densidad tiene colas pesadas, siempre que se elija apropiadamente el nivel de truncación.
• Teóricamente Fundamentado: Se ha demostrado que posee garantías de cobertura no asintóticas bajo condiciones explícitas de compatibilidad y espectrales.
• Prácticamente Factible: Computacionalmente eficiente, requiriendo solo multiplicaciones matriz-vector después de que se calcula el estimador inicial.

Los autores enfatizan que su enfoque permite la construcción de conjuntos de confianza en la geometría de la distribución objetivo, abordando el problema crítico de que una función cercana a la verdad en la distribución de origen puede no ser cercana en la distribución objetivo. El trabajo cierra la brecha entre la estimación robusta bajo cambio de covariables y la inferencia estadística válida.