Adaptive deep nonparametric regression from dependent data under covariate shift

Resumen Técnico: Regresión No Paramétrica Profunda Adaptativa de Datos Dependientes bajo Desplazamiento de Covariables

Planteamiento del Problema
Este artículo aborda el desafío de la regresión no paramétrica utilizando redes neuronales profundas (DNN) en entornos donde los datos de entrenamiento (fuente) y de prueba (objetivo) siguen distribuciones diferentes, un fenómeno conocido como desplazamiento de covariables (covariate shift). Específicamente, la distribución marginal de las covariables en los datos de la fuente ($P_{X_0}$) difiere de la de los datos de objetivo ($Q_{X_0}$), mientras que la distribución condicional de la respuesta dado las covariables permanece invariante ($P_{Y_0|X_0} = Q_{Y_0|X_0}$).

El estudio extiende la literatura existente en tres direcciones críticas:

1. Observaciones Dependientes: A diferencia de trabajos previos que principalmente asumen datos independientes e idénticamente distribuidos (i.i.d.), este artículo considera datos generados por procesos estacionarios y ergódicos, incluyendo procesos $\phi$-mixing, strong mixing y C-mixing.
2. Funciones de Pérdida Robustas: Los autores investigan tanto la regresión de Huber (para robustez contra valores atípicos y errores de cola pesada) como la regresión de cuantiles, yendo más allá de los enfoques estándar de mínimos cuadrados o basados en ReLU que se encuentran frecuentemente en la literatura de desplazamiento de covariables.
3. Regularización Adaptativa: El artículo propone estimadores de Redes Neuronales Profundas Penalizadas con Dispersión (SPDNN). A diferencia de los métodos anteriores que dependen de una regularización con restricción de dispersión con un nivel de dispersión $S$ fijo y desconocido, este enfoque utiliza un término de penalización que permite a los estimadores alcanzar adaptativamente tasas de convergencia óptimas sin conocimiento previo de la suavidad de la función objetivo.

Metodología
Los autores modelan los datos como un proceso estacionario $Z_t = (X_t, Y_t)$ que satisface $Y_t = h_0(X_t) + \xi_t$, donde $h_0$ es la función de regresión desconocida y $\xi_t$ es un proceso de error centrado e i.i.d. Para manejar el desplazamiento de covariables, la metodología se basa en la razón de densidad $r(x) = q_{X_0}(x) / p_{X_0}(x)$.

La metodología central involucra:

• Desigualdad de tipo Bernstein Generalizada: Para manejar datos dependientes, los autores utilizan una desigualdad de tipo Bernstein generalizada que satisfacen varios procesos de mezcla, la cual introduce un "número efectivo de observaciones", denotado como $\phi(n)$, que reemplaza el tamaño de la muestra $n$ en los análisis de tasa de convergencia.
• Estimadores SPDNN: Los estimadores se definen minimizando una función de pérdida (Huber o cuantiles) más un término de penalización de dispersión $J_n(h)$. La penalización se basa en una función $\pi_{\lambda_n, \tau_n}$ (por ejemplo, $L_1$ recortado o SCAD) aplicada a los parámetros de la red.
• Procedimiento de Pre-entrenamiento de Dos Pasos (Razón de Densidad Desconocida): Cuando $r(x)$ es desconocida, se propone un procedimiento de dos pasos:
  1. Paso 1: Estimar la razón de densidad $r$ utilizando un estimador SPDNN de mínimos cuadrados ($\hat{r}_S$) entrenado con muestras de la fuente y del objetivo sin etiquetas. Si $r$ es ilimitada, se estima una versión truncada ($T_\eta r$).
  2. Paso 2: Construir un estimador SPDNN reponderado para la función de regresión $h_0$ utilizando la razón de densidad estimada en el Paso 1.
• Truncamiento para Razones Ilimitadas: En casos donde la razón de densidad es ilimitada pero posee momentos finitos, los autores emplean una razón de densidad truncada $T_\eta r(x) = \min(r(x), \eta)$ para asegurar la estabilidad y derivar los límites de error.

Contribuciones Clave

1. Teoría Unificada para Datos Dependientes: El artículo unifica la teoría del análisis para diversas estructuras de dependencia ($\phi$-mixing, strong mixing, C-mixing) bajo un solo marco utilizando el tamaño de muestra efectivo $\phi(n)$.
2. Optimalidad Minimax Adaptativa: Se demuestra que los estimadores SPDNN alcanzan adaptativamente la tasa de convergencia minimax óptima (salvo un factor logarítmico) para funciones de suavidad Hölder. Esto es válido tanto para datos i.i.d. como para modelos clásicos de series temporales, incluso cuando la razón de densidad es desconocida o ilimitada (siempre que posea suficientes momentos).
3. Extensión a la Regresión de Huber y de Cuantiles: Los autores establecen límites de error no asintóticos para la regresión de Huber y de cuantiles bajo desplazamiento de covariables, abordando los problemas específicos de calibración del parámetro de la pérdida de Huber en este contexto.
4. Análisis de Pre-entrenamiento de Dos Pasos: El artículo proporciona límites de error no asintóticos $L^2(Q_{X_0})$ rigurosos para los estimadores reponderados de pre-entrenamiento, demostrando que el error derivado de la estimación de la razón de densidad no degrada la tasa de convergencia global del estimador de regresión cuando los tamaños de muestra están apropiadamente equilibrados.

Resultados
El artículo establece límites de error no asintóticos en la norma $L^2(Q_{X_0})$ para los estimadores propuestos.

• Estimadores No Reponderados: Bajo el supuesto de que la razón de densidad es uniformemente acotada, el estimador SPDNN no reponderado alcanza la tasa minimax. Sin embargo, si la razón es ilimitada (pero tiene momentos de segundo orden finitos), la tasa se vuelve subóptima.
• Estimadores Reponderados: Cuando la razón de densidad es conocida y uniformemente acotada, el estimador SPDNN reponderado alcanza la tasa minimax óptima $O((\phi(n))^{-2s/(2s+d)})$, donde $s$ es el parámetro de suavidad.
• Estimadores Reponderados Truncados: Cuando la razón de densidad es ilimitada pero tiene momentos finitos de cualquier orden, el estimador reponderado utilizando una razón de densidad truncada también alcanza la tasa minimax óptima (salvo factores logarítmicos).
• Estimadores de Pre-entrenamiento: Cuando la razón de densidad es desconocida y se estima mediante un procedimiento de dos pasos, el estimador resultante mantiene la tasa minimax óptima, siempre que el tamaño de la muestra utilizado para estimar la razón de densidad sea suficientemente grande en relación con el tamaño de la muestra de regresión.

Estos resultados se resumen en la Tabla 1 del artículo, que detalla las tasas de convergencia para procesos i.i.d., $\phi$-mixing, $\alpha$-mixing exponencial y C-mixing geométrico.

Significancia y Reivindicaciones
El artículo afirma extender las garantías teóricas de la regresión no paramétrica profunda a escenarios más realistas que involucran datos dependientes y desplazamientos de distribución. Al introducir la regularización penalizada con dispersión, los autores proporcionan estimadores que son adaptativos, eliminando la necesidad de que el profesional conozca la suavidad de la función objetivo o el nivel de dispersión de antemano.

Los autores destacan que su trabajo generaliza los resultados previos (específicamente los de [11]) al:

1. Incorporar observaciones dependientes a través de una desigualdad de Bernstein generalizada.
2. Abordar la regresión de Huber, la cual es crucial para datos de cola pesada donde los mínimos cuadrados fallan en alcanzar las tasas minimax.
3. Utilizar la regularización penalizada con dispersión para lograr la adaptatividad, contrastando con los métodos de restricción de dispersión no adaptativos.

La significancia radica en proporcionar un marco teórico robusto para la aplicación del aprendizaje profundo en dominios como la salud y el procesamiento de lenguaje natural, donde los desajustes de distribución y las dependencias temporales son comunes, asegurando que los estimadores permanezcan óptimos incluso bajo estas condiciones complejas.