High-Dimensional Single-Index Models: Link Estimation and Marginal Inference

Resumen Técnico: Modelos de Índice Único de Alta Dimensión: Estimación del Enlace e Inferencia Marginal

Planteamiento del Problema
Este estudio aborda los desafíos estadísticos de la estimación y las pruebas de hipótesis en modelos de índice único (SIM, por sus siglas en inglés) de alta dimensión, donde el tamaño de la muestra $n$ y la dimensión del vector de coeficientes $p$ son grandes y comparables ($p/n \to \kappa$). El modelo se define como $E[y_i | X_i = x] = g(\beta^\top x)$, donde $X_i \sim N_p(0, \Sigma)$, $\beta$ es un vector de coeficientes desconocido y $g(\cdot)$ es una función de enlace desconocida.

Si bien los modelos de índice único ofrecen ventajas sobre la regresión no paramétrica al mitigar la maldición de la dimensionalidad y evitar la especificación errónea del modelo respecto a la forma funcional, la literatura existente de alta dimensión enfrenta dos brechas primarias en este régimen:

1. Estimación de la Función de Enlace: Los enfoques previos a menudo pasan por alto la estimación consistente de la función de enlace desconocida $g(\cdot)$, o asumen que es conocida (como en los Modelos Lineales Generalizados).
2. Inferencia Marginal: Existe una falta de métodos rigurosos para establecer la normalidad asintótica marginal de las coordenadas individuales de $\beta$ cuando $g(\cdot)$ es desconocida, lo cual es necesario para construir intervalos de confianza y valores p válidos para la selección de variables.

Metodología
Los autores proponen un novedoso procedimiento de estimación de tres pasos combinado con un cuarto paso para la estimación de parámetros inferenciales. Para gestionar las complejas estructuras de dependencia derivadas del reuso de datos, el conjunto de datos se divide teóricamente en dos subconjuntos disjuntos, $I_1$ e $I_2$, aunque los autores señalan que, en la práctica, se recomienda utilizar todos los datos en cada paso.

1. Estimación del Índice (Paso Piloto): Utilizando el primer subconjunto $(X^{(1)}, y^{(1)})$, se construye un estimador piloto $\tilde{\beta}$ (por ejemplo, regresión de Ridge, mínimos cuadrados o MLE dependiendo del tipo de respuesta). Se deriva entonces un estimador de índice $W_i$ para el índice real $\beta^\top X_i$ utilizando técnicas de ajuste observable (Bellec, 2022). Este estimador corrige el sesgo y la varianza, resultando en $W_i \approx \beta^\top X_i + \mathcal{N}(0, \tilde{\sigma}^2/\tilde{\mu}^2)$.
2. Estimación de la Función de Enlace: Utilizando los pares $(y^{(1)}_i, W_i)$, los autores estiman $g(\cdot)$. Dado que $W_i$ contiene ruido gaussiano relativo al índice real, esto constituye un problema de "errores en las variables". Los autores emplean una técnica de deconvolución de kernel (Stefanski y Carroll, 1990) combinada con un estimador de Nadaraya-Watson para eliminar asintóticamente el sesgo de atenuación. Se aplica un operador de monotonización (por ejemplo, un operador de reordenamiento) para asegurar que la función de enlace estimada $\hat{g}(\cdot)$ sea monótona, consistente con los supuestos del modelo.
3. Estimación de Coeficientes: Utilizando el segundo subconjunto $(X^{(2)}, y^{(2)})$ y el enlace estimado $\hat{g}(\cdot)$, los autores minimizan una función de pérdida sustituta $\ell(b; x, y, \bar{g}) = \bar{G}(x^\top b) - y x^\top b$ (donde $\bar{G}' = \bar{g}$). Esto produce el estimador de coeficiente final $\hat{\beta}(\hat{g})$.
4. Estimación de Parámetros Inferenciales: Para facilitar la inferencia estadística, se construyen estimadores para el sesgo asintótico $\mu^*$ y la varianza $\sigma^2_*$ utilizando ajustes observables basados en la función de enlace estimada, siguiendo el marco de Bellec (2022).

Contribuciones Clave

• Estimación Consistente del Enlace: El artículo proporciona un estimador consistente para la función de enlace desconocida $g(\cdot)$ en el régimen proporcional de alta dimensión, abordando el problema de errores en las variables mediante deconvolución.
• Normalidad Asintótica Marginal: Los autores establecen rigurosamente la normalidad asintótica marginal para cualquier subconjunto finito de las coordenadas del estimador de coeficiente $\hat{\beta}(\hat{g})$. Este resultado se mantiene incluso cuando la razón $\kappa = p/n > 1$, un régimen donde los resultados previos de normalidad marginal para los SIM eran limitados.
• Mejora de la Eficiencia: Al utilizar la función de enlace estimada consistentemente, se demuestra que el estimador propuesto es más eficiente que los estimadores que dependen de funciones de enlace potencialmente mal especificadas o que ignoran la estructura del enlace por completo.
• Extensión Técnica: La estrategia de prueba extiende los argumentos de Zhao et al. (2022) de la regresión logística (MLE) a una clase más amplia de estimadores M no regularizados e incorpora la función de enlace estimada.

Resultados Teóricos y Empíricos

• Garantías Teóricas:
  • Teorema 1: Establece la consistencia uniforme del estimador de enlace $\hat{g}(\cdot)$ con una tasa de convergencia de $O_p((\log n)^{-m/2})$, la cual se muestra como un límite inferior.
  • Teoremas 2 y 4: Demuestran que para cualquier coordenada $j$, el estadístico $T_j = \frac{\sqrt{p}(\hat{\beta}_j - \mu^*\beta_j)}{\sigma^*/\tau_j}$ converge en distribución a una normal estándar $N(0, 1)$. Esto es válido tanto para entornos regularizados ($p > n$) como no regularizados ($p < n$).
  • Corolario 3: Demuestra que los intervalos de confianza construidos utilizando estos resultados asintóticos alcanzan la probabilidad de cobertura correcta asintóticamente.
• Experimentos Numéricos:
  • Las simulaciones a través de varios modelos (Logit, Poisson, Cúbico, Segmentado) confirman que el estimador de índice sigue la distribución gaussiana predicha.
  • El estimador de la función de enlace muestra una disminución de la pérdida cuadrática a medida que aumenta el tamaño de la muestra.
    ğ La distribución marginal del estimador de coeficiente coincide estrechamente con la densidad normal estándar, validando su normalidad asintótica teórica.
  • Las comparaciones de eficiencia indican que el método propuesto supera a los estimadores estándar (como Mínimos Cuadrados o MLE con enlaces fijos) en la mayoría de los escenarios, particularmente cuando el enlace verdadero es desconocido o complejo.
• Aplicación a Datos Reales: El método se aplicó a dos conjuntos de datos de UCI (DARWIN y datos de habla) relacionados con la enfermedad de Alzheimer. El estimador propuesto demostró consistentemente una varianza asintótica efectiva estimada menor en comparación con la regresión logística estándar.

Significancia y Reivindicaciones
El artículo afirma proporcionar el primer marco riguroso para la estimación simultánea de la función de enlace e inferencia estadística marginal en modelos de índice único de alta dimensión donde $n$ y $p$ son comparables. Al establecer la normalidad asintótica marginal, los autores permiten realizar pruebas de hipótesis válidas ($H_0: \beta_j = 0$) y la construcción de intervalos de confianza para características individuales, lo cual no se había resuelto previamente para los SIM con enlaces desconocidos en este régimen. La metodología aprovecha los ajustes observables y las técnicas de deconvolución para manejar el sesgo introducido por la estimación del índice y la función de enlace, ofreciando una herramienta robusta para la econometría de alta dimensión y el aprendizaje estadístico. Los autores señalan que el trabajo futuro podría extender estos resultados a covariables no gaussianas y modelos de múltiples índices.