Inference in high-dimensional logistic regression under tensor network dependence

Aquí presento un resumen técnico detallado del artículo "Inference in high-dimensional logistic regression under tensor network dependence" (Inferencia en regresión logística de alta dimensión bajo dependencia de redes tensoriales), escrito por Josh Miles y Sohom Bhattacharya.

1. Planteamiento del Problema

El artículo aborda el desafío de realizar inferencia estadística (construcción de intervalos de confianza y pruebas de hipótesis) en modelos de regresión logística de alta dimensión, donde el número de covariables ($d$) puede exceder el tamaño de la muestra ($n$), y, crucialmente, donde las observaciones no son independientes.

• Contexto de Dependencia: A diferencia de la literatura clásica que asume muestras i.i.d. (independientes e idénticamente distribuidas), este trabajo considera datos donde la dependencia entre individuos es inducida por una estructura subyacente de Red de Markov (MRF) definida sobre un hipergrafo. Esto permite modelar interacciones de orden superior (efectos de grupos de pares), yendo más allá de los modelos de interacción por pares tradicionales (como el modelo de Ising).
• Objetivo: El objetivo principal es realizar inferencia válida para funcionales de baja dimensión (lineales y cuadráticos) del parámetro de regresión $\theta \in \mathbb{R}^d$, a pesar de la alta dimensionalidad y la compleja estructura de dependencia.
• Brecha en la Literatura: Se señala que, aunque existen garantías de estimación consistente para estos modelos, la inferencia (intervalos de confianza, pruebas) en alta dimensión con dependencia de red, especialmente bajo estructuras tensoriales generales, ha permanecido poco explorada.

2. Metodología Propuesta

Los autores proponen un procedimiento de dos pasos basado en la pseudo-verosimilitud máxima regularizada y una corrección de sesgo posterior.

Paso 1: Estimación Consistente (Paso de Regularización)

Dado que la constante de normalización de la distribución exponencial (necesaria para la verosimilitud completa) es intratable computacionalmente, se utiliza la pseudo-verosimilitud máxima (MPLE).

• Conjunto Independiente Fuerte: Para manejar la dependencia, el algoritmo selecciona un "conjunto independiente fuerte" $S$ del hipergrafo (un subconjunto de vértices donde ningún hiperarista contiene más de un vértice de $S$). Este conjunto se divide en dos partes: $S_1$ y $S_2$.
• Estimador Inicial: Se construye un estimador $\tilde{\theta}$ maximizando la pseudo-verosimilitud condicional sobre el conjunto $S_1$, añadiendo una penalización $\ell_1$ (tipo Lasso):
  $$\tilde{\theta} = \arg\min_b \left\{ L_{S_1}(b) + \lambda_n \|b\|_1 \right\}$$
  donde $L_{S_1}$ es el log-pseudo-verosimilitud condicional.
• Propiedad: Se demuestra que este estimador es consistente bajo supuestos de esparsidad ($s \ll \sqrt{n}$) y condiciones de grado acotado en el hipergrafo. Sin embargo, como es típico en alta dimensión, este estimador está sesgado y no es directamente utilizable para inferencia.

Paso 2: Corrección de Sesgo (Debiasing)

Para lograr la normalidad asintótica necesaria para la inferencia, se aplica un método de corrección de sesgo utilizando el conjunto $S_2$.

• Estimador Corregido: Se define un estimador para un funcional lineal $c^\top \theta$:
  $$\widehat{c^\top \theta} = c^\top \tilde{\theta} + \frac{1}{|S_2|} \sum_{i \in S_2} w_i (y_i - f(\tilde{v}_i)) \hat{u}^\top X_i$$
  Donde:
  • $f(\cdot)$ es la función de enlace logística.
  • $w_i$ son pesos de datos (que resultan ser constantes $w_i=2$ en este caso).
  • $\hat{u}$ es un vector de proyección construido para anular el sesgo.
• Construcción del Vector de Proyección ($\hat{u}$): El vector $\hat{u}$ se obtiene resolviendo un problema de optimización restringida (minimizando una norma cuadrática sujeta a restricciones de norma infinito) que asegura que la matriz de información observada aproximada "invierta" la dirección del sesgo. Esto es análogo a los métodos de de-biasing en datos independientes, pero adaptado a la estructura de dependencia condicional de $S_2$.

Extensión a Funcionales Cuadráticos

El método se extiende a funcionales cuadráticos $Q = \theta^\top M \theta$ (útiles para estimación de heredabilidad). Se utiliza una expansión de Taylor para separar el término lineal (que se corrige con el mismo vector de proyección adaptado) y el término cuadrático residual, el cual es de orden menor.

3. Contribuciones Clave

1. Generalización a Dependencias de Orden Superior: A diferencia de trabajos previos limitados al modelo de Ising (interacciones por pares), este marco admite estructuras de hipergrafos generales, capturando efectos de grupos y dependencias de orden superior.
2. Primeras Garantías de Inferencia en Alta Dimensión con Redes: Es, según los autores, el primer trabajo que demuestra la validez de la inferencia basada en proyección para regresión logística de alta dimensión bajo dependencia de red general (tensorial).
3. Método Computacionalmente Eficiente: El uso de la pseudo-verosimilitud en un conjunto independiente fuerte evita el cálculo de la constante de normalización, haciendo el método viable incluso para redes complejas.
4. Sin Restricciones de Probabilidad Acotada: A diferencia de otros métodos que asumen que las probabilidades marginales están estrictamente alejadas de 0 y 1, este método es robusto incluso cuando las probabilidades individuales se acercan a los extremos debido a la fuerte dependencia de la red.

4. Resultados Teóricos y Empíricos

Garantías Teóricas

• Normalidad Asintótica: Bajo supuestos estándar (covariables sub-Gaussianas, esparsidad del parámetro, grado acotado del hipergrafo), se demuestra que:
  $$\frac{\widehat{c^\top \theta} - c^\top \theta}{\sqrt{\hat{V}}} \xrightarrow{d} N(0, 1)$$
  donde $\hat{V}$ es un estimador consistente de la varianza asintótica.
• Intervalos de Confianza: Se construyen intervalos de confianza con cobertura asintótica correcta ($1-\alpha$). La longitud del intervalo es del orden $O(n^{-1/2})$, coincidiendo con el óptimo en escenarios i.i.d.
• Pruebas de Hipótesis: Se establece que la prueba de hipótesis para $H_0: c^\top \theta = c^*$ tiene un error Tipo I controlado y potencia asintótica adecuada.
• Inferencia Simultánea: Se discuten métodos para controlar la Tasa de Falsos Descubrimientos (FDR) y la Tasa de Error Familiar (FWER) al probar múltiples coeficientes simultáneamente.

Resultados Empíricos (Simulaciones)

Los autores realizaron tres simulaciones principales:

1. Redes de Lattice (2D): Compararon su método contra un método base que ignora la dependencia de red. El método base mostró una sub-cobertura severa (ej. 22-27% de cobertura para un intervalo del 95%), mientras que el método propuesto mantuvo coberturas cercanas al 95-99% independientemente de la fuerza de la red ($\beta$).
2. Efecto del Grado de la Red: Se varió el grado $\Delta$ de grafos regulares. El método propuesto mantuvo la cobertura deseada, mientras que ignorar la dependencia resultó en una inferencia inválida.
3. Alta Dimensión ($d$): Se aumentó la dimensión $d$. El método propuesto fue robusto, mientras que el método base falló cada vez más a medida que crecía $d$.

5. Significado y Futuras Direcciones

Este trabajo es significativo porque cierra una brecha importante entre la teoría de estimación consistente y la inferencia estadística práctica en datos de red de alta dimensión. Proporciona herramientas rigurosas para la validación de modelos en campos como la genética (GWAS), neurociencia y análisis de redes sociales, donde las interacciones de grupo son comunes.

Direcciones futuras sugeridas por los autores:

• Extender el marco a grafos densos (donde la identificación de conjuntos independientes grandes es difícil).
• Aplicar el método a la estimación de efectos causales bajo interferencia de red.
• Generalizar el enfoque a Modelos Lineales Generalizados (GLM) más allá de la regresión logística (funciones de enlace no logísticas).

En resumen, el artículo establece un nuevo estándar para la inferencia estadística en modelos de regresión logística complejos y dependientes, ofreciendo un marco teórico sólido y un algoritmo práctico que supera las limitaciones de los enfoques actuales que ignoran la estructura de dependencia de la red.