📊 statistics

Semi-supervised linear regression with missing covariates

Este trabajo estudia la regresión lineal semisupervisada con covariables faltantes (estructuradas o no estructuradas) en conjuntos de datos etiquetados y no etiquetados, proponiendo estimadores óptimos para casos dispersos y no dispersos, demostrando sus tasas de riesgo mediante cotas superiores e inferiores minimax y validándolos con simulaciones y una aplicación real.

Autores originales: Benedict M. Risebrow, Thomas B. Berrett

Publicado 2026-02-17

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Benedict M. Risebrow, Thomas B. Berrett

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef intentando crear la receta perfecta para un pastel (el modelo de regresión lineal). Tu objetivo es saber exactamente cuánta harina, azúcar y huevos necesitas para que quede delicioso.

En el mundo de los datos, tienes dos tipos de información:

Datos Etiquetados (L): Son las recetas completas donde sabes los ingredientes y el resultado final (¿estaba rico?). Pero, ¡oh no! A veces, en estas recetas, faltan ingredientes. A veces no anotaste cuánta harina pusiste, o a veces olvidaste anotar los huevos.
Datos Sin Etiquetar (U): Son miles de bolsas de ingredientes que tienes en tu despensa. Sabes exactamente qué hay en cada bolsa (tienes la harina, el azúcar, etc.), pero no sabes si el pastel salió bien o mal porque no tienes el resultado final.

El problema es que la mayoría de los métodos antiguos para cocinar (hacer regresiones) solo funcionan si tienes la receta completa o si te olvidas de las bolsas de ingredientes extra. Si tienes recetas incompletas y muchas bolsas de ingredientes sueltos, los métodos antiguos se confunden y el pastel sale mal.

¿Qué propone este paper?

Los autores, Benedict y Thomas, dicen: "¡Esperen! Podemos usar esas bolsas de ingredientes sueltos (datos sin etiquetar) para adivinar qué ingredientes faltan en las recetas incompletas y mejorar nuestra receta final".

Lo hacen de dos formas, dependiendo de cómo se vea el problema:

1. El caso "Desordenado" (Faltas aleatorias)

Imagina que en tus recetas faltan ingredientes de forma aleatoria: a veces falta sal, a veces azúcar, a veces vainilla, sin un patrón claro.

La solución: Usan un truco de "relleno inteligente". Primero, usan las bolsas de ingredientes sueltos para adivinar cómo se relacionan entre sí (por ejemplo, si la gente suele poner mucha harina, también suele poner mucho azúcar). Luego, usan esa información para rellenar los huecos en las recetas incompletas.
El resultado: Su método es tan bueno que, si tienes muchas bolsas de ingredientes sueltos, puedes cocinar un pastel casi tan bueno como si tuvieras todas las recetas completas. De hecho, descubrieron que tener esos ingredientes sueltos te permite "ver" el problema con una claridad que antes era imposible.

2. El caso "Estructurado" (Faltas en bloques)

Aquí es donde se pone interesante. Imagina que tienes recetas de dos tipos de chefs:

Chef A: Siempre anota los ingredientes secos (harina, azúcar) pero nunca los líquidos (huevos, leche).
Chef B: Siempre anota los líquidos pero nunca los secos.
Ninguno tiene la receta completa. Esto es lo que llaman "datos faltantes en bloques".
La solución: En lugar de tratar de rellenar cada ingrediente por separado, su método entiende la estructura. Sabe que el Chef A tiene los secos y el Chef B tiene los líquidos. Usan las bolsas de ingredientes sueltos (que tienen todo) para entender cómo se relacionan los secos con los líquidos.
La magia: Descubrieron que si tienes suficientes bolsas de ingredientes sueltos, puedes reducir la complejidad del problema. Es como si, en lugar de tener que aprender 100 ingredientes diferentes, tuvieras que aprender solo los 10 que faltan en las recetas, porque el resto ya lo entendiste gracias a las bolsas sueltas.

¿Por qué es importante?

En la vida real, los datos rara vez son perfectos.

En hospitales, a veces un paciente tiene análisis de sangre pero no una resonancia magnética, y otro tiene lo contrario.
En encuestas, a veces la gente no responde a ciertas preguntas por vergüenza o olvido.
En inteligencia artificial, a veces tenemos millones de imágenes (datos sueltos) pero pocas imágenes etiquetadas con lo que son (datos completos).

Este paper nos dice que no necesitamos tirar la toalla si los datos están incompletos. Si tenemos acceso a mucha información "cruda" (sin etiquetas), podemos usarla para "arreglar" los datos incompletos y obtener resultados mucho mejores que los métodos tradicionales.

En resumen, con una analogía final:

Imagina que estás tratando de adivinar el precio de una casa (Y) basándote en sus características (X: metros cuadrados, número de habitaciones, barrio).

Tienes 100 casas donde sabes el precio, pero en 50 de ellas no sabes el número de habitaciones (datos faltantes).
Tienes 10,000 casas donde sí sabes el número de habitaciones, pero no sabes el precio (datos sin etiquetar).

Los métodos viejos dirían: "Solo usa las 50 casas completas".
Los autores dicen: "¡No! Usa las 10,000 casas para entender cómo se relacionan las habitaciones con el barrio y los metros cuadrados. Luego, usa esa comprensión para 'adivinar' cuántas habitaciones tienen las casas donde falta esa información, y así calcular el precio mucho mejor".

Han demostrado matemáticamente que su método es el mejor posible (óptimo) para este tipo de problemas, tanto si los datos faltan al azar como si faltan en grupos grandes. ¡Es como encontrar la llave maestra para cocinar con ingredientes incompletos!

Resumen Técnico: Regresión Lineal Semi-supervisada con Covariables Faltantes

1. Planteamiento del Problema

El artículo aborda un problema fundamental en estadística aplicada: la estimación de parámetros en modelos de regresión lineal cuando se presentan simultáneamente dos desafíos:

Datos faltantes en las covariables (predictores): A diferencia de la literatura previa que suele tratar los datos faltantes en la respuesta o en las covariables por separado, este trabajo considera escenarios donde las covariables tienen valores ausentes.
Escenario semi-supervisado: Se dispone de un conjunto de datos etiquetado (con respuesta $Y$ observada) que contiene covariables faltantes, y un conjunto de datos no etiquetado (sin $Y$ , pero con covariables completas o parcialmente observadas).

El objetivo es estimar el vector de coeficientes $\beta^*$ minimizando el riesgo de error cuadrático medio ( $\|\hat{\beta} - \beta^*\|_2^2$ ) bajo un enfoque minimax. El estudio distingue entre dos patrones de falta de datos:

Estructurado (Bloques): Los datos faltantes ocurren en bloques definidos (ej. fuentes de datos diferentes como en estudios médicos multimodales).
No estructurado (Esporádico): Los datos faltantes ocurren aleatoriamente e independientemente entre variables.

2. Metodología Propuesta

Los autores proponen estimadores adaptados a la dimensionalidad del problema (baja vs. alta) y al tipo de falta de datos.

A. Caso de Baja Dimensión (Low-dimensional)
Para el caso donde el número de variables $p$ es menor que el tamaño de la muestra, se propone un estimador basado en imputación ponderada:

Mecanismo: Se imputan los datos faltantes utilizando la estructura de la matriz de covarianza $\Sigma$ . Específicamente, se reemplaza la parte faltante de un vector $X$ por su proyección condicional basada en las partes observadas.
Ponderación (Reweighting): Un componente clave es la introducción de pesos $\hat{D}_k$ para cada patrón de falta de datos $k$ . Estos pesos ajustan la contribución de cada grupo de datos según la varianza inherente de ese patrón de falta.
Fórmula: El estimador $\hat{\beta}$ minimiza una suma ponderada de errores cuadráticos:
$\hat{\beta} = \arg \min_{\beta} \sum_{j=1}^K \sum_{i \in I_j} \hat{D}_j (Y_i - (X_i)_{O_j}^T \hat{P}_j \beta)^2$
donde $\hat{P}_j$ es una estimación de la proyección basada en la covarianza estimada $\hat{\Sigma}$ .
Uso de datos no etiquetados: En el escenario semi-supervisado (OSS), la matriz de covarianza $\Sigma$ se estima utilizando el gran conjunto de datos no etiquetados, lo que permite una estimación más precisa de las relaciones entre variables, incluso si no tienen respuesta.

B. Caso de Alta Dimensión (High-dimensional, Sparse)
Para el caso donde $p \gg n$ y $\beta^*$ es disperso (sparse), se adapta el Selector Dantzig:

Se construyen estimadores insesgados de $\gamma = \Sigma \beta^*$ y de la matriz de covarianza $\Sigma$ utilizando tanto datos etiquetados como no etiquetados.
El estimador se define como la solución al siguiente programa lineal:
$\hat{\beta} \in \arg \min_{\beta} \{ \|\beta\|_1 : \|\hat{\Sigma}\beta - \hat{\gamma}\|_\infty \leq \lambda \}$
Se demuestra que este enfoque convexo supera a las extensiones directas del LASSO en presencia de datos faltantes estructurados, evitando la no convexidad y mejorando los límites de error.

3. Contribuciones Clave

Límites Superiores e Inferiores Coincidentes (Minimax Óptimos):
- Proporcionan límites superiores no asintóticos para el riesgo de sus estimadores.
- Derivan nuevos límites inferiores minimax que demuestran que sus estimadores son óptimos (la tasa de convergencia no puede ser mejorada).
- Esto resuelve conjeturas abiertas en la literatura, específicamente para el caso supervisado con datos faltantes no estructurados.
Caracterización del Beneficio de los Datos No Etiquetados:
- El trabajo cuantifica exactamente cómo los datos no etiquetados mejoran la estimación.
- Hallazgo crucial: En el caso no estructurado, la presencia de datos no etiquetados aumenta la "tasa de observación efectiva" de $\rho$ a $\rho^{1/2}$ (donde $\rho$ es la probabilidad de observación).
- En el caso estructurado (monótono simple), los datos no etiquetados permiten una reducción en la dimensionalidad efectiva. Si los datos faltantes afectan $p_0$ variables en una submuestra, pero se tienen muchos datos no etiquetados, la tasa de error depende de $p_0$ en lugar de $p$ , algo imposible de lograr solo con datos etiquetados.
Unificación de Escenarios:
- El marco teórico cubre tanto el escenario ideal semi-supervisado (conocimiento de $\Sigma$ ) como el práctico (estimación de $\Sigma$ desde datos no etiquetados) y el caso supervisado puro.
- Se demuestra que el uso de datos no etiquetados es beneficioso incluso cuando el modelo lineal está bien especificado (una condición donde a menudo se pensaba que los datos no etiquetados no ayudaban).

4. Resultados Principales

Tasas de Convergencia:
- Baja dimensión (No estructurado): El riesgo escala como $\frac{R^2 p}{\rho n_L} + \frac{B^2 p}{\rho^2 n_L + N}$ . El segundo término muestra la mejora gracias a $N$ (datos no etiquetados).
- Alta dimensión (No estructurado): El riesgo escala como $\frac{R^2 s \log p}{\rho n_L} + \frac{B^2 s \log p}{\rho^2 n_L + N}$ .
- Estructurado: Las tasas dependen de los tamaños de los bloques de datos observados ( $h_g$ ) y las intersecciones de bloques ( $n_{g,h}$ ), mostrando mejoras significativas al aprovechar la estructura de los datos no etiquetados.
Simulaciones y Aplicación Real:
- Las simulaciones confirman que el estimador propuesto supera a métodos de imputación estándar (como MICE, k-NN) y a enfoques que ignoran los datos no etiquetados o tratan los datos faltantes de forma naive.
- En el caso de alta dimensión, el método con datos no etiquetados reduce drásticamente el error de estimación, especialmente cuando la relación señal-ruido es alta.
- Aplicación: Se aplicó al conjunto de datos de viviendas de California, introduciendo falta de datos sintética. Los resultados mostraron que el estimador semi-supervisado reduce el error cuadrático medio en la estimación de coeficientes, especialmente para variables con alta tasa de falta de datos, a medida que aumenta el tamaño del conjunto de datos no etiquetados.

5. Significado e Impacto

Este trabajo es significativo porque:

Cierra la brecha teórica: Proporciona la primera caracterización completa de las tasas minimax óptimas para la regresión lineal con datos faltantes en un entorno semi-supervisado, tanto para patrones estructurados como no estructurados.
Valida el uso de datos no etiquetados: Demuestra teóricamente y empíricamente que, incluso en modelos bien especificados, los datos no etiquetados no son redundantes; permiten recuperar información sobre la estructura de la covarianza que es crítica para imputar y estimar correctamente cuando hay datos faltantes.
Guía práctica: Ofrece metodologías concretas (estimadores ponderados y Selector Dantzig modificado) que son implementables y superiores a las técnicas de imputación estándar en escenarios de datos complejos y multimodales (comunes en salud y ciencias sociales).

En resumen, el paper establece un nuevo estándar teórico y práctico para el análisis de datos de regresión incompletos, demostrando que la integración inteligente de datos no etiquetados puede transformar la viabilidad y precisión de la estimación en escenarios de alta complejidad.