Resumen Técnico: Inferencia con Conciencia de Sesgo Asistida por Modelos Externos en Regresión de Alta Dimensión

Planteamiento del Problema

La práctica estadística moderna a menudo se enfrenta a una asimetría de información: se dispone de abundantes covariables, pero las respuestas etiquetadas de estándar de oro son escasas debido al costo de la anotación experta o la experimentación. Simultáneamente, los predictores aprendidos por máquinas (a menudo transferidos mediante aprendizaje por transferencia o modelos fundacionales) pueden imputar respuestas faltantes de forma económica pero imperfecta. El desafío inferencial consiste en aprovechar estas abundantes covariables no etiquetadas y los predictores externos para agudizar las conclusiones sobre los parámetros objetivo sin heredar el sesgo del predictor.

Los marcos existentes, como la Inferencia Impulsada por Predicción (PPI) y su variante ajustada por potencia PPI++, intentan corregir las salidas del predictor utilizando un "rectificador" estimado sobre la pequeña muestra etiquetada. Sin embargo, este artículo identifica una debilidad estructural en PPI para la regresión lineal: cuando tanto el modelo de trabajo como el predictor son lineales, el rectificador cancela exactamente la contribución del predictor. En consecuencia, PPI y PPI++ se reducen a mínimos cuadrados ordinarios (OLS) sobre los datos etiquetados únicamente, independientemente de la calidad del predictor. Además, si el predictor es estimado y cercano a la función oráculo, el rectificador puede inyectar ruido, inflando la varianza por encima del límite de los datos únicamente etiquetados. Por lo tanto, las ganancias genuinas de eficiencia en entornos de alta dimensión deben surgir de un mecanismo distinto a la rectificación de la predicción.

Metodología: El Estimador DEAL

Los autores proponen el Lasso Asistido por Modelo Externo con Conciencia de Sesgo (DEAL, por sus siglas en inglés), un procedimiento de cuatro etapas diseñado para extraer eficiencia de las covariables no etiquetadas a través de la varianza de un estimador debiased (desesgado), en lugar de a través de un rectificador de predicción.

1. Inicialización con Conciencia de Sesgo:
   El procedimiento comienza con un estimador externo $\hat{\beta}_{ext}$ (potencialmente de aprendizaje por transferencia). En lugar de usar directamente este estimador, DEAL construye una "corrección de un paso" $C$ basada en los datos etiquetados. Se estima un nivel de contracción basado en los datos $\hat{t} \in [0, 1]$ utilizando una submuestra de ajuste separada. Esta contracción trata la corrección como una observación ruidosa de un vector de sesgo desconocido. El inicializador se forma como $\tilde{\beta}_{init} = \hat{\beta}_{ext} + \hat{t}C$.

   • Si el estimador externo no es informativo, $\hat{t} \to 0$, revirtiendo a un enfoque de solo objetivo.
   • Si el estimador es cercano al oráculo, $\hat{t} \to 0$ (desactivando la corrección para evitar la inyección de ruido).
   • Si el estimator es sesgado pero informativo, $\hat{t} \to 1$, utilizando la corrección.

2. Imputación de Pseudo-Etiquetas:
   Utilizando el inicializador $\tilde{\beta}_{init}$, se imputan pseudo-etiquetas $\tilde{f} = \tilde{X}\tilde{\beta}_{init}$ para las covariables no etiquetadas $\tilde{X}$.

3. Lasso Apilado (Stacked Lasso):
   Se ajusta un estimador Lasso en el conjunto de datos apilado que comprende los datos originales etiquetados $(X_0, y_0)$ y los datos pseudo-etiquetados $(\tilde{X}, \tilde{f})$. Este paso aprovecha el tamaño de muestra ampliado ($n_0 + N$) para lograr un ajuste inicial más agudo y una estimación de la matriz de precisión más estable.

4. Debiasing Final:
   Se aplica un paso de debiasing estándar al estimador de Lasso apilado utilizando una matriz de covarianza aproximada inversa (construida mediante métodos de Javanmard-Montanari o nodewise Lasso). Esto restaura la normalidad asintótica y los intervalos de confianza válidos.

Adaptaciones Clave:

• Regla de Equilibrio de Varianza: El tamaño de la muestra no etiquetada $N$ no es fijo, sino que se elige de los datos para equilibrar la reducción en la varianza del ruido principal frente a la introducción de la varianza del sesgo residual.
• Manejo de Desplazamiento de Covariables (Covariate Shift): Se introduce una regla de sustitución de un solo lado para la matriz de debiasing con el fin de restaurar la cobertura cuando la distribución de las covariables no etiquetadas es más dispersa que la del objetivo (desplazamiento de covariables).
• Etiquetadores No Lineales: El marco se extiende a etiquetadores no lineales mediante la linealización del predictor sobre una muestra auxiliar extraída de la marginal del objetivo, asegurando que el paso de conciencia de sesgo siga siendo válido bajo especificación incorrecta del modelo.

Contribuciones Clave y Resultados Teóricos

1. Limitación Estructural de PPI: El artículo demuestra (Proposición 1) que bajo un modelo lineal correctamente especificado, el rectificador de PPI anula la contribución del predictor, reduciendo PPI a OLS de solo datos etiquetados. Esto establece que la eficiencia no puede provenir de la media del rectificador en entornos lineales.
2. Eficiencia del Canal de Varianza: DEAL dirige las covariables no etiquetadas hacia la varianza del estimador debiased. El análisis teórico muestra que, bajo un etiquetador lineal, DEAL logra un intervalo de confianza estrictamente más corto que el Lasso debiased de solo objetivo, PPI y PPI++. La razón de varianza asintótica viene dada por $G(\kappa, t_0) = (\frac{1+t_0\kappa}{1+\kappa})^2$, donde $\kappa = N/n_0$. Cuando el estimador externo es informativo ($t_0 < 1$), esta razón es estrictamente menor que 1.
3. Robustez ante Especificación Incorrecta y No Linealidad:
   • Bajo especificación incorrecta del modelo, DEAL proporciona inferencia válida para el parámetro de proyección de mínimos cuadrados de la población $\beta^*_{proj}$.
   • Bajo etiquetadores no lineales, DEAL domina estrictamente a PPI++ ajustado óptimamente en saturación total de no etiquetados, mientras que PPI++ está limitado por el ruido irreducible de los datos etiquetados.
4. Validez ante el Desplazamiento de Covariables: El artículo introduce una modificación consciente del desplazamiento que preserva la cobertura nominal incluso cuando las covariables no etiquetadas se extraen de una distribución con una covarianza mayor (desplazamiento hacia arriba) que la del objetivo, un régimen donde los estimadores agrupados estándar fallan.
5. Contracción Adaptativa: El parámetro de contracción basado en datos $\hat{t}$ se adapta a la calidad del estimador externo, asegurando la validez en regímenes que van desde lo no informativo hasta lo cercano al oráculo.

Resultados Empíricos

Los autores validan la teoría mediante simulaciones de Monte Carlo y un portafolio de seis aplicaciones de datos reales que abarcan astronomía, química de materiales, proteómica y oncología.

• Simulación: En entornos de alta dimensión ($p \gg n_0$), se encontró que los intervalos de confianza de DEAL estaban entre 0.49 y 0.87 de la longitud de los intervalos del Lasso debiased de solo objetivo con cobertura nominal. En contraste, los intervalos de PPI y PPI++ permanecieron cercanos a la línea base del debiased Lasso (razones $\approx 1.0$).
• Aplicaciones de Datos Reales: DEAL consistemente estrechó los intervalos de confianza en seis aplicaciones diversas (incluyendo una que utilizó un Modelo de Lenguaje Grande como oráculo zero-shot). La razón mediana de los intervalos de DEAL respecto a los de debiased Lasso osciló entre 0.23 y 0.53.
  • Reproducibilidad: Las coordenadas significativas seleccionadas por DEAL mostraron una mayor estabilidad de bootstrap (frecuencias de selección de 0.66–0.97) en comparación con debiased Lasso (0.26–0.63) y PPI++ (0.26–0.61).
  • Generalización: En aplicaciones con ajuste fuera de la muestra (morfología de galaxias y brecha de banda), los descubrimientos de DEAL lograron un $R^2$ fuera de la muestra positivo, mientras que otros métodos arrojaron $R^2$ negativos o cercanos a cero.
• Independencia del Etiquetador: Crucialmente, la ganancia de eficiencia se observó incluso cuando el etiquetador externo tenía una precisión predictiva muy baja (por ejemplo, correlación $\approx 0.09$ en proteómica). Cuando los etiquetadores fueron reemplazados por sustitutos permutados (sin información), los intervalos de DEAL colapsaron de nuevo hacia la línea base del debiased Lasso, confirmando que la ganancia proviene del refinamiento de la matriz de precisión mediante el diseño no etiquetado, y no de la precisión del etiquetador.

Significado y Reivindicaciones

El artículo sostiene que la contribución principal es una reubicación del rol del modelo externo: de la media (vía un rectificador) a la varianza (vía un estimador debiased). Este cambio permite al método sortear la cancelación estructural inherente a PPI en modelos lineales.

Los autores enfatizan que DEAL es particularmente relevante para la era de los modelos fundacionales y los datos sintéticos, donde los analistas carecen de control sobre o la capacidad de auditar la calibración de los predictores externos. Al tratar al modelo externo como una "caja negra" y proteger la inferencia contra su sesgo mediante una salvaguarda de contracción, DEAL convierte un etiquetador no controlado en una herramienta inofensiva o beneficiosa. El método se reivindica como la herramienta más aguda específicamente dentro del régimen lineal disperso de alta dimensión, ofreciendo inferencia válida e intervalos estrictamente más cortos donde los métodos impulsados por la predicción no logran mejorar sobre la línea base de solo datos etiquetados.

El artículo mantiene la modestia respecto a su alcance, reconociendo que:

• Bajo especificación incorrecta, infiere la mejor proyección lineal, no la verdadera media condicional no lineal.
• La ganancia de eficiencia depende de que el diseño etiquetado sea la restricción limitante; si la muestra etiquetada ya es grande o está bien condicionada, el beneficio disminuye.
• El método depende de maquinaria de Lasso debiased y nodewise Lasso (para alta dimensión y dispersión lineal), y no es un estimador M de propósito general como PPI.