Estimate Level Adjustment For Inference With Proxies Under Random Distribution Shifts

Resumen Técnico: Ajuste del Nivel de Estimación para Inferencia con Proxies Bajo Desplazamientos Aleatorios de Distribución

Enunciado del Problema
En la experimentación científica e industrial, los investigadores a menudo dependen de resultados proxy (por ejemplo, métricas a corto plazo, puntos finales sustitutos o predicciones de modelos) para realizar inferencias sobre resultados primarios que son difíciles, costosos o tardíos de medir. Si bien los proxies facilitan una toma de decisiones más rápida, las garantías estadísticas derivadas de datos proxy (como la insesgadez o intervalos de confianza válidos) no se transfieren automáticamente al estimando primario.

Los métodos existentes para corregir el sesgo de los proxies, como las suposiciones de sustitución, los ajustes por desplazamiento de covariables o la inferencia potenciada por predicción (PPI), dependen de suposiciones de identificación estrictas. Estas suposiciones suelen ser difíciles de validar y pueden verse violadas por desplazamientos de distribución no observados (por ejemplo, deriva de concepto). Cuando tales suposiciones fallan, los intervalos de confianza basados en proxies pueden estar sistemáticamente mal calibrados, lo que conduce a estimaciones de parámetros sesgadas y a una cobertura insuficiente del parámetro primario verdadero. Una restricción práctica crítica es que los datos históricos a nivel individual requeridos para volver a ajustar o recalibrar estos modelos a menudo no están disponibles; típicamente, solo se conservan estimaciones agregadas de métricas y resúmenes de incertidumbre.

Metodología
Los autores proponen un marco genérico a nivel de estimación para calibrar empíricamente la inferencia basada en proxies sin requerir datos históricos a nivel individual. El enfoque central trata el sesgo residual entre el proxy y la métrica primaria como una variable aleatoria latente.

1. Modelo de Sesgo Latente:
   El método asume que, a través de $K$ dominios (donde $K-1$ son dominios de entrenamiento históricos y $K$ es el dominio objetivo), la discrepancia entre el estimador proxy ($\hat{\theta}^*_k$) y el estimador primario ($\hat{\theta}_k$) sigue un modelo de sesgo gaussiano aditivo:
   $$\phi_k := \theta^*_k - \theta_k \sim N(\rho, \gamma^2)$$
   Aquí, $\rho$ representa el sesgo medio y $\gamma^2$ representa la varianza entre dominios del sesgo. Esta formulación permite modelar la distribución del sesgo residual del proxy utilizando únicamente estimaciones agregadas históricas y sus estructuras de covarianza.

2. Estimación mediante el Método de Momentos:
   Utilizando dominios históricos, los autores definen la diferencia dentro del dominio $d_k = \hat{\theta}^*_k - \hat{\theta}_k$. Derivan un estimador de momentos para los parámetros de la distribución del sesgo $(\rho, \gamma^2)$:

   • $\hat{\rho} = \frac{1}{K-1} \sum d_k$
   • $\hat{\gamma}^2 = \frac{1}{K-1} \sum (d_k - \hat{d})^2 - \frac{1}{K-1} \sum \tilde{\sigma}^2_k$
     donde $\tilde{\sigma}^2_k$ es la varianza estimada de la diferencia $d_k$. La estimación $\hat{\gamma}^2$ se trunca en cero para manejar el ruido de muestras finitas.

3. Inferencia y Ajuste:

   • $K$ grande (Inserción directa): Cuando el número de dominios históricos es grande, los parámetros de sesgo estimados se tratan como conocidos. El método construye un intervalo de confianza estilo Wald para la métrica primaria objetivo $\theta_K$ centrando el intervalo en la estimación desesgada $(\hat{\theta}^*_K - \hat{\rho})$ e inflando la varianza para incluir la varianza de sesgo entre dominios estimada ($\hat{\gamma}^2$).
   • $K$ pequeño (Bootstrap de dominios): Cuando el número de dominios históricos es limitado, la incertidumbre en $(\hat{\rho}, \hat{\gamma}^2)$ puede afectar la cobertura. Los autores proponen un procedimiento de bootstrap de dominios que remuestrea dominios históricos para propagar esta incertidumbre, generando una distribución empírica para el parámetro objetivo.

4. Protocolo de Evaluación:
   El artículo introduce un diagnóstico "Dejar-Uno-Dominio-Fuera" (LOO) para evaluar la calibración del intervalo. Al tratar cada dominio histórico como un objetivo (ocultando su resultado primario) y verificar si el intervalo proxy ajustado se superpone con el intervalo primario verdadero, el método proporciona un proxy conservador y observable para la no-malcalibración.

Contribuciones Clave

1. Marco Genérico para Sesgo de Proxy: El artículo formaliza el sesgo inherente a los estimadores proxy como un problema de variable latente, asumiendo normalidad conjunta de las distribuciones de muestreo. Esto permite caracterizar el sesgo residual sin suposiciones de identificación estrictas.
2. Procedimiento de Ajuste Escalable: Los autores introducen un estimador de momentos de forma cerrada y un procedimiento de bootstrap de dominios que dependen exclusivamente de estimaciones agregadas históricas. Esto permite un despliegue escalable en escenarios donde los datos a nivel individual no están disponibles.
3. Inflación Selectiva y Validación Empírica: El método actúa como un paso de posprocesamiento que infla selectivamente los intervalos de confianza solo cuando los diagnósticos históricos indican cobertura insuficiente. Simulaciones extensas y aplicaciones del mundo real demuestran que este enfoque mejora la calibración y la cobertura en diversos procedimientos de proxy y desplazamientos de distribución.

Resultados

• Simulaciones: En simulaciones multedomínio que involucran desplazamiento de covariables y deriva de concepto, los estimadores proxy no ajustados mostraron consistentemente una cobertura insuficiente. Si bien las correcciones estándar (como PPI ponderada) mejoraron la calibración en entornos estables, se degradaron bajo una fuerte deriva de concepto. El ajuste de sesgo aleatorio propuesto estabilizó la cobertura en todos los niveles de deriva. Cabe destacar que, para estimadores con alto sesgo residual, las longitudes de los intervalos se estabilizaron a medida que aumentaba el tamaño de la muestra, reflejando correctamente que la incertidumbre estaba dominada por el sesgo entre dominios y no por el ruido de muestreo.
• Aplicaciones del Mundo Real:
  • Conjunto de Datos Civil Comments: En la estimación de la prevalencia de comentarios tóxicos en publicaciones web, los intervalos proxy ajustados aumentaron la tasa de superposición con los intervalos primarios verdaderos de 0.64 a 0.96 (con $\alpha=0.05$), con un aumento correspondiente en el ancho del intervalo normalizado de 0.5 a 1.3.
  • Experimentos a Largo Plazo: En la estimación de Efectos Promedio del Tratamiento (ATE) utilizando proxies predichos por modelos, el ajuste aumentó la tasa de superposición de 0.68 a 1.0. El método infló efectivamente la incertidumbre en experimentos donde el sesgo residual era grande en relación con la variabilidad de muestreo.

Significado y Afirmaciones
El artículo afirma ofrecer una solución práctica y modular para mejorar la fiabilidad de la inferencia basada en proxies en ausencia de datos históricos a nivel individual. Al modelar el sesgo residual como un efecto aleatorio, el método proporciona una "red de seguridad" que ajusta las violaciones de las suposiciones de identificación estándar (como el desplazamiento de covariables o la sustitución).

Los autores enfatizan que este enfoque no mejora el estimador proxy en sí mismo, sino que mejora la cuantificación de la incertidumbre asociada con él. Está diseñado para superponerse a los métodos de corrección existentes (como PPI o ponderación por importancia). Su significado radica en su capacidad para prevenir falsos positivos derivados de una inferencia proxy excesivamente segura, permitiendo así una toma de decisiones más segura y rigurosa en experimentación a gran escala y dominios científicos donde los resultados primarios están retrasados o son inobservables. Los autores notan modestamente que la efectividad del método depende de la informatividad de los dominios históricos y que la suposición de sesgo gaussiano es una aproximación operativa que puede requerir modelos más ricos para patrones de sesgo complejos.