Resumen Técnico: proxymate: Diagnóstico y Ajuste de Estimaciones de Proxies para una Inferencia Fiable

Declaración del Problema

En entornos científicos e industriales, los resultados primarios de interés suelen ser difíciles de medir debido a retrasos (por ejemplo, ventanas de atribución largas), altos costos (por ejemplo, etiquetado humano) o observabilidad limitada. Los profesionales sustituyen frecuentemente estos por resultados proxy (endpoints subrogados, señales de corto plazo o predicciones de modelos) que están fácilmente disponibles. Sin embargo, una inferencia válida sobre un proxy no garantiza una inferencia válida sobre el resultado primario. Las estimaciones basadas en proxies pueden sufrir sesgos sistemáticos difíciles de predecir, lo que conduce a intervalos de confianza impropiamente calibrados y una toma de decisiones errónea.

La literatura existente aborda típicamente el ajuste (corregir las fallas del proxy) o la validación (diagnosticar la adecuación del proxy) de forma aislada, rara vez conectando ambos. Además, la mayoría de los marcos de trabajo asumen entornos controlados de experimentación, lo que los hace inadecuados para escenarios de medición genéricos como la estimación a nivel poblacional o el monitoreo observacional. Existe una brecha persistente en el uso efectivo de los resultados proxy: la falta de una capa diagnóstica unificada para determinar si y qué ajuste es necesario antes de su aplicación.

Metodología: El Marco de Trabajo proxymate

El artículo presenta proxymate, un marco de trabajo y un paquete de Python de código abierto que organiza la validación y el ajuste de proxies en cuatro niveles distintos. Cada nivel corresponde a una pregunta estadística específica, una estructura de datos y un conjunto de diagnósticos y ajustes.

1. Nivel de Representatividad (Validez Poblacional)

• Pregunta: ¿Deberían los datos de validación ser reponderados antes de su uso?
• Contexto: Los datos de validación ($V_k$) que contienen observaciones emparejadas de primario ($Y$) y proxy ($Y^*$) pueden no ser representativos de la población objetivo ($P_k$) debido al sesgo de muestreo o la falta de datos (missingness).
• Diagnósticos: Verificaciones de brechas en la distribución de covariables (Diferencias de Medias Estandarizadas, Kolmogorov-Smirnov), estabilidad de los pesos de importancia (Tamaño de Muestra Efectivo), extremidad de los pesos y cobertura.
• Ajustes:
  • Sin Brecha: Proceder sin corrección.
  • Ajuste IW: Aplicar Ponderación de Importancia (IW) para reponderar los datos de validación a la distribución de la población objetivo.
  • Brecha Demasiado Severa: Marcar la validación como no fiable; recomendar la adquisición dirigida de etiquetas o el estrechamiento de la población objetivo.

2. Nivel de Unidad (Calidad de la Medición)

• Pregunta: ¿El proxy sigue al primario a nivel individual?
• Contexto: Evalúa la discrepancia entre $Y_i$ y $Y^*_i$ dentro de un dominio histórico.
• Diagnósticos:
  • Exactitud (Accuracy): Sesgo sistemático (prueba t de Welch).
  • Precisión: Niveles de ruido ($R^2$, RMSE, correlación de Pearson).
  • Acuerdo: Alineación con la línea de identidad (Bland-Altman, CCC de Lin).
  • Calibración: Probabilidades predichas frente a frecuencias observadas (ECE, puntuación de Brier).
  • Discriminación: Capacidad de clasificación (ROC AUC, $\tau$ de Kendall).
  • Fidelidad Distribucional: Coincidencia de la distribución marginal (prueba KS, distancia TV).
• Ajustes:
  • Sesgo Sistemático: Ajuste de sesgo aditivo.
  • Miscalibración: Escalamiento de Platt, regresión isotónica o Multicalibración (MCGrad).
  • Baja Discriminación: Reemplazo del proxy o reentrenamiento del modelo (no se puede corregir post-hoc).

3. Nivel de Estimación (Validez de la Decisión)

• Pregunta: ¿El proxy conduce a la misma conclusión agregada que el primario dentro de un solo dominio?
• Contexto: Evalúa la fiabilidad para la inferencia agregada (estimaciones puntuales e intervalos de confianza). Los errores individuales pueden acumularse o cancelarse de forma impredecible.
• Diagnósticos: Sesgo agregado (Error Absoluto Relativo), validez inferencial (cobertura de CI) y acuerdo de signo.
• Ajustes:
  • Sesgo Agregado: La Inferencia Impulsada por Predicción (PPI) corrige la estimación del proxy utilizando datos de validación: $\hat{\theta}_{PPI} = \hat{\theta}^*_{all} + (\hat{\theta}_V - \hat{\theta}^*_V)$.
  • Miscalibración de CI: Los intervalos de confianza de PPI contabilizan explícitamente la incertidumbre del ajuste de sesgo.
  • Sin Sesgo: No se requiere ajuste (el Teorema 1 señala que aplicar PPI a un proxy ya adecuado aumenta estrictamente el MSE).

4. Nivel de Dominio (Transportabilidad entre Dominios)

• Pregunta: ¿Se mantiene la relación proxy-primario a través de muchos dominios?
• Contexto: Prueba la estabilidad del sesgo proxy-primario ($\phi_k$) a través de dominios históricos ($k=1, \dots, K-1$) para asegurar la transportabilidad al dominio objetivo ($K$).
• Diagnósticos: Asociación agregada ($R^2$), heterogeneidad (Q de Cochran, $I^2$, $\tau^2$) y precisión de la predicción (MSE de Leave-One-Out).
• Ajustes:
  • Sesgo Sistemático Trans-dominio: La Calibración por Regresión ajusta un mapeo lineal ($\hat{\theta}_{cal} = \hat{\gamma}_0 + \hat{\gamma}_1 \hat{\theta}^*$) a través de los dominios históricos.
  • Sesgo Residual: El ajuste a nivel de estimación modela el sesgo residual como un efecto aleatorio.
  • Alta Heterogeneidad: Ampliar los intervalos de predicción; la predicción puntual se considera poco fiable.

Principales Contribuciones

Los autores identifican cuatro contribcciones primarias:

1. Un Marco de Validación de Cuatro Niveles: Organiza la validación de proxies en los niveles de Representatividad, Unidad, Estimación y Dominio, asegurando que se aborden preguntas estadísticas distintas con los diagnósticos apropiados.
2. Un Puente Teórico entre Diagnóstico y Ajuste: Mapea modos de falla específicos con ajustes dirigidos cuyas suposiciones se cumplen, cerrando formalmente la brecha entre el diagnóstico y la corrección en producción.
3. Aplicación Empírica a Escala: Demuestra el valor del marco en múltiples aplicaciones de producción en Meta, identificando fallas de proxies, seleccionando candidatos y guiando ajustes.
4. Un Paquete de Código Abierto: Una biblioteca de Python modular que expone verificaciones de validación, planificadores configurables, estimadores personalizados e informes estructurados.

Resultados y Aplicaciones en Meta

El marco fue aplicado a seis casos de uso de producción en Meta, que abarcan experimentación, monitoreo de prevalencia y entrenamiento de modelos de ML. Estas aplicaciones abordaron cuatro cuellos de botella principales: ventanas de maduración largas, medición restringida, baja detectabilidad y baja sensibilidad.

• Caso de Estudio A (Predicción de No Pago): Validó un modelo de ML que predice resultados de no pago a 60 días. Aunque la precisión a nivel de unidad falló (esperado para ingresos de cola pesada), el proxy mostró una fuerte asociación agregada ($R^2=0.82$) y alineación direccional a través de 22 experimentos. El proxy fue aprobado para la toma de decisiones direccional (ir/no ir) pero no para la estimación precisa de magnitud, permitiendo ~300 experimentos anuales.
• Caso de Estudio B (Prevalencia de Estafas): Evaluó proxies para la detección de estafas contra etiquetas humanas. El Nivel de Representatividad señaló un problema grave de calidad de datos (bajo Tamaño de Muestra Efectivo debido a la sobre-representación de contenido marcado). Tras el reponderado, todos los candidatos a proxies fallaron la validación de Nivel de Unidad (baja sensibilidad en la población general). En consecuencia, todos los proxies fueron rechazados, evitando el despliegue de un modelo de personalización sesgado y redirigiendo el desarrollo hacia un enfoque de ensamble.

Impacto General:

• Los proxies validados permitieron ~7,500 experimentos anuales en cuatro líneas de trabajo.
• En dos casos, el marco rechazó con éxito proxies sesgados, previniendo daños derivados.
• Se evaluaron y corrigieron millones de comparaciones de unidad proxy-primario.

Significado y Reivindicaciones

El artículo afirma que proxymate llena un vacío práctico crítico al proporcionar un flujo de trabajo unificado de "diagnosticar-luego-corregir". Su importancia radica en:

• Evitar el Ajuste Ciego: Al imponer una capa de diagnóstico, evita la aplicación de ajustes (como PPI) cuando no son apropiados o cuando los datos subyacentes no son representativos, lo que de otro modo podría inflar la Media del Error Cuadrático (MSE) o amplificar el sesgo.
• Modularidad y Generalizabilidad: El marco es aplicable uniformemente a surrogados de A/B, clasificadores de prevalencia y proxies de monitoreo, independientemente del dominio específico.
• Preparación para Producción: Va más allá de la metodología teórica para convertirse en un sistema desplegado que maneja restricciones de datos del mundo real (falta de datos, cambio de covariables, maduración larga) y se integra con los stacks de experimentación existentes.

Los autores mantienen la modestia, señalando que el marco valida el acuerdo estadístico en lugar de los mecanismos causales y actualmente valida un proxy contra un resultado primario a la vez. El trabajo futuro incluye validación secuencial y selección automatizada de proxies.