Surrogate-assisted optimal sampling for risk prediction under measurement constraints

Resumen Técnico: Muestreo óptimo asistido por sustitutos para la predicción de riesgos bajo restricciones de medición

Contexto del Problema
En muchos escenarios de predicción de riesgos, como el análisis de registros de salud electrónicos (EHR), se dispone de covariables y un sustituto de la respuesta (por ejemplo, códigos de diagnóstico) para una gran población objetivo, pero la respuesta real es costosa de determinar y solo se observa para un subconjunto limitado. Esto crea un problema de diseño: cómo asignar un presupuesto de medición fijo para seleccionar qué observaciones deben tener sus respuestas reales medidas para construir un modelo de predicción óptimo.

Los métodos de submuestreo existentes suelen enfrentar limitaciones en este entorno. El Muestreo Aleatorio Simple (SRS) no logra explotar la heterogeneidad de la información. Los métodos que optimizan la estimación de parámetros (por ejemplo, Wang et al., 2018) requieren respuestas observadas para diseñar las probabilidades de muestreo, las cuales no están disponibles para el grupo no etiquetado. Otros enfoques (por ejemplo, Shen & Ning, 2025; Lee et al., 2023) se centran en minimizar el Error Cuadrático Medio (MSE) de los parámetros o de las predicciones, lo cual puede no alinearse directamente con el rendimiento de la predicción de riesgo binario. Además, muchos métodos existentes asumen que los sustitutos identifican perfectamente los casos positivos, una condición que puede no cumplirse en la práctica.

Metodología
Los autores proponen un marco de muestreo óptimo asistido por sustitutos diseñado específicamente para la predicción de riesgos binarios bajo restricciones de medición.

1. Configuración:

   • Sea $y_i \in \{0, 1\}$ la respuesta verdadera y $s_i$ un indicador sustituto donde $s_i=1 \implies y_i=1$.
   • Las observaciones con $s_i=1$ son casos positivos confirmados con respuestas conocidas.
   • Las observaciones con $s_i=0$ no están etiquetadas (contienen tanto verdaderos positivos como negativos). El objetivo es seleccionar un subconjunto de estas observaciones con $s_i=0$ para la medición de su respuesta.
   • Un presupuesto de medición $C$ limita el número total de observaciones muestreadas del grupo $s_i=0$.

2. Estimación:

   • Un modelo de predicción $p(x, \beta)$ estima $P(Y=1|x)$.
   • El parámetro del modelo $\beta$ se estima minimizando una Pérdida de Entropía Cruzada con Ponderación de Probabilidad Inversa (IPW):
     $$L_N(\beta) = -\sum_{i=1}^N \frac{\delta_i}{\pi_T(x_i)} [y_i \log p(x_i, \beta) + (1-y_i) \log(1-p(x_i, \beta))]$$
     donde $\delta_i$ es el indicador de muestreo y $\pi_T(x_i)$ es la probabilidad total de muestreo.

3. Diseño de Muestreo Óptimo:

   • Los autores derivan el término principal de la esperanza de la pérdida de entropía cruzada fuera de la muestra, la cual depende de la probabilidad de muestreo $\pi(z)$ para el grupo $s_i=0$.
   • La probabilidad de muestreo óptima se deriva minimizando el contraparte empírico de este término principal sujeto a la restricción de presupuesto.
   • La solución toma la forma:
     $$\hat{\pi}_i \propto \sqrt{a_i(\hat{\beta})}$$
     donde $a_i(\hat{\beta})$ representa la contribución de la $i$-ésima observación a la varianza asintótica de la pérdida de entropía cruzada, y $\hat{\beta}$ es un estimador preliminar.
   • Procedimiento de dos pasos: Dado que $\hat{\beta}$ es desconocido inicialmente, los autores proponen un algoritmo de dos pasos:
     1. Obtener un estimador preliminar $\tilde{\beta}$ utilizando una muestra piloto o un muestreo aleatorio simple.
     2. Calcular las probabilidades de muestreo óptimas $\hat{\pi}$ basadas en $\tilde{\beta}$ y volver a muestrear/medir las respuestas para ajustar el modelo final.

4. Propiedades Teóricas:

   • Bajo condiciones de regularidad (espacio de parámetros compacto, suavidad, invertibilidad de la Hessiana), se demuestra que el estimador propuesto $\hat{\beta}_{\pi}$ es consistente y asintóticamente normal.
   • Teorema 3 establece que el diseño propuesto minimiza el término de orden principal de la esperanza de la pérdida de entropía cruzada fuera de la muestra entre todos los diseños de muestreo admisibles con el mismo presupuesto.

Contribuciones Clave

1. Aplicabilidad General: El método se aplica a una clase general de modelos de predicción de riesgos paramétricos suaves, no restringidos a la regresión logística o a Modelos Lineales Generalizados (GLM) específicos.
2. Viabilidad bajo Restricciones: El diseño no requiere las respuestas verdaderas de las observaciones no etiquetadas del objetivo durante la etapa de diseño, basándose únicamente en las covariables, el sustituto y un estimador preliminar.
3. Criterio Orientado a la Predicción: A diferencia de los métodos existentes que minimizan el MSE de la estimación de parámetros o el MSE de la predicción, este marco optimiza directamente la esperanza de la pérdida de entropía cruzada, alineando la estrategia de muestreo con el objetivo de la predicción de riesgo binario.

Resultados
El artículo valida el método mediante simulaciones extensas y dos aplicaciones de datos reales:

• Simulaciones:

  • Sustitutos Correctos: Cuando los sustitutos identifican correctamente los casos positivos ($P(Y=1|S=1)=1$), el método de Entropía Cruzada (CE) propuesto logra la pérdida de entropía cruzada más baja y un MSE, sensibilidad y especificidad competitivos en comparación con el muestreo óptimo basado en MSE (Lee et al., 2023), OSCA y SRS.
  • Sustitutos Mal Especificados: Cuando la suposición $P(Y=1|S=1)=1$ se viola (es decir, existen falsos positivos en el grupo del sustituto), el método CE demuestra una robustez superior. Mantiene una pérdida de entropía cruzada más baja y una mejor estabilidad de clasificación en comparación con los competidores, cuyo rendimiento se degrada significamente bajo la contaminación de falsos positivos.
  • Resultados Raros: En un escenario de baja prevalencia ($\approx 5\%$) y sin información de sustitutos, el método CE supera a SRS y OSCA (que se reduce a SRS en este caso) y evita la degeneración numérica observada en el método basado en MSE.

• Aplicaciones de Datos Reales:

  • Predicción de Depresión (MIMIC-III): Utilizando registros de admisión en la UCI, el método CE logró consistentemente una pérdida de entropia cruzada más baja y un AUC más alto que los métodos competidores a través de varios presupuestos de muestreo ($C=100$ a $400$).
  • Predicción de Ictus (Kaggle): En un escenario de baja prevalencia sin indicadores de sustitutos, el método CE proporcionó las predicciones más estables y el AUC más alto entre los métodos de submuestreo, acercándose estrechamente al rendimiento del benchmark de datos completos.

Significancia y Reivindicaciones
El artículo afirma que el marco propuesto ofrece una solución teóricamente fundamentada y prácticamente efectiva para la predicción de riesgos bajo restricciones de recursos. Al dirigirse directamente a la pérdida de entropía cruzada, el método asegura que el diseño de muestreo priorice las observaciones más informativas para la precisión predictiva en lugar de la estimación de parámetros. Los autores enfatizan la robustez de su método ante la mala especificación del sustituto y su capacidad para funcionar eficazmente incluso en escenarios de resultados raros donde las estrategias tradicionales de muestreo óptimo pueden fallar. El trabajo cierra la breancia entre el diseño experimental con restricciones de medición y el rendimiento de la clasificación binaria, proporcionando una estrategia viable para escenarios donde el etiquetado es costoso y los sustitutos son imperfectos.