Selective prediction as a triage gate for primary-care depression screening: quantifying and mitigating selection bias in CHARLS-2011

Resumen Técnico: La predicción selectiva como puerta de triaje para el cribado de la depresión en atención primaria

Planteamiento del problema
La atención primaria en China carece de herramientas estructuradas de evaluación de la salud mental, y los modelos de aprendizaje automático (ML) existentes para el cribado de la depresión se desarrollan a menudo sobre muestras fuertemente seleccionadas. Los autores argumentan que los criterios acumulativos de inclusión y exclusión, tratados habitualmente como pasos neutrales de limpieza de datos, introducen una "distorsión dual":

1. Distorsión epidemiológica: Los embudos de selección comprimen o alteran las asociaciones epidemiológicas (por ejemplo, la relación entre enfermedades crónicas y depresión), lo que potencialmente hace que los hallazgos de las muestras seleccionadas no sean generalizables a la población objetivo.
2. Distorsión de métricas: Las métricas de rendimiento del aprendizaje automático, particularmente el Área Bajo la Curva (AUC), suelen estar infladas en muestras seleccionadas debido a la reducción de la heterogeneidad, mientras que el error de calibración puede degradarse. Esto crea una impresión engañosa de la preparación del modelo para el despliegue clínico.

Además, los indicadores de incertidumbre estándar integrados en los modelos no logran distinguir eficazmente entre casos "fáciles" y "difíciles" en datos epidemiológicos, lo que limita la utilidad de la predicción selectiva (clasificación con una opción de rechazo).

Metodología
El estudio utiliza el conjunto de datos base CHARLS 2011 (n=17.705) con validación externa temporal en la ola CHARLS 2018. La metodología se estructura en torno a tres objetivos:

1. Cuantificación del sesgo de selección (El embudo):

   • Se construyó un embudo de selección de cuatro niveles (L0–L3) para simular los procesos de exclusión epidemiológica estándar.
     • L0: Muestra completa tras la Imputación Múltiple por Ecuaciones Encadenadas (MICE).
     • L1: Restringida a edad ≥60.
     • L2: Requirió respuestas completas de la escala CES-D-10.
     • L3: Requirió covariables sociodemográficas completas (educación, seguro, residencia).
   • Análisis de asociación: Se ajustaron modelos de regresión logística en cada nivel para rastrear la deriva en las Odds Ratio (OR) de cinco enfermedades crónicas frente a la depresión.
   • Análisis de rendimiento: Se evaluaron cinco clasificadores (Regresión Logística, Random Forest, XGBoost, LightGBM y Gradient Boosting) a través de los niveles utilizando validación cruzada anidada y SMOTE. Se probaron las tendencias monotónicas en AUC, puntuación de Brier y Error de Calibración Esperado (ECE) mediante la prueba L de Page.

2. Mitigación del sesgo mediante predicción selectiva:

   • Incertidumbre integrada en el modelo: El estudio probó si los puntajes de incertidumbre interna de cada modelo (por ejemplo, entropía predictiva, varianza de árboles, intervalos de residuos de cuantiles) podían filtrar eficazmente las muestras para mejorar el AUC.
   • Marco de predictor-selector desacoplado: Para superar las limitaciones de los indicadores integrados, los autores propusieron un enfoque desacoplado donde un selector independiente evalúa la fiabilidad predictiva. Se evaluaron nueve selectores candidatos, identificándose el residuo de validación cruzada de XGBoost como el selector externo óptimo. Este selector se aplicó a los cinco predictores para determinar un subconjunto "fiable" de la población.

3. Despliegue clínico mediante reglas interpretables:

   • Estratificación de riesgo: Las muestras en el conjunto analítico final (L3) se estratificaron en grupos de riesgo bajo, medio y alto basándose en residuos robustos (mediana de cinco configuraciones de hiperparámetros).
   • Extracción de reglas CART: Se ajustó un Árbol de Clasificación y Regresión (CART) a los residuos robustos utilizando 15 características clínicas para extraer reglas interpretables de "caja blanca" que definen los límites del dominio de predicción fiable.
   • Verificaciones de estabilidad: Se realizaron análisis de estabilidad multi-parámetro (5 configuraciones) y multi-semilla (10 semillas) para asegurar que la estratificación del riesgo fuera una propiedad estructural de los datos.

Resultados clave

• Distorsión por sesgo de selección:

  • El tamaño de la muestra cayó de 17.705 (L0) a 4.256 (L3) (24,0%).
  • Atenuación de la asociación: La OR para cáncer-depresión cayó de 1,78 (IC 95% 1,32–2,41) en L0 a 1,39 (IC 95% 0,74–2,63) en L3, perdiendo la significación estadística. Otras asociaciones mostraron grados variables de compresión.
  • Inflación de métricas: Los AUC de los cinco modelos aumentaron direccionalmente de L0 a L3 (por ejemplo, XGBoost de 0,775 a 0,783), pero estas tendencias no fueron estadísticamente significativas tras la corrección por comparaciones múltiples. Por el contrario, el error de calibración (ECE) aumentó significativamente para cuatro de los cinco modelos a medida que la selección se estrechaba.

• Rendimiento de la predicción selectiva:

  • Incertidumbre integrada: Solo XGBoost, utilizando un intervalo de residuo de cuantiles fuera de la muestra (out-of-fold) personalizado, logró ganancias significativas en la predicción selectiva (AUC ~0,83 con ~52% de cobertura). Los otros indicadores integrados de los modelos no lograron identificar un pico de AUC superior a la cobertura total.
  • Marco desacoplado: Al utilizar los residuos de validación cruzada de XGBoost como selector externo para los cinco modelos, todos los clasificadores lograron ganancias consistentes en la predicción selectiva.
    • Cobertura: Aproximadamente el 20% de las muestras fueron identificadas como fiables.
    • Rendimiento: Los AUC de prueba oscilaron entre 0,888 y 0,901 en todos los modelos con esta cobertura. La precisión fue de ~0,85–0,86 y la sensibilidad (recall) de ~0,89–0,90.
    • Estabilidad: El umbral de cobertura del 20% fue altamente consistente entre diferentes arquitecturas de modelos, lo que indica que el selector identifica un "dominio fiable" estable.

• Reglas de triaje interpretables:

  • El análisis CART identificó cuatro variables clave para el triaje: Salud percibida, Educación, Severidad del dolor y Estado civil.
  • Dominio de residuo bajo (Fiable): Caracterizado por una mayor educación, perfiles de dolor específicos o una salud percibida pobre con impulsores somáticos claros.
  • Dominio de residuo alto (Incierto): Caracterizado por una menor educación, factores psicosociales complejos y una alta prevalencia de depresión (56,9%), donde las predicciones del modelo no son fiables.
  • Validación externa: La aplicación de las reglas CART derivadas de 2011 a la cohorte de 2018 mostró AUCs estables a nivel de grupo, confirmando la robustez temporal de la lógica de triaje.

Significación y afirmaciones
El artículo afirma proporcionar una vía de triaje de atención primaria desplegable que aborda el problema de la "caja negra" en el cribado de salud impulsado por ML. Su importancia radica en tres áreas:

1. Corrección metodológica: Demuestra que el sesgo de selección acumulativo produce una distorsión dual (asociaciones comprimidas y métricas infladas) que debe reportarse explícitamente. Los autores argumentan que las métricas de rendimiento siempre deben reportarse con su nivel de selección, cobertura y trayectoria de calibración.
2. Marco para la fiabilidad: Establece que la predicción selectiva desacoplada utilizando residuos de validación cruzada es un método robusto para identificar un subconjunto de pacientes de alta confianza, superando a los indicadores de incertidumbre integrados en los modelos, que a menudo fallan en contextos epidemiológicos.
3. Accionabilidad clínica: Al convertir la incertidumbre compleja del ML en una regla CART de cuatro variables, el estudio ofrece un "control de triaje" práctico. Esto permite a los médicos generales derivar aproximadamente el 20% de los pacientes (el dominio fiable) hacia la puntuación asistida por algoritmos, y dirigir el 80% restante (el dominio incierto) a la evaluación humana, garantizando así la seguridad del paciente y manteniendo la interpretabilidad en entornos de recursos limitados.

Los autores concluyen que este enfoque transforma el monitoreo de la incertidumbre del modelo de un paso de post-procesamiento estadístico en un control de gestión de calidad rutinario para sistemas de salud escalonados.