Whose Truth Is Ground Truth?: Consequences of Label Choice on Machine Learning Models Predicting Depression 

Resumen Técnico: ¿De quién es la verdad de referencia? Consecuencias de la elección de la etiqueta en modelos de aprendizaje automático para la predicción de la depresión

Planteamiento del problema
Los modelos de aprendizaje automático (ML) desarrollados utilizando datos de registros de salud electrónicos (EHR) dependen frecuentemente de los diagnósticos documentados por el proveedor (p. ej., códigos ICD) como la "verdad de referencia" (ground truth) para el entrenamiento. Sin embargo, el diagnóstico de salud mental, particularmente para la depresión, es inherentmente subjetivo y depende en gran medida del autoinforme del paciente y la comunicación entre el proveedor y el paciente. Existe una variación sustancial en cómo se diagnostican y registran estas condiciones, y suele haber un desacuerdo significativo entre los síntomas reportados por el paciente (p. ej., mediante PHQ-9) y los diagnósticos codificados por el proveedor. El artículo postula que depender exclusivamente de las etiquetas del proveedor puede introducir sesgos, oscurecer las experiencias de los pacientes y conducir a modelos que reflejen disparidades en el flujo de trabajo clínico en lugar de estados reales del paciente. El estudio aborda la pregunta crítica: ¿Cómo impacta la elección de la fuente de la etiqueta de depresión (reportada por el paciente, codificada por el proveedor o concordante) en el rendimiento y la importancia de las características de los modelos de ML basados en árboles?

Metodología

• Fuente de datos: El estudio utilizó un conjunto de datos retrospectivo transversal de la red OCHIN ADVANCE, que comprende 644,387 adultos (de 18 años o más) con visitas ambulatorias o de telemedicina entre 2012 y 2019. Los datos incluyeron demografía, signos vitales, condiciones crónicas, determinantes sociales de la salud (SDOH) y resultados reportados por el paciente.
• Estrategias de etiquetado: Se construyeron tres definiciones distintas de depresión para servir como la variable objetivo (verdad de referencia):
  1. Indicada por el proveedor: Depresión definida únicamente por códigos ICD en el EHR.
  2. Indicada por el paciente: Depresión definida por los puntajes del PHQ-9 "Más Severos" autoinformados (26 o 27), que representan una alta certeza de síntomas sin un código del proveedor correspondiente.
  3. Concordante: Depresión definida por la intersección de los puntajes PHQ-9 "Más Severos" y los códigos ICD del proveedor.
     Nota: Se probaron modelos adicionales (Árbol 2b y 3b) utilizando un punto de corte tradicional de PHQ-9 de 20 ("Severo") para abordar los problemas de desequilibrio de clases.
• Predictores: Las características incluyeron demografía, signos vitales, condiciones crónicas (p. ej., diabetes, hipertensión), diagnósticos psiquiátricos y SDOH.
• Enfoque de modelado: Se emplearon Árboles de Clasificación y Regresión (CART) debido a su interpretabilidad. Los modelos fueron entrenados con divisiones de 70/30 con validación cruzada de 10 pliegues (10-fold cross-validation). Los hiperparámetros se ajustaron para maximizar el Área Bajo la Curva (AUC).
• Métricas de evaluación: El rendimiento se evaluó mediante AUC, sensibilidad, especificidad, Valor Predictivo Positivo (PPV) y la puntuación F1.
• Explicabilidad: Se utilizaron explicaciones SHapley (SHAP) para cuantificar y visualizar la importancia de las características a través de las diferentes estrategias de etiquetado.

Resultos clave

• Rendimiento del modelo: El rendimiento general del modelo fue modesto, con valores de AUC que oscilaron entre 0.62 y 0.64 en todas las estrategias de etiquetado.
  • Modelo indicado por el proveedor (Árbol 1): Logró la mayor sensibilidad (0.33) en el conjunto de prueba de retención entre los modelos primarios, con un AUC de 0.63.
  • Modelo indicado por el paciente (Árbol 2): Mostró una sensibilidad menor (0.28) y un PPV muy bajo (0.03) en el conjunto de retención, probablemente debido a la extrema rareza de la clase "Más Severa" (1.3% de la muestra).
  • Modelo concordante (Árbol 3): Demostró una mayor sensibilidad en la validación cruzada (0.40) pero un menor rendimiento en el conjunto de retención (0.30 de sensibilidad, 0.01 de PPV).
  • Puntos de corte alternativos: Cuando se relajó el punto de corte de "Más Severo" al punto de corte estándar de "Severo" (PHQ-9 ≥ 20), la sensibilidad para los modelos basados en el paciente mejoró (Árbol 2b: 0.49; Árbol 3b: 0.37), aunque todavía no superaron al modelo del proveedor en especificidad o puntuaciones F1.
• Disparidades en la importancia de las características: El análisis SHAP reveló que la importancia de las características cambió sustancialmente dependiendo de la fuente de la etiqueta:
  • Ansiedad: La única característica consistentemente influyente en los tres modelos.
  • Demografía: En el modelo indicado por el proveedor, las características demográficas (específicamente la raza blanca y el género femenino) fueron altamente influyentes. En contraste, estas características demográficas fueron menos importantes en los modelos indicados por el paciente y el concordante.
  • Otras características: Para los modelos indicados por el paciente, la edad temprana y la presión arterial fueron más prominentes. Para el modelo concordante, la ausencia de hipertensión y la orientación heterosexual fueron las principales características.
• Implicaciones de sesgo: La dependencia de las etiquetas del proveedor resultó en modelos que ponderaban fuertemente las variables demográficas, lo que plantea preocupaciones de que tales modelos puedan amplificar los sesgos existentes de los proveedores en lugar de capturar la patología subyacente de la depresión.

Contribuciones clave

1. Demostración empírica de la sensibilidad de la etiqueta: El estudio proporciona evidencia empírica de que la elección de la etiqueta de verdad de referencia (paciente vs. proveedor vs. concordante) altera fundamentalmente tanto el rendimiento de las métricas del modelo como la interpretación de la importancia de las características.
2. Énfasis en la inestabilidad de la verdad de referencia: Desafía la suposición de que los diagnósticos codificados por el proveedor son una verdad de referencia neutral o superior para la salud mental, demostrando que ignorar los resultados reportados por el paciente puede conducir a modelos que reflejan los sesgos del flujo de trabajo clínico en lugar de la realidad del paciente.
3. Sesgo demográfico en el etiquetado: Los hallazgos sugieren que los modelos entrenados con etiquetas de proveedores pueden aprender inadvertidamente a predecir la probabilidad de que un proveedor realice un diagnóstico (lo cual se correlaciona con la raza y el género) en lugar de la presencia de la condición misma, como se evidencia por la alta influencia de las características demográficas en el modelo etiquetado por el proveedor.
4. Marco metodológico: El artículo propone un enfoque sistemático para evaluar los modelos de ML en salud mental comparando múltiples estrategias de etiquetado y sus perfiles de explicabilidad resultantes para garantizar una IA equitativa y confiable.

Significancia y afirmaciones
Los autores afirman que sus hallazgos subrayan la necesidad de una notificación transparente y la inclusión de resultados reportados por el paciente (PROs) en el desarrollo de modelos para apoyar una IA de salud mental equitativa. Argumentan que los modelos "confiables" en la atención de la salud mental deben incorporar la perspectiva del paciente, ya que el diagnóstico depende del reporte de síntomas y no de biomarcadores objetivos.

El artículo concluye que, si bien las etiquetas derivadas del proveedor pueden generar un AUC o una sensibilidad ligeramente mayores en algunos contextos, esta ganancia se ve compensada por la amplificación de la importancia de las características demográficas, lo que plantea serias preocupaciones sobre el sesgo y la generalización. El estudio aboga por un alejamiento de la dependencia exclusiva de los diagnósticos codificados por el proveedor como verdad de referencia. En su lugar, hace un llamado a que los investigadores comparen rutinariamente las estrategias de etiquetado para exponer los sesgos en modelos que parecen tener un buen rendimiento y para alinear el desarrollo de ML con las directrices de atención basada en la medición que priorizan la voz del paciente. Los autores no pretenden haber optimizado un algoritmo específico para el despliegue clínico, sino haber expuesto los riesgos fundamentales de las prácticas actuales de etiquetado en el ML de la salud mental.