Resumen Técnico: Revelando el Sesgo de Incumplimiento de Tratamiento en el Aprendizaje Automático Clínico mediante Modelos de Lenguaje de Gran Escala

Planteamiento del Problema

Los sistemas de aprendizaje automático (ML) entrenados con Registros Médicos Electrónicos (EHR) se utilizan cada vez más para guiar decisiones de tratamiento clínico. Estos sistemas operan bajo un supuesto crítico, a menudo implícito: que los pacientes cumplen con los tratamientos prescritos en sus registros. Sin embargo, el incumplimiento del tratamiento es un desafío persistente en la atención médica, particularmente para condiciones crónicas como la hipertensión, donde el 40–50% de los pacientes no toman los medicamentos según lo prescrito.

Los métodos actuales para medir la adherencia dependen en gran medida de encuestas de autoinforme y entrevistas, que sufren de muestras pequeñas y sesgo de autoinforme. Las soluciones de monitoreo físico (por ejemplo, tapas de pastilleros electrónicas) suelen ser poco prácticas para un despliegue a gran escala debido al costo. En consecuencia, los modelos de ML entrenados con EHR que ignoran el incumplimiento aprenden patrones que representan erróneamente los verdaderos efectos del tratamiento. Esto introduce un sesgo implícito que puede distorsionar la inferencia causal, degradar el rendimiento predictivo y exacerbar desproporcionadamente las disparidades en los resultados de las decisiones para poblaciones vulnerables.

Metodología

Selección de la Cohorte y Datos

El estudio utiliza datos de EHR desidentificados de la Universidad de California, San Francisco (UCSF).

• Cohorte: 3,623 pacientes con hipertensión primaria.
• Estructura de Datos: Los pacientes fueron emparejados basándose en visitas consecutivas de atención primaria. La primera visita involucró una prescripción de medicación para la hipertensión; la segunda visita (ocurrida 1–12 meses después) proporcionó notas clínicas para la verificación de la adherencia.
• Medicamentos: Se centró en diez antihipertensivos comúnmente prescritos (por ejemplo, amlodipina, lisinopril, losartán).
• Características: Se extrajeron datos demográficos (sexo, edad, raza, estado civil) y factores clínicos (duración de la visita, duración de la hipertensión, recuento de comorbilidades mediante los índices de Charlson y Elixhauser).

Extracción mediante Modelos de Lenguaje de Gran Escala (LLM)

Para superar las limitaciones del autoinforme, los autores emplearon un Modelo de Lenguaje de Gran Escala (GPT-4o) para extraer información de adherencia directamente de las notas clínicas no estructuradas.

• Entrada: Para cada par de pacientes, el modelo recibió el registro de prescripción de la primera visita y las notas clínicas de la segunda visita.
• Estrategia de Prompting: Se utilizó un enfoque de cero disparos (zero-shot). El modelo fue instruido para identificar instancias de incumplimiento, clasificar el tipo (por ejemplo, dosis omitida, dosis incorrecta) y extraer el texto relevante.
• Validación: Se implementó un paso de autovalidación donde el modelo reevaluó su salida inicial para reducir las alucinaciones.
• Validación Humana: Un subconjunto de 100 notas (50 etiquetadas como no adherentes, 50 adherentes por el modelo) fue anotado independientemente por clínicos. El LLM alcanzó un 92% de precisión, exactitud y exhaustividad (recall) frente a este estándar de oro.

Análisis y Modelado

1. Análisis Estadístico: Se realizaron regresiones logísticas no ajustadas y multivariadas para identificar factores asociados con la adherencia.
2. Modelado de Temas: Se aplicó el modelado de temas basado en BERT (usando UMAP para la reducción de dimensionalidad y HDBSCAN para el agrupamiento) a las notas de incumplimiento extraídas para descubrir las razones reportadas por los pacientes para el incumplimiento.
3. Evaluación de Impacto:
   • Inferencia Causal: Se utilizaron el Pesaje de Probabilidad Inversa (IPW) y Meta-aprendices (S-learner, T-learner, X-learner) para estimar el Efecto del Tratamiento Promedio (ATE). El estudio comparó las estimaciones del ATE utilizando el conjunto de datos completo frente a un conjunto de datos que excluye a los pacientes no adherentes.
   • Modelado Predictivo: Se entrenaron modelos predictivos para evaluar cómo el ignorar el sesgo de incumplimiento afecta las métricas de rendimiento y la equidad entre grupos demográficos.

Contribuciones Clave

1. Análisis de EHR a Gran Escala: Realizó el primer análisis a gran escala del incumplimiento del tratamiento de la hipertensión utilizando datos de EHR (N=3,623), significativamente mayor que los estudios previos basados en encuestas.
2. Extracción mediante LLM: Demostró que los LLM pueden identificar eficazmente el incumplimiento del tratamiento en notas clínicas con un 92% de precisión en comparación con las anotaciones médicas, ofreciendo una alternativa escalable al autoinforme.
3. Identificación de Impulsores: Identificó factores estadísticamente significativos asociados con el incumplimiento (edad temprana, raza negra, menor número de comorbilidades) y extrajo razones específicas reportadas por los pacientes (efectos secundarios, olvidos, dificultades de surtido/refill).
4. Cuantificación del Sesgo: Cuantificó el impacto perjudicial de ignorar el incumplimiento tanto en la inferencia causal (revirtiendo las estimaciones del efecto del tratamiento) como en el modelado predictivo (degradando el rendimiento hasta en un 5% y empeorando las disparidades).

Resultados

Estadísticas de Adherencia y Factores

• Prevalencia: Se identificó que 786 pacientes (21.7%) eran no adherentes.
• Tipos de Incumplimiento: El 64.4% omitió tratamientos por completo; el 30.2% tomó dosis incorrectas; el 6.7% utilizó medicamentos diferentes; el 7.9% tomó la medicación en momentos incorrectos.
• Predictores Significativos:
  • Edad: Los pacientes más jóvenes tenían menos probabilidades de adherirse (p=0.036).
  • Raza: Los pacientes negros exhibieron tasas más altas de incumplimiento (OR 1.38, p=0.016 en el análisis multivariante).
  • Comorbilidades: Un menor número de comorbilidades se asoció con tasas de incumplimiento más altas (p=0.03).
• Razones del Incumplimiento: El modelado de temas reveló que los efectos secundarios (mareos, dolores de cabeza) fueron la razón dominante (59.8%), seguidos por el olvido (17.7%) y problemas logísticos como la necesidad de surtir recetas o perder la medicación (11.6% y 11%, respectivamente).

Impacto en el Rendimiento Posterior

• Resultados Clínicos: El incumplimiento condujo a resultados de presión arterial significativamente peores. Los pacientes no adherentes mostraron una reducción de la presión sistólica de 1.96 mmHg menos (p=0.011) y una reducción de la presión diastólica de 3.93 mmHg menos (p=0.001) en comparación con los pacientes adherentes.
• Inferencia Causal: Ignorar el sesgo de incumplimiento causó que los efectos estimados del tratamiento se revirtieran o se distorsionaran significativamente. Los modelos entrenados con datos que confundían el incumplimiento con el fracaso del tratamiento no lograron capturar la verdadera eficacia de la medicación.
• Rendimiento Predictivo: Incluir pacientes no adherentes sin ajuste degradó el rendimiento del modelo hasta en un 5%. Además, este sesgo afectó desproporcionadamente a las poblaciones vulnerables, exacerbando las disparidades raciales en las tasas de error de los modelos y en los resultados de las decisiones.
• Mitigación: El estudio encontró que simplemente eliminar los registros de pacientes no adherentes del conjunto de datos de entrenamiento (a pesar de reducir el volumen de datos) mejoró el rendimiento del modelo y condujo a predicciones más justas.

Significado y Reivindicaciones

El artículo argumenta que el incumplimiento del tratamiento no es meramente un problema clínico, sino un problema fundamental de calidad de datos para el aprendizaje automático en la salud. Los autores afirman que:

1. El Sesgo Implícito es Crítico: El supuesto de que los tratamientos prescritos se toman es una fuente de sesgo implícito que distorsiona fundamentalmente tanto la inferencia causal como el modelado predictivo.
2. Los LLM son Herramientas Viables: Los LLM proporcionan un método escalable y preciso para extraer datos de adherencia de notas clínicas no estructuradas, permitiendo la evaluación sistemática en grandes poblaciones.
3. Implicaciones de Equidad: Ignorar el incumplimiento no solo reduce la precisión; también exacerba activamente las disparidades de salud al afectar desproporcionadamente a las poblaciones que ya enfrentan barreras para la adherencia.
4. Perspectiva Accionable: Abordar este sesgo es esencial para desarrollar sistemas de ML clínico responsables y equitativos. Los autores sugieren que filtrar por adherencia, incluso a costa del tamaño del conjunto de datos, puede ser un paso necesario para asegurar la fiabilidad y la equidad de los modelos.