On Using Large Language Models to Enhance Clinically-Driven Missing Data Recovery Algorithms in Electronic Health Records

Resumen Técnico: Mejora de la Recuperación de Datos Faltantes Clínicamente Dirigida en EHR mediante LLMs

Planteamiento del Problema
Los Registros Electrónicos de Salud (EHR) son fundamentales para los Sistemas de Salud de Aprendizaje (LHS) y la operacionalización de fenotipos computables, sin embargo, sufren de una pérdida de datos y errores significativos. En el contexto del Índice de Carga Alostática (ALI) —un fenotipo que mide el "desgaste" fisiológico a través de los sistemas cardiovascular, metabólico e inflamatorio—, es frecuente que falten biomarcadores críticos en los datos extraídos de los EHR. Esta ausencia de datos suele ser "no aleatoria", dependiendo de la toma de decisiones clínicas (por ejemplo, si un médico ordena una prueba específica). Si bien las revisiones de expedientes por expertos (verificación de documentos fuente) pueden recuperar valores faltantes al buscar diagnósticos auxiliares (anclas) en las historias clínicas de los pacientes, este enfoque requiere muchos recursos, consume mucho tiempo y carece de escalabilidad, lo que limita su aplicación a submuestras pequeñas.

Metodología
El estudio propone una alternativa algorítmica escalable a las revisiones manuales de expedientes para recuperar los componentes faltantes del ALI. La metodología consta de tres etapas principales:

1. Desarrollo del Algoritmo Base: Los autores adaptaron una "hoja de ruta" previamente desarrollada por expertos clínicos. Esta hoja de ruta vincula componentes específicos del ALI (por ejemplo, Hemoglobina A1c, Proteína C Reactiva) con términos de búsqueda que pueden cotejarse con códigos de la Clasificación Internacional de Enfermedades, décima revisión (ICD-10). El algoritmo combina los códigos ICD-10 del paciente con estos términos de búsqueda; si se encuentra una coincidencia, el biomarcador faltante se imputa como "no saludable".
2. Generación de la Hoja de Ruta Mejorada por LLM: Para expandir los términos de búsqueda más allá de la lista original de expertos, los autores utilizaron Modelos de Lenguaje de Gran Escala (LLMs), específicamente Google Gemini-2.5-Flash, a través del paquete ellmer en R. Se probaron dos estrategias de prompting:
   • LLM (Base): El LLM generó términos de búsqueda basándose únicamente en los nombres de los biomarcadores y los umbrales de salud sin contexto.
   • LLM (Contexto): Se le proporcionó al LLM la hoja de ruta original de los ejemplos de los expertos y se le pidió que generara una lista exhaustiva de términos adicionales de forma iterativa (20 iteraciones por componente).
3. Adjudicación Clínica: Se creó una hoja de ruta final mediante la revisión y adjudicación independiente por parte de dos clínicos de los términos de búsqueda propuestos por la hoja de ruta LLM (Contexto). Este paso tuvo como objetivo filtrar coincidencias clínicamente irrelevantes (por ejemplo, "hipertensión pulmonar" para un marcador metabólico) y prevenir "alucinaciones", resultando en la hoja de ruta "LLM (Contexto + Clínicos)".

El estudio utilizó una cohorte de 1,000 adultos de un entorno de atención primaria ambulatoria. Un subgrupo de 100 pacientes se sometió a revisiones manuales de expedientes por expertos para servir como "estándar de oro" (aleado con los datos extraídos de los EHR) para validar los enfoques algorítmicos.

Resultados Clave

• Desempeño de la Recuperación: Los enfoques algorítmicos recuperaron con éxito datos comparables a, y en algunos casos superiores a, las revisiones manuales de expedientes.
  • La hoja de ruta LLM (Contexto) recuperó el mayor volumen de componentes faltantes (55/413 puntos faltantes, 13%), superando ligeramente las revisiones de expedientes de los expertos (45/413, 11%) y la hoja de ruta original de los clínicos (51/413, 12%).
  • La hoja de ruta LLM (Contexto + Clínicos) recuperó 45 puntos faltantes (11%), igualando exactamente el recuento de la revisión de expertos.
  • La hoja de ruta LLM (Base) tuvo un desempeño deficiente, recuperando solo 3 componentes faltantes (7%), lo que demuestra que el contexto es crucial para el desempeño de los LLM en este dominio.
• Escalabilidad: Mientras que las revisiones de expertos se limitaron a 100 pacientes (requiriendo aproximadamente 100 horas de esfuerzo humano), el algoritmo se aplicó a la muestra completa de 1,000 pacientes. Esto aumentó el número mediano de componentes del ALI no faltantes por paciente de 6 (EHR bruto) a 7 (recuperación algorítmica) en toda la cohorte.
• Recuperación de Componentes Específicos: El algoritmo fue más efectivo para la Proteína C Reactiva (CRP), recuperando el 34% de los valores faltantes, y la Homocisteína (14%). No recuperó la Albúmina Sérica (no se definieron términos de búsqueda) ni el Índice de Masa Corporal (raramente faltante).
• Impacto Estadístico: Al aplicarse a la muestra completa, los valores del ALI recuperados algorítmicamente mostraron una relación lineal con los valores de los EHR brutos, pero se alinearon más estrechamente con los valores "validados" derivados de las revisiones de expedientes. En los modelos de regresión logística que predicen la interacción con la atención médica, el "análisis aumentado" (usando la recuperación algorítmica) produjo odds ratios y estimaciones más cercanas al modelo basado en la revisión de expedientes que el "análisis ingenuo" (datos brutos de EHR).

Significancia y Reivindicaciones
El artículo sostiene que los algoritmos clínicamente dirigidos, cuando son mejorados por LLMs y posteriormente adjudicados por clínicos, ofrecen un método costo-efectivo y escalable para reducir la falta de datos en los EHR. Los autores afirman que este enfoque:

1. Imita la Precisión del Experto: Logra tasas de recuperación similares a las revisiones manuales de expedientes sin los costos asociados de tiempo y mano de obra.
2. Permite la Fenotipificación a Gran Escala: Permite la aplicación de fenotipos computables (como el ALI) a muestras grandes (por ejemplo, 1,000+ pacientes) donde la revisión manual es inviable.
3. Mejora las Dimensiones de la Calidad de los Datos: El enfoque principal es mejorar la completitud. Los autores señalan que extender este marco para abordar otras dimensiones de la calidad de los datos, como la plausibilidad o la corrección, es una dirección futura prometedora.
4. Mantiene la Privacidad: Al pasar únicamente la estructura de la hoja de ruta (términos de búsqueda) al LLM en lugar de los datos del paciente, el método evita las preocupaciones de privacidad y las restricciones regulatorias asociadas con compartir Información de Salud Protegida (PHI).

Los autores concluyen que, si bien los LLM de propósito general son prácticos para esta tarea, el trabajo futuro podría beneficiarse del entrenamiento de modelos específicos de dominio en terminología médica para refinar aún más la precisión de la coincidencia de términos diagnósticos.