LLMs for Cardiovascular Risk Prediction from Structured Clinical Data

Resumen Técnico: LLMs para la Predicción del Riesgo Cardiovascular a partir de Datos Clínicos Estructurados

Planteamiento del Problema
La enfermedad de la arteria coronaria (EAC) sigue siendo una de las principales causas de mortalidad mundial, lo que requiere sistemas predictivos fiables para un diagnóstico temprano. Si bien los modelos tradicionales de aprendizaje automático (ML) funcionan eficazmente en datos clínicos numéricos estructurados (por ejemplo, edad, presión arterial, colesterol), a menudo no logran aprovechar el rico lenguaje no estructurado presente en las historias clínicas electrónicas (HCE), las notas médicas y los informes de diagnóstico. Esto crea una brecha entre los requisitos de entrada de los algoritmos de ML estándar y el formato narrativo de la documentación clínica del mundo real. Este trabajo aborda el desafío de cerrar la brecha entre los datos estructurados y el lenguaje natural para mejorar la evaluación del riesgo de EAC, explorando al mismo tiempo la viabilidad de los Modelos de Lenguaje de Gran Escala (LLM) en tareas de predicción clínica.

Metodología
Los autores proponen un marco híbrido que integra datos clínicos estructurados, generación de narrativas sintéticas y clasificación basada tanto en ML convencional como en LLM. La metodología se desarrolla a través de cuatro etapas principales:

1. Construcción del Conjunto de Datos e Ingeniería de Características:
   El estudio utiliza un conjunto de datos de EAC disponible públicamente que comprende 1,190 registros de pacientes con 11 atributos clínicos (incluyendo edad, sexo, tipo de dolor torácico, presión arterial en reposo, colesterol, glucosa en ayunas, resultados de ECG, frecuencia cardíaca máxima, angina inducida por el ejercicio, depresión del segmento ST y pendiente del segmento ST). Las variables codificadas se mapean a categorías clínicas legibles por humanos (por ejemplo, convirtiendo indicadores binarios de sexo a "masculino"/"femenino" y resultados de ECG a términos descriptivos) para crear cadenas de características interpretables.

2. Generación de Narrativas Clínicas Sintéticas:
   Utilizando LLMs (específicamente GPT y Gemini), las cadenas de características estructuradas se transforman en dos formatos de texto distintos:

   • Resúmenes Estructurados: Pares de característica-valor separados por comas.
   • Narrativas de Texto Libre: Informes clínicos detallados escritos al estilo de las notas médicas, describiendo la condición del paciente en oraciones completas.
     El proceso de generación emplea configuraciones de temperatura específicas (0 para una salida estructurada determinista; 0.3 para un flujo narrativo variado) para garantizar la precisión médica sin inventar datos.

3. Validación de la Narrativa y Control de Calidad:
   Un riguroo proceso de validación asegura la fidelidad de los datos sintéticos. El LLM actúa como un validador de datos médicos para identificar contradicciones o valores faltantes en las narrativas generadas. Posteriormente, un proceso de "extracción inversa" solicita al LLM que extraiga los valores clínicos de las narrativas de texto libre de vuelta a un formato estructurado. Se calcula una puntuación de consistencia comparando estos valores extraídos contra los registros originales de verdad fundamental (ground-truth). Los campos categóricos requieren coincidencias exactas, mientras que los campos numéricos permiten un margen de error (<0.5) para dar cuenta del redondeo del texto.

4. Modelado Predictivo:

   • ML Convencional: Se entrenan cuatro algoritmos (Regresión Logística, Random Forest, Máquinas de Vectores de Soporte y XGBoost) sobre los datos estructurados originales. Los datos se dividen en 80/20 (estratificado), se estandarizan y se evalúan mediante precisión, exactitud, exhaustividad (recall), puntuación F1 y ROC-AUC. El ajuste de hiperparámetros se realiza en el mejor modelo mediante GridSearchCV.
   • Clasificación Basada en LLM: Las narrativas de texto libre sintéticas se utilizan para evaluar los LLM bajo condiciones de prompting de cero disparos (zero-shot) y de pocos disparos (few-shot) (5, 10 y 15 ejemplos). Los modelos reciben la instrucción de generar etiquetas de enfermedad binarias (presencia/ausencia de EAC) sin entrenamiento de pesos tradicional.

Contribuciones Clave

• Marco Híbrido: La propuesta de un sistema integrado que combina datos estructurados, LLMs para la generación de narrativas y ML para la predicción.
• Pipeline de Narrativa Sintética: Un método novedoso para convertir registros clínicos tabulares en informes clínicos de lenguaje natural aptos para tareas de PLN.
• Mecanismo de Validación: El desarrollo de un sistema de puntuación de consistencia por extracción inversa, que alcanzó una fidelidad promedio del 94.61% en todo el conjunto de datos, asegurando que las narrativas sintéticas reflejen con precisión los datos clínicos originales.
• Evaluación Comparativa: Una comparación sistemática de los modelos de ML tradicionales frente a la clasificación basada en LLM bajo diversas estrategias de prompting (zero-shot y few-shot).

Resultos

• Validación: El pipeline de generación de narrativas alcanzó una puntuación de consistencia promedio del 94.61%. Específicamente, el 45.3% de los registros logró una puntuación perfecta del 100% y el 95.4% obtuvo una puntuación del 90% o superior.
• Rendimiento de Machine Learning: Entre los modelos convencionales, Random Forest alcanzó el mayor rendimiento con una exactitud de prueba del 92.86% y un ROC-AUC de 97.07%. XGBoost le siguió de cerca (92.44% de exactitud), mientras que la Regresión Logística y SVM mostraron resultados menores pero competitivos.
• Rendimiento de LLM: La clasificación basada en LLM (usando GPT y Gemini) demostró capacidad para interpretar el lenguaje natural, pero arrojó una exactitud menor que los mejores modelos de ML.
  • GPT: Alcanzó un 66.7% de exactitud en zero-shot, mejorando al 73.3% con prompting de 15 disparos (15-shot).
  • Gemini: Alcanzó un 60.0% de exactitud en zero-shot, mejorando al 80.0% con prompting de 15 disparos (15-shot).
  • El rendimiento generalmente mejoró con el aumento de los ejemplos de few-shot, aunque no superó la línea base de Random Forest.

Significancia y Reivindicaciones
El artículo sostiene que, si bien los modelos de ensamble tradicionales (específicamente Random Forest) superan actualmente a los LLM en la exactitud predictiva bruta sobre datos estructurados, los enfoques basados en LLM ofrecen ventajas distintivas para el despliegue clínico en el mundo real. La principal significancia radica en la preservación de la privacidad: los LLM pueden operar directamente sobre descripciones de pacientes en lenguaje natural, lo que significa que los datos numéricos sensibles (valores de laboratorio exactos, lecturas específicas de presión arterial, códigos de diagnóstico) no necesitan ser expuestos o compartidos explícitamente en formatos brutos. Esto permite la evaluación del riesgo basándose únicamente en el texto narrativo.

Los autores concluyen que la combinación de datos clínicos estructurados con narrativas generadas por LLM permite nuevas direcciones para los sistemas híbridos de predicción clínica. Sugieren que el trabajo futuro debe centrarse en probar el marco en conjuntos de datos más grandes y diversos, realizar el ajuste fino (fine-tuning) de modelos específicos del dominio (por ejemplo, ClinicalBERT) e integrar otras modalidades como ECG o datos de imagen en los sistemas de soporte a la decisión clínica.