Disease Risk Prediction Using Structured EHR Data: Can Generalist Large Language Models Match Specialized Clinical Foundation Models? A Comparative Evaluation with Fine-Tuning

Esta evaluación comparativa demuestra que, si bien los modelos de lenguaje grandes generalistas ajustados finamente generalmente rinden menos que los modelos fundamentales clínicos especializados en la predicción de riesgos de enfermedades a partir de historias clínicas electrónicas estructuradas, los embeddings generados por modelos de lenguaje grandes acoplados a clasificadores ligeros pueden lograr un rendimiento superior tanto en las métricas AUROC como en las AUPRC.

Lo esencial

Imagina que estás intentando predecir quién podría enfermarse en el futuro observando su historial médico. Durante años, los médicos y los científicos de datos han utilizado "expertos" especializados para hacerlo. Piensa en estos expertos como Modelos Fundacionales Clínicos (CFM). Son como chefs maestros que han pasado toda su vida cocinando solo con ingredientes estructurados (como códigos de laboratorio, números de diagnóstico y listas de medicamentos). Saben exactamente cómo mezclar estos ingredientes específicos para predecir resultados como la insuficiencia cardíaca o el cáncer de páncreas.

Recientemente, ha llegado un nuevo tipo de IA: los Modelos de Lenguaje Grandes (LLM). Estos son como genios generalistas. Han leído casi todo en internet: libros, noticias, código y conversaciones. Son increíblemente inteligentes entendiendo el lenguaje y el contexto, pero no han pasado toda su vida estudiando historiales médicos específicamente.

La gran pregunta que plantea este artículo es: ¿Pueden estos genios generalistas vencer a los chefs maestros especializados en predecir el riesgo de enfermedad utilizando datos médicos estructurados?

Aquí está lo que encontraron los investigadores, desglosado de forma sencilla:

1. La carrera de "Ajuste Fino": Especializado vs. Generalista

Los investigadores tomaron ambos tipos de modelos y les asignaron una tarea específica: predecir la insuficiencia cardíaca en pacientes diabéticos y el cáncer de páncreas en otros. Los "ajustaron finamente", lo cual es como darles un curso intensivo sobre las reglas específicas del juego.

• El resultado: En conjuntos de datos grandes (miles de pacientes), los chefs especializados (CFM) aún ganaron, pero solo por un margen diminuto, casi invisible.
  • Analogía: Imagina una carrera entre un coche de Fórmula 1 (CFM) y un coche deportivo muy rápido (LLM). El coche de F1 cruzó la meta primero, pero solo por una fracción de segundo.
  • El truco: El coche de F1 (CFM) fue mucho más barato y rápido de entrenar. El coche deportivo (LLM) requirió mucho más combustible (potencia de computación) y tiempo para estar listo, y sin embargo, apenas perdió.

2. El truco de la "Incrustación": La mejor sorpresa

Los investigadores probaron un tercer enfoque. En lugar de hacer que los LLM aprendieran las reglas del juego (ajuste fino), simplemente les pidieron a los LLM que leyeran el historial del paciente y escribieran un resumen (creando una "incrustación" o embedding). Luego, entregaron ese resumen a una calculadora muy simple y básica (un "clasificador ligero") para que hiciera la predicción final.

• El resultado: Esta combinación ganó la carrera por un margen abrumador.
  • Analogía: En lugar de entrenar al genio para que fuera médico, le pidieron al genio que escribiera una biografía perfecta y concisa del paciente. Luego, entregaron esa biografía a un becario inteligente con una lista de verificación simple. El becario, armado con el resumen perfecto del genio, hizo predicciones mejores que las de los chefs especializados o los genios ajustados finamente.
  • Detalles específicos: Utilizando un modelo llamado Qwen3 para escribir el resumen y una calculadora simple para leerlo, lograron las puntuaciones de precisión más altas (más del 90% en algunos casos).

3. El especialista "Pequeño"

También probaron un "LLM Clínico" (Me-LLaMA), que es un genio generalista que ha leído algunos libros de medicina.

• El resultado: Este modelo funcionó tan bien como los modelos generalistas masivos, aunque era mucho más pequeño. Demostró que no siempre se necesita el cerebro más grande para hacer el trabajo si tienes la formación médica adecuada.

4. La compensación

El artículo destaca una gran compensación:

• Modelos Especializados (CFM): Rápidos de entrenar, baratos de ejecutar y muy fiables. Son los "caballos de batalla" de la clínica.
• Modelos Generalistas (LLM): Pueden igualar o incluso superar a los especialistas, pero son costosos y lentos de entrenar. Sin embargo, si se utilizan solo para "resumir" los datos (el truco de la incrustación) en lugar de entrenarlos completamente, se vuelven increíblemente potentes y eficientes.

La conclusión

El artículo concluye que los modelos de IA generalistas pueden definitivamente igualar a los modelos médicos especializados para predecir el riesgo de enfermedad. De hecho, utilizar un modelo generalista solo para "resumir" los datos para una calculadora simple fue el método más exitoso de todos.

Sin embargo, los autores advierten que, dado que los modelos generalistas son tan costosos de entrenar y su rendimiento puede ser un poco "inestable" (a veces excelente, a veces no), no debemos descartar los modelos especializados todavía. El mejor futuro podría ser una colaboración: utilizar la capacidad del generalista para entender y resumir, combinada con la eficiencia del modelo especializado.

En resumen: La IA generalista es un estudiante brillante que puede aprobar el examen médico, pero la IA especializada es el médico experimentado que llega allí más rápido y barato. ¿La decisión más inteligente? Dejar que el estudiante escriba las notas y dejar que una herramienta simple las califique.

Resumen técnico

A continuación se presenta un resumen técnico detallado del artículo "Predicción de Riesgo de Enfermedad Utilizando Datos Estructurados de Historia Clínica Electrónica (EHR): ¿Pueden los Modelos de Lenguaje Grandes Generalistas Igualar a los Modelos Fundacionales Clínicos Especializados? Una Evaluación Comparativa con Ajuste Fino."

1. Planteamiento del Problema

La industria de la salud depende cada vez más de modelos predictivos que utilizan Historias Clínicas Electrónicas (EHR) estructuradas para la toma de decisiones clínicas. Han surgido dos clases distintas de modelos de IA:

• Modelos Fundacionales Clínicos (CFM): Modelos especializados (por ejemplo, Med-BERT, CLMBR) preentrenados en conjuntos de datos EHR estructurados masivos y heterogéneos. Están optimizados para el modelado de trayectorias de pacientes y han demostrado un rendimiento superior en la predicción de enfermedades.
• Modelos de Lenguaje Grandes (LLM) Generalistas: Modelos (por ejemplo, LLaMA, Mistral) preentrenados en datos de texto amplios y diversos. Aunque son adaptables, sigue sin estar claro si pueden igualar o superar a los CFM especializados cuando se aplican a datos EHR estructurados para la predicción de riesgo de enfermedad, especialmente dados los costos computacionales y los desafíos de representación de datos.

El estudio aborda la brecha en las comparaciones directas y cara a cara entre estas dos clases de modelos en datos EHR y de reclamaciones del mundo real de múltiples centros.

2. Metodología

Conjuntos de Datos y Tareas

El estudio evaluó el rendimiento en dos tareas de clasificación binaria:

1. Insuficiencia Cardíaca Diabética (DHF): Predicción del riesgo de insuficiencia cardíaca en pacientes diabéticos.
2. Cáncer de Páncreas (PaCa): Predicción del diagnóstico de cáncer de páncreas.

Se utilizaron cuatro conjuntos de datos para garantizar la robustez y la reproducibilidad:

• DHF-EHR y PaCa-EHR: Datos EHR estructurados de múltiples centros de sistemas de salud de EE. UU.
• PaCa-Claims: Datos de reclamaciones a nivel de paciente.
• PaCa-EHRSHOT: Un conjunto de datos de referencia de código abierto de una sola institución (3.810 pacientes).

Los datos se procesaron en tres niveles de granularidad:

• D: Solo códigos de diagnóstico.
• DMP: Códigos de diagnóstico, medicación y procedimiento.
• ALL: Todos los datos estructurados disponibles (incluyendo demografía, signos vitales y análisis de laboratorio).

Modelos Evaluados

El estudio comparó tres categorías de modelos:

1. Modelos Fundacionales Clínicos (CFM):
   • Med-BERT (v2): Basado en codificador, preentrenado en más de 50 millones de trayectorias de pacientes (diagnóstico, medicamentos, procedimientos).
   • CLMBR: Basado en transformador decodificador, preentrenado en 2,57 millones de pacientes.
2. LLM Generalistas y Clínicos (Ajuste Fino):
   • Generalistas: Mistral-7B, LLaMA-2-13B, LLaMA-3-8B, LLaMA-3.1-8B, LLaMA-3.1-70B.
   • LLM Clínico: Me-LLaMA (ajustado fino en texto clínico).
   • Técnica: Todos los LLM fueron ajustados finamente utilizando Ajuste Fino Eficiente en Parámetros (PEFT/LoRA) y cuantización.
3. Enfoque de Incrustación de LLM (Sin Ajuste Fino):
   • Uso de LLM (DeepSeek, Qwen3, GPT-OSS, MedGemma, etc.) puramente como codificadores para generar incrustaciones de trayectorias de pacientes, seguidas de clasificadores ligeros (Regresión Logística, MLP).

Preprocesamiento de Datos y Entrada

• CFM: Los códigos estructurados se reformataron de acuerdo con sus pipelines específicos de preentrenamiento.
• LLM: Los datos EHR estructurados se serializaron en indicaciones de texto. Se probaron dos formatos: CPLLM y LLaMA2-EHR. Este último (que incorpora frecuencias de eventos) produjo mejores resultados.
• Incrustaciones: Para el enfoque sin ajuste fino, se utilizaron los primeros 4.096 tokens del historial del paciente para generar incrustaciones.

Métricas de Evaluación

• AUROC: Área bajo la curva de característica operativa del receptor (métrica principal).
• AUPRC: Área bajo la curva de precisión-rellamada (crítica para conjuntos de datos desequilibrados).
• Eficiencia: Tiempo de ajuste fino y recursos computacionales.

3. Contribuciones Clave

1. Primera Comparación a Gran Escala: Se proporcionó el primer punto de referencia cara a cara de LLM de pesos abiertos frente a CFM preentrenados a escala masiva (decenas de millones de pacientes) para la predicción de riesgo de enfermedad.
2. Análisis de Estrategia de Serialización: Se evaluó el impacto de convertir datos EHR estructurados en texto, encontrando que el formato LLaMA2-EHR (con frecuencia de diagnóstico) superó a otros formatos.
3. Nuevo Paradigma de Incrustación: Se demostró que el uso de LLM como codificadores congelados para generar representaciones de pacientes, combinado con clasificadores simples, supera tanto a los LLM ajustados finamente como a los CFM ajustados finamente en escenarios específicos.
4. Marco de Reproducibilidad: Se lanzó una base de código integral (LLM2Predict) y un marco de evaluación para apoyar futuras referencias.

4. Resultados Clave

Rendimiento del Ajuste Fino (Cohortes Grandes >30k pacientes)

• CFM vs. LLM Ajustados Fino: En grandes cohortes de EHR y reclamaciones, los CFM ajustados finamente (Med-BERT) superaron ligeramente pero de manera estadísticamente significativa a los LLM ajustados finamente en menos del 1% en AUROC.
  • Ejemplo (DHF-EHR): Med-BERT + Bi-GRU (85,39%) vs. LLaMA-3.1-70B (84,73%).
• LLM Clínicos: Me-LLaMA rindió de manera comparable a LLM generalistas mucho más grandes (por ejemplo, LLaMA-3.1-70B), lo que sugiere que el preentrenamiento específico del dominio es efectivo incluso con conteos de parámetros más pequeños.
• Eficiencia: Los CFM fueron significativamente más rápidos de ajustar finamente (<1 hora) en comparación con los LLM (4 a 190 horas, dependiendo del tamaño del modelo).

Cohorte de Código Abierto (PaCa-EHRSHOT)

• AUROC: Los LLM ajustados finamente (LLaMA-3.1-70B) lograron AUROC ligeramente más altos que los CFM, pero la diferencia no fue estadísticamente significativa (86,1% vs. 85,3%, p=0,27).
• AUPRC: Los CFM superaron significativamente a los LLM en AUPRC, lo que indica un mejor manejo del desequilibrio de clases.
  • Med-BERT v2: 55,9% AUPRC.
  • LLaMA-3.1-70B: 41,1% AUPRC.

Enfoque de "Incrustación + Clasificador" (Mejor en General)

• Hallazgo Sorprendente: El mejor rendimiento general se logró sin ajustar finamente los LLM.
• Método: Uso de LLM (específicamente Qwen3 y GPT-OSS) para generar incrustaciones de trayectorias de pacientes, seguidas de una Regresión Logística o MLP simple.
• Rendimiento:
  • AUROC: Superó el 90% (Incrustación Qwen3 8B + Texto: 90,8%).
  • AUPRC: Alcanzó el 66% (GPT-OSS 20B: 66,1%).
• Este enfoque superó tanto a los CFM ajustados finamente como a los LLM ajustados finamente en el conjunto de datos EHRSHOT.

5. Significado y Conclusión

• Generalista vs. Especializado: Aunque los CFM especializados siguen siendo altamente competitivos y eficientes para el ajuste fino en grandes conjuntos de datos estructurados, los LLM generalistas tienen el potencial de igualarlos o superarlos, particularmente cuando se utilizan como extractores de características (codificadores) en lugar de modelos generativos.
• Compensación Computacional: El ajuste fino de LLM es computacionalmente costoso (40 veces más largo que los CFM) y produce ganancias marginales sobre los CFM en AUROC, a menudo a costa de un AUPRC más bajo.
• Estrategia Óptima: El estudio sugiere que para la predicción de riesgo en EHR estructurados, la estrategia más efectiva y eficiente puede ser el uso de LLM modernos para generar incrustaciones de pacientes de alta calidad, que luego se alimentan a clasificadores ligeros. Esto evita el costo masivo del ajuste fino mientras aprovecha el conocimiento preentrenado del LLM.
• Futuras Direcciones: Los autores recomiendan integrar incrustaciones generadas por LLM en los pipelines de entrenamiento de CFM para combinar las fortalezas de ambos enfoques. También destacan la necesidad de más investigación sobre tareas multiclase, datos no estructurados (notas clínicas) y arquitecturas híbridas.

Limitaciones: El estudio se centró en la clasificación binaria; los resultados pueden no generalizarse a tareas de regresión o multiclase. Además, la evaluación se restringió a datos estructurados, dejando sin explorar el rendimiento en notas clínicas no estructuradas.