Regression vs. Medical LLMs: A Comprehensive Study for CVD and Mortality Risk Prediction

Este estudio compara modelos de regresión tradicionales con grandes modelos de lenguaje médicos (MedLLMs) utilizando datos del estudio LURIC, demostrando que tanto las técnicas de regresión avanzadas como los MedLLMs optimizados alcanzan un rendimiento competitivo (hasta un 85% de AUROC) en la predicción de mortalidad por enfermedades cardiovasculares, aunque los MedLLMs requieren calibración para corregir su tendencia a sobreestimar el riesgo.

Lo esencial

Imagina que el corazón humano es como una casa antigua y compleja. A veces, las tuberías (arterias) se obstruyen o la estructura se debilita, lo que puede llevar a un colapso (un infarto o muerte). Los médicos son los inspectores de esta casa, y su trabajo es predecir qué tan probable es que la casa se caiga en el próximo año.

Durante décadas, los inspectores han usado reglas matemáticas simples (como una calculadora básica) para hacer estas predicciones. Estas reglas miran factores como la edad, el colesterol o si la persona fuma. Funcionan bien, pero a veces son demasiado rígidas; asumen que todas las casas envejecen de la misma manera y no pueden "pensar" en matices complejos.

Este estudio, realizado por un equipo de investigadores de Luxemburgo, se pregunta: ¿Podemos usar una "super-inteligencia" moderna, como un cerebro digital gigante (una IA o LLM), para predecir mejor quién está en peligro?

Aquí te explico los hallazgos clave con analogías sencillas:

1. El Duelo: La Calculadora vs. El Genio Digital

El estudio comparó dos enfoques para predecir el riesgo de muerte en pacientes con enfermedades cardíacas:

• Los Viejos Sabios (Regresión): Son los modelos matemáticos tradicionales (como CatBoost o XGBoost). Son como un inspector experto que ha visto miles de casas y sigue reglas estrictas. Son rápidos y muy buenos.
• Los Genios Digitales (LLMs Médicos): Son modelos de Inteligencia Artificial gigantes (como Med42 o MedGemma) que han "leído" millones de libros médicos, artículos y notas de pacientes. Son como un genio que no solo sigue reglas, sino que entiende el contexto y las historias detrás de los datos.

2. El Experimento: ¿Qué le damos a leer?

Antes, para usar a estos "Genios Digitales", necesitabas que les dieras historias completas escritas por médicos (notas de alta, diagnósticos largos). Eso es como pedirle al genio que lea un libro entero para responder una pregunta simple. Es caro, lento y no siempre disponible.

La innovación de este estudio:
Los investigadores le dijeron al Genio Digital: "No necesitas leer el libro entero. Solo mira esta lista de números y síntomas (como la presión arterial, el azúcar en sangre, la edad)".

• La analogía: En lugar de darle un novelón de 500 páginas, le dieron una tarjeta de resumen con los datos más importantes.
• El truco: Usaron un método llamado "Few-Shot Prompting" (Pocos Ejemplos). Es como si le dieras al genio tres ejemplos de casas anteriores y le dijeras: "Mira, esta casa tenía estos números y se cayó; esta otra tenía esos números y estuvo bien. Ahora, mira estos nuevos números, ¿qué crees que pasará?".

3. Los Resultados: ¡La IA va ganando!

Los resultados fueron sorprendentes:

• El Genio Digital (con la tarjeta de resumen): Logró predecir la muerte con una precisión del 82% al 85%. ¡Es tan bueno como el mejor inspector experto de toda la historia!
• El Genio Pequeño (8B): Incluso los modelos de IA más pequeños, si se les "entrena" un poco más (finetuning), pueden superar a los gigantes y a los modelos comerciales caros (como los de ChatGPT o Claude).
• La sorpresa: El modelo Gemini-3-Flash (un modelo comercial) logró el mismo nivel de precisión que los mejores modelos matemáticos tradicionales, sin necesidad de ser reentrenado, solo con las instrucciones correctas.

4. El Problema de la "Exageración" (Calibración)

Aquí viene una parte importante. Aunque la IA es muy buena adivinando quién morirá, a veces es un poco dramática.

• La analogía: Imagina que el Genio Digital es un amigo muy preocupado. Si ves una mancha en la pared, él te dice: "¡La casa se va a caer en una hora!". En realidad, la casa aguantará otro año. La IA tiende a sobreestimar el riesgo (dice que el peligro es mayor de lo que es).
• La solución: Los investigadores usaron una técnica llamada "Platt Scaling". Es como ponerle un filtro de realidad al Genio. Después de que la IA hace su predicción, el filtro ajusta el número para que sea más realista y menos alarmista. Esto redujo el error de predicción en un 60-90%.

5. ¿Por qué es esto importante para ti?

• Es más barato y rápido: No necesitas esperar a que un médico escriba un informe de 10 páginas. Con los datos rutinarios de un análisis de sangre (que ya tienes en tu historial), la IA puede darte una predicción de riesgo muy precisa.
• Es accesible: Al usar modelos de código abierto (gratuitos) y técnicas simples, los hospitales con menos recursos también podrían tener acceso a esta "super-inteligencia" para salvar vidas.
• El futuro: La IA no viene a reemplazar al médico, sino a ser su asistente de alto nivel. El médico sigue siendo quien toma la decisión final, pero ahora tiene una herramienta que le dice: "Oye, revisa a este paciente, sus números sugieren un riesgo alto, aunque la calculadora antigua no lo vio".

En resumen:
Este estudio demuestra que la Inteligencia Artificial médica, cuando se le dan los datos correctos de forma sencilla, puede ser tan buena (o incluso mejor) que las herramientas tradicionales para predecir quién corre riesgo de morir por problemas cardíacos. Es como pasar de usar un mapa de papel a tener un GPS en tiempo real que sabe exactamente dónde están los baches en la carretera de la salud.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Regression vs. Medical LLMs: A Comprehensive Study for CVD and Mortality Risk Prediction" (Regresión vs. Modelos de Lenguaje Médico: Un Estudio Integral para la Predicción de Riesgo de CVD y Mortalidad), traducido y sintetizado al español.

---

1. Problema y Motivación

Las enfermedades cardiovasculares (CVD) siguen siendo la principal causa de morbilidad y mortalidad a nivel mundial. La predicción temprana del riesgo de mortalidad es crucial para la estratificación de pacientes y la intervención preventiva.

• Limitaciones de los enfoques actuales: Los modelos tradicionales basados en regresión (lineal, logística, árboles de decisión, SVM) a menudo asumen relaciones lineales y efectos homogéneos, limitando su capacidad para capturar interacciones complejas.
• Desafíos de los LLMs médicos: Los estudios recientes sobre Modelos de Lenguaje Grandes (LLMs) en medicina se han centrado principalmente en el uso de resúmenes de alta hospitalaria (texto no estructurado), los cuales son costosos de producir y no siempre están disponibles. Además, las implementaciones anteriores de LLMs para predicción de mortalidad (especialmente en configuraciones zero-shot) han mostrado un rendimiento inferior al de las redes neuronales tradicionales o algoritmos de boosting.
• Objetivo: Evaluar si los LLMs médicos (MedLLMs), utilizando datos estructurados rutinarios (biomarcadores y comorbilidades) en lugar de texto clínico, pueden igualar o superar a los métodos de regresión de vanguardia para predecir la mortalidad por todas las causas a 1 año en pacientes con CVD.

2. Metodología

El estudio se basa en la Estudio LURIC (Ludwigshafen Risk and Cardiovascular Health), que incluye a 3,316 pacientes sometidos a angiografía coronaria entre 1997 y 2000. Se definieron dos cohortes: la cohorte completa (3,316 pacientes) y una sub-cohorte de pacientes con CVD documentado (2,112 pacientes).

2.1. Selección de Datos (Biomarcadores)

En lugar de notas clínicas, los autores utilizaron cinco conjuntos de biomarcadores estructurados extraídos de registros electrónicos de salud (EHR):

1. Risk-12: 12 biomarcadores del proyecto RiskyCAD (lipidómica y microRNA).
2. Core-20: 20 biomarcadores clínicos rutinarios seleccionados por expertos.
3. Lit-21: 21 biomarcadores derivados de la literatura reciente sobre LLMs.
4. Ext-64: 64 biomarcadores ampliados mediante revisión bibliográfica.
5. Comp-94: Un conjunto agregado de 94 biomarcadores (la combinación de todos los anteriores).

2.2. Enfoques Comparados

El estudio comparó tres paradigmas principales:

1. Técnicas de Regresión Clásicas y de Boosting:
   • SVM (Máquinas de Vectores de Soporte).
   • LinearBoost, CatBoost y XGBoost (algoritmos de gradiente de árboles de decisión).
   • RealMLP (Modelos Fundacionales Tabulares - TFMs).
2. Prompting con LLMs (In-Context Learning):
   • Se convirtieron los datos tabulares en prompts de texto estructurados.
   • Zero-shot: Instrucción directa sin ejemplos.
   • Few-shot: Se añadieron 3 ejemplos sintéticos con sus riesgos calculados para guiar al modelo.
   • Modelos evaluados: MedLLMs de código abierto (MedGemma, Med42, MMed, MedLlama, Meditron, OpenBioLLM, Llama-3) y modelos comerciales (Gemini-3-Flash, Claude-Sonnet-4.5, ChatGPT-5.2).
3. Ajuste Fino Supervisado (SFT):
   • Se aplicó fine-tuning (ajuste fino) con adaptadores LoRA a modelos más pequeños (versiones de 4B y 8B parámetros) para especializarlos en la tarea de clasificación de mortalidad.

2.3. Métricas de Evaluación

• AUROC (Área bajo la curva ROC): Para medir la capacidad discriminatoria del modelo.
• ECE (Error de Calibración Esperado): Para evaluar la fiabilidad de las probabilidades predichas (calibración).
• Calibración Post-hoc: Se aplicó Platt Scaling para corregir desviaciones en las probabilidades predichas.

3. Contribuciones Clave

1. Uso de Datos Estructurados: Propone el uso de biomarcadores rutinarios y perfiles de comorbilidad como fuente de datos viable y económica para LLMs, superando la dependencia de notas clínicas textuales.
2. Pipeline Unificado de Prompting: Desarrolló un esquema de prompting (zero y few-shot) estandarizado que traduce registros tabulares a texto natural, compatible tanto con modelos comerciales como de código abierto.
3. Comparativa Exhaustiva: Realiza una de las evaluaciones más completas hasta la fecha, contrastando técnicas de regresión de vanguardia (incluyendo TFMs) contra una amplia gama de LLMs médicos y comerciales.
4. Análisis de Calibración: Identifica y corrige sistemáticamente la sobreestimación o subestimación de riesgos en los LLMs mediante técnicas de calibración.

4. Resultados Principales

• Rendimiento de los LLMs Grandes (70B):

  • Los MedLLMs grandes (70B parámetros) con few-shot prompting alcanzaron un AUROC de hasta el 82% (0.82) en la predicción de mortalidad a 1 año.
  • Esto los coloca en un nivel competitivo con las técnicas de regresión más avanzadas y métodos de la literatura médica como CoroPredict, SMART y SCORE2.
  • El modelo comercial Gemini-3-Flash logró un AUROC de 0.849 (con el conjunto Ext-64), igualando al mejor modelo de regresión (CatBoost, que también alcanzó 0.849).

• Rendimiento de Modelos Pequeños (8B) con Fine-Tuning:

  • Los modelos más pequeños (8B parámetros), cuando se ajustaron finamente (SFT), pudieron igualar o incluso superar a sus contrapartes más grandes (70B) y a modelos comerciales costosos.
  • Ejemplo: Meditron-3-8B ajustado alcanzó un AUROC de 0.826 en la cohorte completa, superando a varios modelos comerciales sin ajuste.

• Calibración y Errores:

  • Se observó un sesgo sistemático en los LLMs: tendían a subestimar el riesgo de mortalidad (o sobre-predicción de supervivencia) en comparación con la realidad.
  • El Error de Calibración Esperado (ECE) para los MedLLMs osciló entre 0.05 y 0.10.
  • La aplicación de Platt Scaling redujo este error de calibración entre un 60% y un 90%, mejorando significativamente la fiabilidad clínica de las predicciones.

• Comparación con el Estado del Arte:

  • Los resultados superan significativamente a estudios anteriores donde los LLMs quedaban muy por detrás de las redes neuronales (ANN) y los métodos de boosting.
  • La combinación de few-shot prompting con datos estructurados cerró la brecha de rendimiento entre los LLMs y los métodos tradicionales.

5. Significado e Impacto

Este estudio demuestra que los Modelos de Lenguaje Médicos (MedLLMs) no son solo herramientas para generar texto, sino que, cuando se combinan con estrategias de prompting optimizadas y datos estructurados rutinarios, pueden funcionar como herramientas de predicción de riesgo clínico altamente precisas.

• Viabilidad Clínica: Al igualar el rendimiento de los modelos de regresión más robustos (como CatBoost) y superar a modelos comerciales sin necesidad de fine-tuning costoso (en el caso de few-shot), los LLMs ofrecen una alternativa escalable y flexible.
• Accesibilidad: El uso de biomarcadores rutinarios (disponibles en la mayoría de los sistemas de salud) en lugar de notas clínicas textuales elimina una barrera importante para la implementación generalizada de IA en cardiología.
• Recomendación Futura: Los autores sugieren que, para uso clínico, es imperativo aplicar técnicas de calibración (como Platt Scaling) para corregir los sesgos de probabilidad de los LLMs, garantizando así la confianza de los médicos en las predicciones.

En conclusión, el trabajo valida que la IA generativa, específicamente los LLMs médicos, ha madurado lo suficiente para competir con los métodos estadísticos tradicionales en tareas críticas de predicción de mortalidad cardiovascular, ofreciendo un potencial significativo para la medicina de precisión.