Resumen Técnico: Un estudio multicéntrico sobre la adaptabilidad de un modelo fundacional compartido para Registros de Salud Electrónicos

Planteamiento del Problema

Si bien los modelos fundacionales (modelos de gran escala entrenados mediante aprendizaje autosupervisado) han revolucionado el procesamiento del lenguaje natural y la visión computacional, su aplicación a los Registros de Salud Electrónicos (EHR, por sus siglas en inglés) estructurados enfrenta obstáculos significativos. A diferencia de otras modalidades, los modelos fundacionales de EHR estructurados requieren conjuntos de datos longitudinales masivos (>1 millón de pacientes) para preentrenarse de manera efectiva, los cuales rara vez están disponibles para instituciones de investigación individuales. En consecuencia, la mayoría de los hospitales dependen de modelos bespoke (hechos a medida) de un solo propósito entrenados desde cero, un proceso que es costoso, intensivo en datos y que a menudo carece de robustez ante cambios de distribución entre diferentes centros de salud.

Existe una brecha crítica en la comprensión de si un modelo fundacional preentrenado en un gran sistema de salud puede adaptarse eficazmente a otros. Específicamente, no está claro si los modelos fundacionales de EHR "listos para usar" pueden igualar el rendimiento de los modelos entrenados localmente, cómo se comportan en escenarios de aprendizaje de pocos disparos (few-shot learning), donde los datos etiquetados de la tarea son escasos, y si el "preentrenamiento continuo" (adaptar el modelo base a los datos locales) ofrece una eficiencia de muestra superior en comparación con el entrenamiento de modelos fundacionales locales desde cero.

Metodología

Este estudio retrospectivo multicéntrico evaluó la adaptabilidad de CLMBR-T-base (referido como FMSM), un modelo fundacional Transformer de tipo decodificador únicamente (decoder-only) de 141 millones de parámetros, preentrenado con 2.57 millones de pacientes de Stanford Medicine. El estudio utilizó dos conjuntos de datos externos mapeados al Modelo de Datos Común de la Observación de Resultados Médicos (OMOP-CDM):

1. SickKids (SK): 1.8 millones de pacientes de The Hospital for the Sick Children (Toronto), centrándose en datos de pacientes pediátricos hospitalizados.
2. MIMIC-IV: 340,000 pacientes de Beth Israel Deaconess Medical Center (Boston), centrándose en datos de la unidad de cuidados intensivos (UCI) y el departamento de emergencias para adultos.

El estudio comparó cuatro estrategias de modelado a través de 8 tareas de predicción clínica binaria (incluyendo mortalidad intrahospitalaria, estancia hospitalaria, readmisión y resultados de laboratorio anormales):

1. GBMs de Referencia (Baseline GBMs): Máquinas de Potenciación de Gradiente entrenadas desde cero con datos locales utilizando una featurización convencional basada en conteos.
2. Modelo Fundacional Externo (FMSM): El modelo preentrenado de Stanford utilizado como un codificador de características congelado con cabezales de tarea lineales (regresión logística) entrenados localmente.
3. Preentrenamiento Continuo (FMSM+): El modelo externo adaptado a los datos locales mediante preentrenamiento continuo (predicción de código siguiente autorregresiva) antes de entrenar los cabezales de tarea lineales.
4. Modelos Fundacionales Locales (FMSK/FMMIMIC): Modelos con la misma arquitectura que FMSM pero preentrenados desde cero en los conjuntos de datos locales (SK y MIMIC, respectivamente).

Diseño Experimental:

• Rendimiento General: Se evaluó la discriminación (AUROC) y la calibración (Error de Calibración Esperado, ECE) en los conjuntos de prueba completos.
• Aprendizaje de Pocos Disparos (Few-Shot Learning): Se evaluó la eficiencia de las etiquetas entrenando los modelos con un número variable de ejemplos específicos de la tarea (de 2 a 1,024 muestras) manteniendo constantes los conjuntos de validación/prueba.
• Eficiencia de Muestra: Se comparó el rendimiento del preentrenamiento continuo frente al preentrenamiento local desde cero utilizando submuestras del conjunto de datos de entrenamiento global (del 0.1% al 80%).
• Adaptabilidad entre Centros: Se probó la adaptabilidad de FMSM contra los modelos locales entrenados con los datos del otro centro (por ejemplo, FMSK en MIMIC) para aislar los beneficios del tamaño de la población y la diversidad del preentrenamiento.

Contribuciones Clave

1. Primera Evaluación Multicéntrica del Preentrenamiento Continuo: Este estudio proporciona la primera evaluación externa del preentrenamiento continuo para un modelo fundacional de EHR estructurado a través de diversos sistemas de salud (pediátrico vs. adulto, canadiense vs. estadounidense). Demuestra que el preentrenamiento continuo mejora el rendimiento en todos los modelos evaluados en un promedio del 3%.
2. Ganancias Sustanciales en Eficiencia de Etiquetas: El estudio cuantifica las capacidades de few-shot de los modelos fundacionales de EHR. Encuentra que el preentrenamiento continuo permite que los modelos igualen el rendimiento de un GBM entrenado con todos los datos locales disponibles utilizando solo 128 ejemplos de entrenamiento (64 por clase, lo que representa <1% del total de los datos). Esto supera significativamente los experimentos previos de eficiencia de etiquetas utilizando arquitecturas de solo codificador (encoder-only).
3. Eficiencia de Muestra del Preentrenamiento Continuo: La investigación demuestra que el preentrenamiento continuo es entre un 60% y un 90% más eficiente en muestras que el preentrenamiento de modelos fundacionales locales desde cero. Un modelo adaptado mediante preentrenamiento continuo con una pequeña submuestra de datos locales logra un rendimiento comparable al de un modelo fundacional local entrenado con el conjunto de datos completo.
4. Marco de Decisión para el Desarrollo de Modelos: El estudio establece umbrales para determinar cuándo adaptar un modelo fundacional existente frente a entrenar uno desde cero. Encuentra que los modelos fundacionales externos superan a los modelos locales entrenados desde cero cuando los datos locales son escasos (hasta el 1% del conjunto de datos para SickKids y el 0.1% para MIMIC).

Resultados

• Rendimiento vs. Baselines: En ambos conjuntos de datos, el modelo fundacional externo adaptado (FMSM+) logró una AUROC significativamente mayor y una mejor calibración que los GBMs entrenados localmente. Específicamente, FMSM+ proporcionó una mejora del 13% en la discriminación en entornos de pocos disparos en comparación con los GBMs.
• Superioridad de Pocos Disparos (Few-Shot): En escenarios de pocos disparos, FMSM+ superó consistentemente a los GBMs. Con solo 128 muestras de entrenamiento, FMSM+ igualó la media de AUROC de los GBMs entrenados con el conjunto de datos completo.
• Robustez entre Centros: El modelo externo (FMSM) demostró una adaptabilidad superior en comparación con los modelos fundacionales locales (FMSK/FMMIMIC) cuando se aplicaba al centro opuesto. Por ejemplo, FMSM logró una AUROC significativamente mayor en MIMIC que FSK lo hizo en MIMIC, y viceversa, lo que sugiere que el preentrenamiento en una población más grande y heterogénea mejora la generalización entre centros.
• Calibración: Los modelos fundacionales generalmente exhibieron una mejor calibración (menor ECE) que los GBMs, particularmente en regímenes de bajos datos.
• Eficiencia: El preentrenamiento continuo requirió significativamente menos pasos computacionales y procesó menos eventos codificados que el entrenamiento de modelos fundacionales locales desde cero, logrando un rendimiento comparable en tamaños de muestra mayores.

Significado y Reivindicaciones

Los autores afirman que sus hallazgos subrayan la utilidad de los modelos fundacionales base compartidos como componentes modulares para agilizar el desarrollo de IA en salud. El estudio sugiere un cambio de paradigma, alejándose de entrenar modelos bespoke para cada centro de salud desde cero. En su lugar, el enfoque debe desplazarse hacia el desarrollo y el intercambio de modelos fundacionales base grandes y de propósito general, seguidos de un refinamiento específico del sitio mediante preentrenamiento continuo.

Las implicaciones clave destacadas por los autores incluyen:

• Reducción de Costos: La adaptación de modelos preentrenados reduce significativamente la cantidad de datos etiquetados y los recursos computacionales requeridos para el despliegue, bajando la barrera de entrada para los hospitales sin recursos de datos masivos.
• Robustez: El preentrenamiento en poblaciones diversas y a gran escala mejora la robustez del modelo ante cambios de distribución (por ejemplo, diferentes demografías de pacientes o prácticas de codificación) en comparación con los modelos entrenados en datos de un solo sitio.
• Escalabilidad: La capacidad de lograr un alto rendimiento con un mínimo de etiquetas específicas de la tarea facilita un despliegue más rápido de nuevas aplicaciones de predicción clínica.

El artículo concluye que, si bien persisten desafíos relacionados con la armonización de esquemas, la privacidad y la propagación de sesgos, la adaptabilidad de los modelos fundacionales de EHR compartidos ofrece una ruta prometedora y rentable para avanzar hacia una IA en salud escalable y robusta.