From Generative Modeling to Clinical Classification: A GPT-Based Architecture for EHR Notes

1. Planteamiento del Problema

El aumento de narrativas clínicas no estructuradas en los Registros Electrónicos de Salud (EHR) ofrece oportunidades para la caracterización automatizada de enfermedades y la toma de decisiones clínicas. Sin embargo, existen desafíos significativos para modelar estos textos:

• Datos limitados y desbalance: Los conjuntos de datos clínicos etiquetados son mucho más pequeños que los corpora de preentrenamiento, lo que aumenta el riesgo de sobreajuste (overfitting).
• Costo computacional: Ajustar (fine-tuning) completamente los parámetros de modelos de lenguaje grandes (LLMs) preentrenados es prohibitivo en entornos con recursos limitados (como hospitales o academia).
• Desajuste de dominio: Existe una brecha entre el lenguaje general de los datos de preentrenamiento y la terminología especializada, las abreviaturas y los estilos telegráficos de las notas clínicas.
• Incertidumbre clínica: Las notas radiológicas contienen frecuentemente lenguaje hedgado (ej. "posible", "no se descarta"), lo que complica la creación de etiquetas binarias simples.

2. Metodología Propuesta

Los autores proponen una arquitectura basada en GPT-2 (un Transformer solo decodificador) que utiliza una estrategia de ajuste fino selectivo (selective fine-tuning) para la clasificación de texto clínico.

Arquitectura y Estrategia de Entrenamiento

• Modelo Base: Se utiliza un GPT-2 pequeño (124 millones de parámetros) preentrenado por OpenAI.
• Estrategia de Congelamiento: En lugar de actualizar todos los parámetros, la mayoría del modelo se mantiene congelado. Solo se entrenan:
  1. El último bloque Transformer.
  2. La capa de normalización final (final layer normalization).
  3. Una cabeza de clasificación ligera específica para la tarea.
• Justificación: Las capas inferiores de los Transformers capturan características lingüísticas generales, mientras que las capas superiores codifican representaciones más abstractas y específicas de la tarea. Al actualizar solo la parte superior, se adapta el modelo al dominio clínico sin olvidar el conocimiento lingüístico preentrenado (catastrophic forgetting) y reduciendo drásticamente la complejidad.

Construcción de Etiquetas (Dataset MIMIC-IV)

• Fuente de Datos: Se utilizaron informes radiológicos del dataset MIMIC-IV-Note.
• Etiquetado Consciente de la Incertidumbre: Se adoptó el esquema CheXpert para extraer etiquetas directamente del texto no estructurado.
  • Se definieron tres estados para cada condición: Positivo (afirmado), Negativo (explícitamente negado) y Incierto (hedgado/ambiguo).
  • Se generaron variantes binarias para diferentes objetivos: "Solo positivo" (conservador) y "Positivo o Incierto" (sensible).
• Preprocesamiento: Se utilizaron los primeros 1024 tokens de cada nota (sin resumir, para preservar palabras clave clínicas y negaciones) y se aplicó muestreo ponderado (WeightedRandomSampler) para manejar el desbalance de clases.

3. Contribuciones Clave

1. Estrategia de Ajuste Fino Eficiente: Demostración de que actualizar solo el bloque final y la cabeza de clasificación (aprox. el 5.7% de los parámetros, o ~7 millones de parámetros entrenables frente a 124M totales) es suficiente para lograr un rendimiento competitivo.
2. Análisis Transparente de Complejidad: Un desglose detallado y accesible del conteo de parámetros y la complejidad temporal, mostrando una reducción de más del 94% en los parámetros entrenables en comparación con el ajuste fino completo.
3. Evaluación Exhaustiva: Pruebas en múltiples formulaciones de problemas (clasificación multietiqueta, binaria bajo diferentes supuestos de incertidumbre y predicción de resultados agregados) utilizando un dataset grande y realista.
4. Accesibilidad: El trabajo está diseñado para ser comprensible para investigadores nuevos en LLMs, explicando paso a paso la mecánica interna y las decisiones arquitectónicas.

4. Resultados Experimentales

Los experimentos se realizaron con tamaños de muestra de 5k, 50k y 500k informes, utilizando una GPU NVIDIA A100.

• Rendimiento de Clasificación:
  • Multiclase: Alta precisión general (>95%), aunque esto se debe en gran parte a la clase dominante "No mencionado" (NULL).
  • Binaria (Positivo vs. Negativo): El modelo alcanzó una precisión de prueba del 91-93% con 500k muestras en la configuración "Positivo o Incierto".
  • Comparativa de Estrategias:
    • Solo cabeza de clasificación: Precisión baja (~67-68%), indicando que el modelo no se adapta bien sin actualizar capas internas.
    • Ajuste Fino Selectivo (Propuesto): Logró una precisión de prueba del 91.00% y un F1 de 0.85.
    • Ajuste Fino Completo: Logró la mejor precisión (96.23%), pero con un costo computacional más del doble.
• Eficiencia Computacional:
  • El ajuste fino selectivo redujo el tiempo de entrenamiento por época de 35 minutos (ajuste completo) a **15 minutos**, manteniendo un rendimiento muy cercano al óptimo.
  • El análisis de la curva ROC mostró que el ajuste selectivo (AUROC = 0.96) casi iguala al ajuste completo (AUROC = 0.99) y supera ampliamente al entrenamiento solo de la cabeza (AUROC = 0.62).
• Convergencia: El modelo mostró un comportamiento de convergencia estable y una mejora consistente a medida que aumentaba el tamaño de los datos de entrenamiento.

5. Significado e Impacto

Este estudio demuestra que es posible adaptar modelos generativos preentrenados a tareas de clasificación clínica sin necesidad de un ajuste fino completo del modelo.

• Viabilidad en Recursos Limitados: La estrategia propuesta ofrece una vía práctica para desplegar LLMs en entornos clínicos y académicos donde los recursos computacionales y los datos etiquetados son escasos.
• Equilibrio Óptimo: Logra un equilibrio superior entre eficiencia computacional y rendimiento predictivo, evitando el sobreajuste en datos limitados mientras preserva el conocimiento lingüístico general.
• Reproducibilidad: Al evitar modificaciones arquitectónicas complejas (como en LoRA o QLoRA) y utilizar un enfoque estructuralmente simple, el método es más fácil de implementar, depurar y reproducir en la investigación clínica.

En conclusión, el trabajo valida que el ajuste fino selectivo de la parte superior de un Transformer es una estrategia robusta, escalable y eficiente para la extracción de información de notas clínicas no estructuradas.