Narrative Feature or Structured Feature? A Study of Large Language Models to Identify Cancer Patients at Risk of Heart Failure

Resumen Técnico: ¿Características Narrativas o Estructuradas? Un estudio de modelos de lenguaje de gran tamaño para identificar pacientes con cáncer en riesgo de insuficiencia cardíaca

Planteamiento del problema
Los tratamientos contra el cáncer a menudo introducen cardiotoxicidad, lo que conduce a la insuficiencia cardíaca (IC) y afecta negativamente la supervivencia. Identificar a los pacientes con cáncer en riesgo de IC es crítico para mejorar la seguridad del tratamiento. Aunque las Historias Clínicas Electrónicas (HCE) contienen datos ricos para la predicción de riesgos, existe una brecha en la utilización efectiva de los códigos médicos estructurados (ICD y RxNorm) dentro de los Modelos de Lenguaje de Gran Tamaño (LLM). Los enfoques anteriores se han basado en el aprendizaje automático (ML) tradicional con codificación dispersa one-hot, o en modelos de aprendizaje profundo como las LSTM sensibles al tiempo (T-LSTM) que capturan secuencias temporales, pero que siguen dependiendo de códigos estructurados dispersos. No está claro cómo aprovechar mejor la capacidad semántica de los LLM para los datos estructurados de las HCE con el fin de predecir el riesgo de enfermedades.

Metodología
El estudio utilizó una cohorte de 12,806 pacientes con cáncer (pulmón, mama y colorrectal) del sistema de salud de la Universidad de Florida, que comprende 1,602 casos (IC post-cáncer) y 11,204 no casos. Los investigadores compararon tres estrategias distintas de representación de características a través de diferentes arquitecturas de modelos:

1. Aprendizaje Automático Tradicional (Codificación One-Hot):

   • Modelos: Máquinas de Vectores de Soporte (SVM) y XGBoost (XGB).
   • Características: Los códigos ICD y RxNorm estructurados se agregaron en grupos PheWAS y códigos RxCUI a nivel de ingrediente para reducir la dispersión. Estos se convirtieron en vectores binarios (codificación one-hot).
   • Limitación: Este enfoque simplifica la estructura de tiempo hasta el evento y resulta en una alta dispersión de características.

2. Aprendizaje Profundo (Representación de Secuencia):

   • Modelo: LSTM sensible al tiempo (T-LSTM).
   • Características: Los datos de los pacientes se organizaron en secuencias basadas en el tiempo de encuentro para capturar la dinámica temporal. Los códigos de diagnóstico y medicación se trataron como entradas secuenciales con tensores de tiempo transcurrido.
   • Limitación: Aunque captura el orden temporal, la entrada sigue basándose en códigos estructurados dispersos.

3. Modelos de Lenguaje de Gran Tamaño (Características de Subpalabras):

   • Modelos: BERT, GatorTron-345M y GatorTron-3.9B.
   • Características (Estrategia Novedosa): El estudio propuso convertir los datos estructurados de las HCE en "características narrativas". Las descripciones oficiales de los códigos ICD y RxNorm se organizaron en una secuencia de texto de acuerdo con el tiempo de encuentro, y las características demográficas del paciente se convirtieron en una descripción narrativa. Este texto fue tokenizado en subpalabras por el tokenizador del LLM.
   • Justificación: Esta estrategia transforma los códigos estructurados dispersos en texto denso, permitiendo que el LLM aproveche el conocimiento semántico preentrenado (por ejemplo, comprender la relación entre "hepatitis B aguda" y "miocarditis aguda" a través de subpalabras compartidas como "aguda") y aumente la densidad de las características.

Resultados Clave
Los modelos fueron evaluados utilizando la puntuación F1, AUC, precisión, sensibilidad (recall) y exactitud en una división de entrenamiento/validación/prueba de 6:2:2.

• Densidad de Características: La representación de características por "subpalabras" aumentó significativamente la densidad de las características (el número de pacientes únicos por característica) en comparación con tanto los códigos ICD originales como los agrupamientos PheWAS.
• Rendimiento del Modelo:
  • GatorTron-3.9B logró el mejor rendimiento general con una puntuación F1 de 0.699, superando a:
    • SVM tradicional (F1 0.302) en un 39%.
    • T-LSTM (F1 0.622) en un 7%.
    • BERT (F1 0.643) en un 5.6%.
  • GatorTron-3.9B también logró el AUC más alto (0.896) y la exactitud más alta (0.927).
• Combinaciones de Características: Tanto para T-LSTM como para GatorTron-345M, el mejor rendimiento se logró combinando características de diagnóstico, medicación y demografía.
• Análisis de Subgrupos: El rendimiento varió según el tipo de cáncer. GatorTron-3.9B mostró la puntuación F1 más alta (0.824) y la sensibilidad (0.913) más alta para pacientes con "Más de un tipo de cáncer", mientras que los pacientes con cáncer de mama mostraron un F1 de 0.735.
• Interpretabilidad: Utilizando LIME, el estudio visualizó los pesos de atención, confirmando que el modelo identificó características clínicamente relevantes como "electrocardiograma anormal", "rosuvastatina" y "furosemida" como impulsores para la predicción del riesgo de IC.

Significancia y Reivindicaciones
El documento sostiene que convertir los códigos médicos estructurados en texto narrativo (características de subpalabras) es una estrategia efectiva para aprovechar los LLM en la predicción del riesgo de enfermedades. La contribución principal es demostrar que los LLM, específicamente GatorTron, pueden superar tanto al ML tradicional como a los modelos de aprendizaje profundo basados en secuencias cuando se aplican a datos estructurados de HCE, siempre que los datos se transformen en un formato narrativo.

Los autores argumentan que este enfoque ofrece una "estrategia sencilla pero eficiente" para cerrar la brecha entre las HCE estructuradas y las no estructuradas. A diferencia de la agrupación ontológica (por ejemplo, PheWAS), que trata las condiciones relacionadas como categorías distintas, los LLM que utilizan características de subpalabras pueden capturar similitudes y variaciones semánticas entre condiciones médicas. El estudio concluye que las características de subpalabras sirven como un sustituto superior para los códigos estructurados en los LLM, mejorando potencialmente los resultados del tratamiento del cáncer al identificar mejor a los pacientes en riesgo de cardiotoxicidad-inducida por insuficiencia cardíaca.

Limitaciones
Los autores reconocen que los modelos GatorTron están limitados por una ventana de entrada de 512 subpalabras, lo que puede truncar historias clínicas largas. Además, el conjunto de datos presentó desequilibrios demográficos, como una mayor proporción de pacientes negros en el grupo de casos y un sesgo de género en los casos de cáncer de mama. Se sugiere como trabajo futuro explorar los LLM generativos (arquitectura GPT) y la automatización de la síntesis de texto para integrar mejor los datos estructurados y no estructurados.