Narrative Feature or Structured Feature? A Study of Large Language Models to Identify Cancer Patients at Risk of Heart Failure

Sintesi Tecnica: Caratteristica Narrativa o Caratteristica Strutturata? Uno studio di Large Language Models per identificare pazienti oncologici a rischio di insufficienza cardiaca

Problema
I trattamenti oncologici spesso introducono cardiotossicità, portando all'insufficienza cardiaca (HF) e impattando negativamente sulla sopravvivenza. Identificare i pazienti oncologici a rischio di HF è fondamentale per migliorare la sicurezza dei trattamenti. Sebbene le cartelle cliniche elettroniche (EHR) contengano dati ricchi per la predizione del rischio, esiste una lacuna nell'utilizzo efficace dei codici medici strutturati (ICD e RxNorm) all'interno dei Large Language Models (LLM). Gli approcci precedenti si sono basati sul machine learning tradizionale con uno sparse one-hot encoding o su modelli di deep learning come i Time-Aware LSTM (T-LSTM) che catturano le sequenze temporali ma rimangono comunque dipendenti da codici strutturati sparsi. Resta da chiarire come sfruttare al meglio le capacità semantiche degli LLM per i dati EHR strutturati nella predizione del rischio di malattie.

Metodologia
Lo studio ha utilizzato una coorte di 12.061 pazienti oncologici (polmone, seno e colon-retto) del sistema University of Florida Health, composta da 1.602 casi (HF post-cancro) e 11.204 non-casi. I ricercatori hanno confrontato tre diverse strategie di rappresentazione delle caratteristiche attraverso diverse architetture di modelli:

1. Machine Learning Tradizionale (One-Hot Encoding):

   • Modelli: Support Vector Machines (SVM) e XGBoost (XGB).
   • Caratteristiche: I codici strutturati ICD e RxNorm sono stati aggregati in gruppi PheWAS e in codici RxCUI a livello di ingrediente per ridurre la sparsità. Questi sono stati convertiti in vettori binari (one-hot encoding).
   • Limitazione: Questo approccio semplifica la struttura tempo-evento e risulta in un'alta sparsità delle caratteristiche.

2. Deep Learning (Rappresentazione di Sequenza):

   • Modello: Time-Aware Long Short-Term Memory (T-LSTM).
   • Caratteristiche: I dati dei pazienti sono stati organizzati in sequenze basate sul tempo dell'incontro per catturare la dinamica temporale. I codici di diagnosi e farmaci sono stati trattati come input sequenziali con tensori di tempo trascorso.
   • Limitazione: Sebbene catturi l'ordine temporale, l'input rimane basato su codici strutturati sparsi.

3. Large Language Models (Caratteristiche Subword):

   • Modelli: BERT, GatorTron-345M e GatorTron-3.9B.
   • Caratteristiche (Strategia Innovativa): Lo studio ha proposto di convertire i dati EHR strutturati in "caratteristiche narrative". Le descrizioni ufficiali dei codici ICD e RxNorm sono state organizzate in una sequenza testuale secondo il tempo dell'incontro, con le caratteristiche demografiche dei pazienti convertite in una descrizione narrativa. Questo testo è stato tokenizzato in subword dal tokenizer dell'LLM.
   • Razionale: Questa strategia trasforma i codici strutturati sparsi in testo denso, permettendo all'LLM di sfruttare la conoscenza semantica pre-addestrata (ad esempio, comprendere la relazione tra "epatite B acuta" e "miocardite acuta" tramite subword condivisi come "acuta") e aumentare la densità delle caratteristiche.

Risultati Chiave
I modelli sono stati valutati utilizzando F1 score, AUC, precision, recall e accuratezza su un split 6:2:2 train/validation/test.

• Densità delle Caratteristiche: La rappresentazione delle caratteristiche "subword" ha aumentato significativamente la densità delle caratteristiche (il numero di pazienti unici per caratteristica) rispetto sia ai codici ICD originali che ai raggruppamenti PheWAS.
• Performance del Modello:
  • GatorTron-3.9B ha ottenuto la migliore performance complessiva con un F1 score di 0.699, superando:
    • Il tradizionale SVM (F1 0.302) del 39%.
    • Il T-LSTM (F1 0.622) del 7%.
    • BERT (F1 0.643) del 5.6%.
  • GatorTron-3.9B ha anche ottenuto l'AUC più alto (0.896) e l'accuratezza più alta (0.927).
• Combinazioni di Caratteristiche: Per entrambi, T-LSTM e GatorTron-345M, la migliore performance è stata raggiunta combinando le caratteristiche di diagnosi, farmaci e demografia.
• Analisi dei Sottogruppi: La performance è variata in base al tipo di cancro. GatorTron-3.9B ha mostrato il punteggio F1 (0.824) e la recall (0.913) più elevati per i pazienti con "Più di un tipo di cancro", mentre i pazienti con cancro al seno hanno mostrato un F1 di 0.735.
• Interpretabilità: Utilizzando LIME, lo studio ha visualizzato i pesi dell'attenzione, confermando che il modello ha identificato caratteristiche clinicamente rilevanti come "elettrocardiogramma anomalo", "rosuvastatina" e "furosemide" come driver per la predizione del rischio di HF.

Significatività e Rivendicazioni
L'articolo sostiene che convertire i codici medici strutturati in testo narrativo (caratteristiche subword) è una strategia efficace per sfruttare gli LLM nella predizione del rischio di malattie. Il contributo primario è dimostrare che gli LLM, specificamente GatorTron, possono superare sia il machine learning tradizionale che il deep learning basato su sequenze quando applicati ai dati EHR strutturati, a condizione che i dati siano trasformati in un formato narrativo.

Gli autori sostengono che questo approccio offre una strategia "semplice ma efficiente" per colmare il divario tra EHR strutturati e non strutturati. A differenza del raggruppamento ontologico (es. PheWAS), che tratta le condizioni correlate come categorie distinte, gli LLM che utilizzano le caratteristiche subword possono catturare somiglianze semantiche e variazioni tra le condizioni mediche. Lo studio conclude che le caratteristiche subword fungono da superiore surrogato per i codici strutturati negli LLM, migliorando potenzialmente gli esiti del trattamento oncologico attraverso una migliore identificazione dei pazienti a rischio di insufficienza cardiaca indotta da cardiotossicità.

Limitazioni
Gli autori riconoscono che i modelli GatorTron sono limitati da una finestra di input di 512 subword, che può troncare le storie cliniche più lunghe. Inoltre, il dataset presentava squilibri demografici, come una maggiore proporzione di pazienti neri nel gruppo dei casi e un bias di genere nei casi di cancro al seno. Il lavoro futuro suggerito esplora gli LLM generativi (architettura GPT) e la sintesi automatica del testo per integrare ulteriormente i dati strutturati e non strutturati.