Towards Multidisciplinary Summarization of Hospital Stays: Efficient Sentence-Level Clinical Provenance Categorization

Sintesi Tecnica: Verso una Sintesi Multidisciplinare dei Degiorni Ospedalieri

Definizione del Problema
L'efficace sintesi clinica "per tutto il team" in ambienti ad alta complessità, come l'Unità di Terapia Intensiva Neonatale (NICU), è ostacolata dalla natura sbilanciata delle Cartelle Cliniche Elettroniche (EHR). La documentazione estesa da parte dei medici spesso oscura i contributi di altre discipline (infermieri, terapisti), portando a output incoerenti quando testi eterogenei vengono semplicemente accorpati. Per abilitare una sintesi strutturata che preservi gli approfondimenti multidisciplinari, gli autori identificano la necessità di una categorizzazione accurata, a livello di frase, della provenienza clinica (identificazione della disciplina o della sezione di origine di una nota) attraverso diverse note cliniche. Sebbene gli approcci precedenti si siano spostati dal matching basato su regole a modelli supervisionati sensibili al contesto, questi spesso faticano a generalizzare in contesti clinici specializzati a causa della mancanza di annotazioni specifiche per il dominio e di allineamento dello schema.

Metodologia
Lo studio propone una pipeline che utilizza il Fine-Tuning Supervisionato (SFT) di Large Language Models (LLM) per categorizzare intervalli a livello di frase basati sulla provenienza clinica.

• Dataset:
  • Dominio di Origine (Adult ICU): Gli autori hanno utilizzato MedSecId, un corpus di 2.002 note MIMIC-III. Le annotazioni sono state distillate in 17 categorie ad alta prevalenza (es. Anamnesi Patologica Prossima, Decorso Ospedaliero), che hanno dato origine a 1.562 note. I dati sono stati formattati come un compito di instruction-tuning basato su chat strutturata con 134.640 intervalli a livello di frase, dove ogni istanza includeva la frase target, il suo contesto immediato (precedente e successivo) e un'istruzione di sistema per assegnare un singolo header.
  • Dominio Target (NICU): È stato costruito un "Set di Valutazione Pilota NICU" gold-standard contenente 227 intervalli a livello di frase derivati da tre riepiloghi di dimissione multidisciplinari de-identificati. Questo schema include 25 categorie granulari (es. Alimentazione-Nutrizione, Respiratorio, riepiloghi specifici per disciplina) che si sovrappongono solo parzialmente agli header dell'adult ICU, creando un test rigoroso per la generalizzazione semantica sotto shift di schema.
• Architettura del Modello e Addestamento:
  • Sono stati valutati due modelli Llama-3: Llama-3.1-8B-Instruct e Llama-3.3-70B-Instruct.
  • Strategia di Fine-Tuning: I modelli sono stati sottoposti a fine-tuning utilizzando QLoRA (Quantized Low-Rank Adaptation) per ridurre l'uso della memoria di circa il 75% rispetto allo storage a 16 bit.
  • Quantizzazione: I modelli sono stati quantizzati a precisione 4-bit Normal Float (NF4).
  • Ambito di Adattamento: Gli adapter LoRA (rank $r=16$, $\alpha=32$) sono stati collegati a tutte le proiezioni lineari (MLP gate, up e down layers) anziché limitare l'adattamento ai moduli di attenzione, aumentando la copertura dei parametri addestrabili.
  • Hardware: Il modello 70B è stato addestrato su quattro GPU A100 (80GB di memoria ciascuna) utilizzando l'addestramento data-parallel.
  • Iperparametri: I tassi di apprendimento sono stati impostati a $2 \times 10^{-4}$ per il modello 8B e $1 \times 10^{-4}$ per il modello 70B.

Risultati Chiave

• Performance In-Domain (MedSecId): Entrambi i modelli hanno ottenuto un forte allineamento con lo schema di provenienza clinica, producendo weighted F1-score quasi identici di 0,94 e Macro F1-score compresi tra 0,92 e 0,93. Le performance sono state coerenti tra categorie ad alta e bassa frequenza, senza alcun vantaggio statisticamente significativo osservato per il modello 70B rispetto all'8B all'interno del dominio di origine.
• Trasferimento Cross-Domain (NICU): Una distinta divergenza nelle capacità di generalizzazione è emersa durante la valutazione sul Set Pilota NICU:
  • Modello 70B: Ha dimostrato un effetto di trasferimento dipendente dalla scala. Il modello 70B sottoposto a fine-tuning ha migliorato il suo Macro F1 da 0,52 (Base) a 0,59 e il suo Weighted F1 da 0,56 a 0,60. Notevolmente, il modello 70B quantizzato e sottoposto a fine-tuning ha superato il suo baseline a piena precisione riducendo al contempo i requisiti computazionali.
  • Modello 8B: Ha mostrato solo guadagni marginali. Sebbene il Weighted F1 sia migliorato leggermente (da 0,47 a 0,50), il Macro F1 è rimasto essenzialmente invariato (da 0,53 a 0,52). Ciò suggerisce che il modello 8B ha rinforzato le performance sulle classi ad alta frequenza ma non è riuscito a generalizzare alle categorie a bassa prevalenza sotto shift di dominio.
• Significatività Statistica: Gli autori osservano che, sebbene le differenze di performance siano numericamente significative, un test esatto di McNemar ha prodotto un p-value di 0,24. Questa mancanza di significatività statistica è attribuita alla dimensione limitata del campione (227 intervalli) e all'alta correlazione intra-nota.

Significatività e Claim
Il paper sostiene che la capacità sufficiente del modello è critica per preservare la flessibilità semantica durante il trasferimento clinico cross-domain. Mentre i modelli più piccoli (8B) possono apprendere schemi complessi in-domain, essi mostrano una capacità limitata di tradurre la supervisione strutturata in una performance bilanciata cross-domain. Al contrario, i modelli con maggiore capacità (70B) riescono a interiorizzare i vincoli strutturati mantenendo la flessibilità necessaria per riconoscere categorie specializzate e a bassa prevalenza in domini non visti.

Inoltre, lo studio dimostra che l'adattamento quantizzato efficiente (utilizzando QLoRA e quantizzazione a 4 bit) consente l'uso di modelli ad alta capacità per la modellazione della provenienza strutturata entro i vincoli hardware della ricerca clinica standard (singola GPU da 80GB). Gli autori pongono questo lavoro come un passo fondamentale verso una pipeline di recupero consapevole della provenienza, che potrebbe servire da spina dorsale per la successiva sintesi "per tutto il team", segmentando accuratamente le note in zone specifiche per disciplina, riducendo così le allucinazioni e migliorando l'utilità clinica.

Limitazioni
Gli autori riconoscono esplicitamente che il Set Pilota NICU è piccolo (227 intervalli da tre riepiloghi) e che la creazione di tali dataset gold-standard richiede molte risorse a causa della necessità di cross-referencing manuale di diverse note specifiche per disciplina. Di conseguenza, la potenza statistica del confronto cross-domain è limitata.