Sintesi Tecnica: Modellazione Gerarchica dei Codici ICD nei Modelli Foundation di EHR

Definizione del Problema

I modelli foundation per le cartelle cliniche elettroniche (EHR), come BEHRT e Med-BERT, trattano tipicamente i codici di diagnosi International Classification of Diseases (ICD) come token piatti e indipendenti. Questo approccio trascura la struttura gerarchica clinicamente significativa inerente ai sistemi di codifica ICD, che organizza le malattie in famiglie, sottocategorie e diagnosi via via più specifiche. Di conseguenza, i metodi esistenti di apprendimento delle rappresentazioni non riescono a sfruttare esplicitamente questa ontologia, trattando diagnosi correlate come simboli isolati. Ciò è particolarmente problematico nei dati clinici dove le diagnosi sono spesso scarse, con una distribuzione a coda lunga (long-tailed) e specifiche per singola istituzione. Il paper ipotizza che modellare esplicitamente questa gerarchia come un bias induttivo possa migliorare l'apprendimento delle rappresentazioni, permettendo ai codici rari di beneficiare dei dati associati a codici clinicamente simili, catturando percorsi di cura più ampi e migliorando la robustezza sotto shift di dominio.

Metodologia

Gli autori propongono e valutano due meccanismi complementari per iniettare la gerarchia ICD-10-CM nell'apprendimento delle rappresentazioni EHR contemporanee, collettivamente denominati modelli ICD Gerarchici (HICD). Definiscono tre livelli di gerarchia annidati ($G_0, G_1, G_2$) che vanno dalla granularità più grossolana alla più fine.

1. HICD-BERT (Iniezione a livello di Token)

Questo approccio estende l'architettura Transformer di BEHRT. Invece di trattare i codici ICD come identificatori atomici, il modello aumenta gli embedding standard dei token con embedding specifici della gerarchia derivati tramite troncamento del prefisso della stringa.

• Meccanismo: Per una diagnosi, il modello aggiunge embedding additivi corrispondenti a diversi livelli della stringa del codice (ad esempio, prefisso a 1 carattere, prefisso a 2 caratteri, categoria a 3 caratteri).
• Fonte dei Dati: Questo metodo è guidato dai dati (data-driven) e non richiede l'accesso a ontologie esterne durante l'addestramento; la gerarchia è derivata direttamente dalle stringhe dei codici.
• Addestramento: Pre-addestrato utilizzando il Masked Language Modeling (MLM) su sequenze di diagnosi, seguito da fine-tuning per task a valle.

2. HICD-Graph (Codifica a livello di Grafo)

Questo approccio inietta la gerarchia a livello di grafo dei codici prima di inizializzare un encoder Transformer.

• Meccanismo: Viene costruito un grafo ibrido di co-occorrenza delle diagnosi. Esso combina:
  • Edge empirici: Pesati tramite l'Informazione Mutua Punto a Punto (PMI) basata sulla co-occorrenza delle diagnosi all'interno delle visite dei pazienti.
  • Edge ontologici: Edge a peso uniforme che collegano i nodi delle diagnosi foglia ai loro nodi antenati nella gerarchia ICD ($G_0, G_1, G_2$).
• Addestramento: Una rete convoluzionale su grafi (GCN) viene addestrata con un obiettivo di predizione dei collegamenti (link-prediction) per apprendere embedding dei codici consapevoli della gerarchia. Questi embedding inizializzano la tabella di embedding di un encoder Transformer a livello di paziente.

Configurazione Sperimentale

• Dataset: MIMIC-IV (usato per il pre-addestramento e la valutazione in-domain) ed eICU (usato per la valutazione del trasferimento tra dataset).
• Task:
  1. Riammissione a 30 giorni (MIMIC-IV): Classificazione binaria.
  2. Predizione di ammissione in emergenza (MIMIC-IV): Classificazione binaria.
  3. Riammissione in terapia intensiva (eICU): Classificazione binaria per la valutazione del trasferimento (encoder congelato, classificatore sottoposto a fine-tuning).
• Ablazione: Lo studio valuta sistematicamente tutte le otto combinazioni dei tre livelli di gerarchia ($G_0, G_1, G_2$) per entrambe le architetture rispetto a un baseline senza gerarchia.

Risultati Chiave

Performance In-Domain (MIMIC-IV)

• Miglioramento Complessivo: Le configurazioni aumentate dalla gerarchia hanno superato il baseline senza gerarchia in 26 dei 28 confronti a coppie in entrambi i modelli e i task.
• HICD-BERT: I guadagni di performance sono stati guidati principalmente dal livello di granularità più fine ($G_2$). Il livello intermedio ($G_1$) da solo non ha migliorato significativamente la performance, ma ha contribuito quando combinato con altri livelli. La configurazione ottimale variava in base al task (ad esempio, tutti i livelli per la riammissione, singolo livello fine per la predizione di emergenza).
• HICD-Graph: Ha mostrato un trend di miglioramento monotono in cui l'aggiunta di più livelli di gerarchia aumentava progressivamente le performance. L'architettura basata su grafi ha integrato efficacementamente informazioni da più livelli di granularità simultaneamente.

Trasferimento tra Dataset (MIMIC-IV verso eICU)

• HICD-Graph: Ha dimostrato una robusta trasferibilità. Sei di sette varianti gerarchiche hanno migliorato significativamente rispetto al baseline, con la configurazione a tutti i livelli che ha raggiunto l'AUROC più forte (0.587). La struttura relazionale ancorata al grafo è apparsa più invariante agli shift di dataset.
• HICD-BERT: I benefici della gerarchia sono in gran parte svaniti sotto lo shift di distribuzione. Solo la configurazione a singolo livello più grossolano ($G_0$) ha mostrato un miglioramento significativo rispetto al baseline. Gli autori suggeriscono che i pattern sequenziali dei token appresi da HICD-BERT siano più strettamente accoppiati alle specifiche strutture delle visite di MIMIC-IV, mentre la struttura di grafo ancorata all'ontologia è più generalizzabile.

Analisi degli Embedding

• Clustering Semantico: I modelli consapevoli della gerarchia hanno prodotto cluster di codici più coerenti. Nello specifico, la configurazione $G_1+G_2$ in HICD-Graph ha prodotto i cluster di codici locali più stretti nello spazio degli embedding.
• Correlazione con la Performance: Le configurazioni che hanno prodotto i cluster più stretti e clinicamente significativi (ad esempio, codici che condividono lo stesso prefisso a 2 caratteri) hanno anche ottenuto le performance predittive a valle più forti, suggerendo che la gerarchia migliora le prestazioni modellando la geometria degli embedding affinché rispetti le relazioni cliniche.

Significato e Rivendicazioni

Il paper sostiene che la struttura gerarchica presente nei sistemi di codifica ICD sia un segnale sottoutilizzato nei modelli foundation di EHR. I contributi chiave e le rivendicazioni includono:

1. La Gerarchia come Bias Induttivo Robusto: L'codifica esplicita della gerarchia ICD migliora significativamente le performance predittive a valle in diverse architetture (basate su Transformer e su Grafi) e task.
2. Dipendenza dalla Granularità: L'utilità dei livelli gerarchici non è uniforme; il livello ottimale dipende sia dall'approccio di modellazione (livello di token vs livello di grafo) sia dal task a valle.
3. Trasferibilità della Struttura: La codifica gerarchica basata su grafi si trasferisce in modo più robusto tra i dataset rispetto all'iniezione a livello di token, suggerendo che le strutture relazionali derivate dall'ontologia catturano relazioni cliniche più fondamentali rispetto ai pattern sequenziali dei token.
4. Integrazione a Basso Costo: I benefici sono ottenuti con modifiche architettoniche minime (embedding additivi o ulteriori archi nel grafo) senza cambiare gli obiettivi di pre-addestramento o le pipeline principali.
5. Generalizzabilità: Le intuizioni riguardanti il valore delle ontologie cliniche strutturate si estendono oltre l'ICD-10-CM e possono essere applicate ad altre tassonomie strutturate (ad esempio, codici ATC per i farmaci) e metodi di apprendimento delle rappresentazioni.

Gli autori rimangono modesti, osservando che, sebbene i miglioramenti assoluti dell'AUROC siano modesti, sono statisticamente robusti e coerenti. Riconoscono i limiti per quanto riguarda la generalizzabilità ad altri esiti clinici, istituzioni e sistemi EHR, e notano che i loro livelli gerarchici sono stati definiti manualmente piuttosto che appresi automaticamente.