HealthFormer: Dual-level time-aware Transformers for irregular electronic health record events

Il paper propone HealthFormer, un modello Transformer a doppio livello che integra la struttura degli eventi clinici e le dipendenze temporali a lungo termine dai registri sanitari elettronici irregolari, ottenendo rappresentazioni trasferibili che superano i metodi tradizionali nella previsione di tumori incidenti.

L'essenziale

Immagina la storia medica di una persona non come un semplice elenco di carte, ma come un viaggio avventuroso fatto di tappe, incontri e momenti di pausa. Ogni volta che un paziente va dal medico, finisce in ospedale o prende una medicina, è come se il suo viaggio lasciasse un'impronta digitale unica.

Il problema è che queste impronte sono disordinate: alcuni passi sono brevi (una visita veloce), altri lunghi (un ricovero di una settimana), e i tempi tra un passo e l'altro variano enormemente (da pochi giorni a diversi anni). Inoltre, ogni "impronta" contiene molti dettagli diversi mescolati insieme: diagnosi, procedure, farmaci e nomi degli ospedali.

Fino a poco tempo fa, i computer faticavano a capire questa storia complessa. Spesso riducevano tutto a un semplice "sacco di parole" (come contare quante volte è apparsa una parola), perdendo il contesto e il tempo.

Ecco che entra in scena HealthFormer, il nuovo "detective digitale" descritto in questo articolo.

1. Il Detective a Due Livelli

HealthFormer è come un investigatore molto intelligente che osserva la storia medica con due tipi di occhiali:

• Occhiali da vicino (Livello Interno): Quando il detective guarda un singolo evento (ad esempio, una visita in pronto soccorso), usa questi occhiali per capire come i vari pezzi di quel momento si incastrano tra loro. Capisce che "febbre alta" e "tosse" apparsi insieme in quel momento specifico raccontano una storia diversa rispetto a quando appaiono da soli. Non li tratta come un mucchio disordinato, ma li analizza come un'unità coerente.
• Occhiali da lontano (Livello Esterno): Poi, il detective allarga lo sguardo per guardare l'intero viaggio del paziente nel tempo. Qui, non conta solo cosa è successo, ma quando. Sa che un evento successo 10 anni fa è meno rilevante di uno successo ieri, ma sa anche che certi eventi, anche se distanti, sono collegati da un filo invisibile.

2. Il Segreto del Tempo (L'orologio magico)

La cosa geniale di HealthFormer è che non usa un semplice calendario a blocchi (come "giorno 1, giorno 2"). Usa un orologio magico continuo.
Immagina di dover prevedere se pioverà. Non ti basta sapere che oggi è lunedì; devi sapere quanto tempo è passato dall'ultima pioggia e quanto è probabile che ne arrivi un'altra. HealthFormer fa lo stesso: calcola esattamente quanti giorni, mesi o anni sono passati tra un evento medico e l'altro, usando questa informazione per capire meglio la salute del paziente.

3. L'Allenamento da "Supereroe" (Pre-addestramento)

Prima di essere usato per aiutare i dottori, HealthFormer ha passato anni a "leggere" milioni di cartelle cliniche anonime (come se stesse leggendo un'enorme biblioteca di storie mediche) senza che nessuno gli dicesse cosa cercare.
Durante questo allenamento, ha giocato a quattro giochi diversi per imparare:

1. Il gioco del "Cosa manca?": Gli nascondevano una parola nella storia e lui doveva indovinarla basandosi sul contesto.
2. Il gioco del "Chi sono?": Gli nascondevano un intero evento (es. "visita ospedaliera") e lui doveva indovinare di che tipo di evento si trattava.
3. Il gioco del "Cosa succederà dopo?": Doveva prevedere il prossimo evento nella storia.
4. Il gioco del "Quanto tempo?": Doveva calcolare quanto tempo sarebbe passato prima del prossimo evento.

Grazie a questo allenamento, HealthFormer ha imparato a riconoscere schemi che l'occhio umano fatica a vedere, organizzando le malattie in modo logico (come se mettesse in ordine i libri in una biblioteca per argomento).

4. La Prova sul Campo: Prevedere il Cancro

Per vedere se funziona davvero, i ricercatori hanno usato HealthFormer per prevedere se una persona avrebbe sviluppato un tumore al colon-retto o alla prostata nei prossimi 30, 60 o 90 giorni.

I risultati sono stati impressionanti:

• I metodi tradizionali (come semplici calcoli statistici o liste di farmaci presi in passato) avevano un successo moderato.
• HealthFormer, invece, ha funzionato come un super-predittore, superando di gran lunga i metodi vecchi. È riuscito a vedere segnali nascosti nella storia del paziente che gli altri modelli ignoravano.

In Sintesi

HealthFormer è come un architetto di storie mediche. Non si limita a contare i sintomi; ascolta la narrazione completa della vita del paziente, capisce il ritmo dei suoi eventi e impara a collegare i puntini in modo intelligente.

Il vantaggio più grande? Una volta addestrato, può essere "aggiustato" facilmente per risolvere nuovi problemi (come prevedere altre malattie) senza dover essere ricostruito da zero, rendendolo uno strumento potente, veloce e adattabile per il futuro della medicina digitale.

Sommario tecnico

1. Il Problema

I registri elettronici sanitari (EHR) longitudinali rappresentano una fonte di dati complessa caratterizzata da due sfide principali:

1. Irregolarità temporale: Gli eventi clinici non avvengono a intervalli regolari; i gap temporali possono variare da giorni a anni.
2. Eterogeneità strutturale: Ogni evento (es. una visita, un ricovero) può contenere molteplici codici provenienti da sistemi di codifica diversi (diagnosi ICD-10, procedure hPCS, farmaci ATC) e contesti diversi (ambulatorio, ospedale, cure primarie).

I metodi esistenti spesso appiattiscono queste strutture complesse in "borse di codici" (bag-of-codes) o sequenze piatte, perdendo la composizione interna dell'evento. Inoltre, le rappresentazioni temporali discrete o basate su "bucket" non sfruttano appieno l'informazione clinica contenuta nei gap temporali esatti. È necessario un modello che catturi sia la struttura intra-evento (composizione dei codici) che le dinamiche temporali inter-evento (longitudinali), mantenendo la capacità di essere adattato a nuovi compiti supervisionati senza ingegneria delle feature specifica.

2. Metodologia: HealthFormer

HealthFormer è un framework di pre-addestramento basato su un'architettura Transformer a doppio livello, progettata specificamente per eventi clinici eterogenei e irregolari.

A. Rappresentazione dei Dati

• Taxonomia degli Eventi: I dati amministrativi sono normalizzati in una sequenza ordinata di eventi tipizzati (es. Visite GP, Visite ambulatoriali, Ricoveri, Chirurgie, Prescrizioni, Trasporti in ambulanza, Decessi).
• Decomposizione: Gli episodi complessi (es. un ricovero ospedaliero) sono scomposti in eventi atomici (ingresso, interventi chirurgici specifici, dimissione) per preservare la fedeltà temporale.
• Tokenizzazione Gerarchica: I codici clinici (ICD-10, ATC) vengono espansi gerarchicamente (padre-figlio) fino a una certa profondità, permettendo la condivisione statistica tra codici correlati.

B. Architettura del Modello

L'architettura si divide in due fasi distinte:

1. Intra-Event Encoder (Codifica intra-evento):
   • Aggrega i token eterogenei all'interno di un singolo evento (es. diagnosi + farmaci + struttura) in un unico vettore di embedding dell'evento.
   • Utilizza moduli di embedding specifici per dominio e un meccanismo di attention pooling per pesare i token in base al contesto dell'evento.
2. Inter-Event Encoder (Codifica inter-evento):
   • Modella la traiettoria longitudinale del paziente come una sequenza di embedding degli eventi.
   • Integrazione Temporale: A differenza dei Transformer standard che usano codifiche posizionali, HealthFormer utilizza:
     • Un Date Encoder per il tempo assoluto (età, data calendario).
     • Un bias di attenzione continuo basato su ALiBI (Attention with Linear Biases). Il bias è derivato dal logaritmo del tempo trascorso ($\Delta t$) tra gli eventi, permettendo al modello di catturare relazioni temporali a diverse scale senza dipendere da finestre temporali fisse.

C. Pre-addestramento Auto-supervisionato

Il modello viene pre-addestrato su milioni di record sanitari amministrativi ungheresi (10 milioni di individui, 12 anni) utilizzando quattro obiettivi multi-task:

1. Masked Language Modeling (MLM) a livello di codice: Predizione dei token mascherati all'interno di un evento.
2. MLM a livello di evento: Predizione del tipo di evento quando l'intero evento (e i suoi codici) è mascherato.
3. Predizione del prossimo evento: Prevedere il tipo e i codici dell'evento successivo nella sequenza.
4. Regressione del tempo (Delta-time): Predizione del tempo trascorso (in giorni) fino al prossimo evento.

3. Contributi Chiave

• Rappresentazione centrata sull'evento: Un approccio unificato che tratta la storia del paziente come una sequenza di eventi tipizzati, preservando l'eterogeneità dei domini clinici all'interno di ogni evento.
• Architettura Transformer a doppio livello: Separazione esplicita tra la codifica della composizione interna dell'evento e la modellazione della sequenza temporale, con un'integrazione temporale continua e precisa.
• Pre-addestramento multi-task: L'uso combinato di obiettivi a livello di codice, evento e tempo per apprendere rappresentazioni robuste e trasferibili.
• Analisi geometrica degli embedding: Dimostrazione che il pre-addestramento auto-supervisionato organizza gli embedding delle diagnosi (ICD-10) in modo coerente con la gerarchia medica, facilitando l'interpretazione clinica.

4. Risultati

Il modello è stato valutato su due compiti di previsione di tumori incidenti: Carcinoma del Colon-Retto (CRC) e Carcinoma della Prostata, con orizzonti temporali di 30, 60 e 90 giorni.

• Performance: Il fine-tuning end-to-end di HealthFormer ha ottenuto risultati superiori rispetto a tutte le baseline (inclusi modelli di regressione logistica con feature temporali decadenti e bag-of-codes).
  • CRC: AUC di 0.81 (30 giorni), 0.75 (60 giorni), 0.73 (90 giorni).
  • Prostata: AUC di 0.94 (30 giorni), 0.87 (60 giorni), 0.84 (90 giorni).
• Confronto: Il modello ha superato la baseline più forte (Time-decay bag-of-codes) di circa 0.13 punti AUC per il CRC e fino a 0.11 punti per il cancro alla prostata, dimostrando che la modellazione sequenziale contestuale cattura segnali temporali che i semplici conteggi ponderati non riescono a rilevare.
• Trasferibilità: Lo stesso backbone pre-addestrato può essere adattato a diversi endpoint clinici senza modificare l'architettura o le feature di input.

5. Significato e Implicazioni

• Interpretabilità Clinica: L'analisi degli embedding mostra che HealthFormer apprende una struttura geometrica che rispecchia la gerarchia ICD-10, permettendo ai clinici di ispezionare le relazioni tra diagnosi apprese dal modello.
• Adattabilità Pratica: Il framework elimina la necessità di progettare architetture specifiche per ogni nuovo compito di previsione, offrendo un approccio "pre-addestra e adatta" (pretrain-and-finetune) standard.
• Scalabilità: La capacità di gestire dati amministrativi su larga scala (milioni di pazienti) con eventi irregolari rende il modello adatto per applicazioni reali nella sanità pubblica e nella ricerca epidemiologica.
• Futuro: Il lavoro apre la strada all'integrazione di modalità non strutturate (note cliniche, dati di laboratorio numerici) e all'uso di questi modelli per la generazione di ipotesi cliniche testabili basate sui pattern di traiettoria dei pazienti.

In sintesi, HealthFormer rappresenta un avanzamento significativo nell'elaborazione degli EHR, superando i limiti dei modelli sequenziali tradizionali grazie a una rappresentazione esplicita della struttura degli eventi e a una modellazione temporale continua e precisa.