🤖 machine learning

Improving Patient Subtyping on Longitudinal Data using Representations from Mamba-based Architecture

Questo articolo propone un modello basato su Mamba e auto-supervisionato che apprende rappresentazioni efficaci da dati di cartelle cliniche elettroniche longitudinali irregolari per migliorare significativamente il sottotipizzazione dei pazienti e i risultati della medicina di precisione rispetto ai modelli di base esistenti.

Autori originali: Md Mozaharul Mottalib, Rahmatollah Beheshti

Pubblicato 2026-06-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Md Mozaharul Mottalib, Rahmatollah Beheshti

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Ordinare i pazienti come un bibliotecario

Immaginate un ospedale come una vastissima biblioteca dove ogni paziente ha un "libro" della sua storia medica. Questi libri sono disordinati. Alcune pagine mancano, altre sono scritte in lingue diverse e le voci sono sparse casualmente nel tempo (come un paziente che effettua un esame del sangue lunedì, una radiografia tre settimane dopo e un controllo sei mesi dopo).

I medici devono raggruppare questi pazienti in "club" o sottotipi in base a come progredisce la loro malattia. Questo aiuta a trattare le persone in modo più preciso. Tuttavia, ordinare questi libri disordinati e irregolari è incredibilmente difficile per i computer.

Il problema: Il collo di bottiglia "quadratico"

Il documento spiega che i precedenti modelli informatici (chiamati Transformer) erano come bibliotecari che cercavano di leggere ogni singola pagina di ogni libro contro ogni altra pagina per trovare somiglianze.

L'analogia: Se hai 10 libri, è facile confrontarli tutti. Ma se hai 1.000 libri, il bibliotecario deve fare un milione di confronti. Se ne hai 10.000, devono fare 100 milioni di confronti. Questo è chiamato complessità quadratica ( $O(L^2)$ ).
Il risultato: Per evitare che il computer vada in crash, questi vecchi modelli dovevano scartare lunghe storie cliniche o dividerle in piccoli pezzi rigidi (come forzare una lunga storia in un riassunto di 50 parole). Ciò significava che perdevano i sottili schemi a lungo termine di come una malattia si sviluppa realmente.

La soluzione: Il treno "Mamba"

Gli autori hanno costruito un nuovo modello chiamato Triplet-Mamba. Invece di un bibliotecario che confronta ogni singola pagina con tutte le altre, hanno utilizzato un'architettura Mamba.

L'analogia: Pensate a Mamba come a un treno ad alta velocità che attraversa la storia del paziente. Non si ferma a confrontare ogni singola stazione con tutte le altre. Inveve, si muove linearmente (un passo alla volta), ricordando il contesto importante mentre procede. Questa è la complessità lineare ( $O(L)$ ).
Perché è importante: Può gestire l'intera storia clinica di un paziente (anche se si estende per anni) senza che il computer esaurisca la memoria. È veloce ed efficiente.

Come gestisce i dati disordinati: Il sistema "Triplet"

I dati medici reali sono irregolari. Un paziente potrebbe avere una lettura della temperatura alle 14:00 e un esame del sangue alle 16:30 del giorno successivo. I vecchi modelli spesso forzavano questi dati in una griglia ordinata (come un foglio di calcolo), il che fa perdere la tempistica esatta.

Triplet-Mamba tratta ogni dato come una Tripletta:

Tempo: Quando è accaduto.
Caratteristica: Cosa era (es. "Pressione sanguigna").
Valore: Quanto era (es. "120").

L'analogia: Invece di forzare un diario disordinato in un calendario, il modello legge il diario esattamente come è stato scritto: "Martedì, mi sentivo stordito (Tempo: Martedì, Caratteristica: Stordimento, Valore: Alto)". Questo preserva la realtà esatta e disordinata della vita del paziente.

L'addestramento: Imparare senza un insegnante

Il documento descrive un approccio di Apprendimento Auto-Supervisionato (Self-Supervised).

L'analogia: Immaginate di insegnare a uno studente a comprendere una storia facendogli leggere un libro con l'ultima pagina mancante e chiedendogli di indovinare cosa accadrà dopo. Non viene istruito sulla risposta da un insegnante; sta imparando la struttura della storia cercando di prevedere il futuro.
Nel documento: Il modello osserva i record passati di un paziente e cerca di prevedere i risultati futuri dei suoi esami clinici. Facendo questo milioni di volte, apprende una mappa interna profonda di come progidiscono le malattie. Impara la "forma" della malattia, non solo a memorizzare le etichette.

I Risultati: Un raggruppamento migliore

I ricercatori hanno testato questo nuovo modello su dati del mondo reale (inclusi pazienti in terapia intensiva e bambini con problemi di gestione del peso) e lo hanno confrontato con i migliori modelli esistenti (come STraTS e DuETT).

"Club" migliori: Quando hanno usato la mappa interna del modello per raggruppare i pazienti, i gruppi erano molto più compatti e distinti.
- La metrica: Hanno utilizzato un punteggio chiamato Silhouette Score. Pensatelo come un punteggio di "qualità del raggruppamento". Triplet-Mamba ha ottenuto i punteggi più alti, il che significa che i pazienti in ogni gruppo erano molto simili tra loro e molto diversi dai pazienti degli altri gruppi.
Previsioni migliori: Il modello è stato anche leggermente migliore nel prevedere gli esiti (come mortalità o perdita di peso) rispetto alla concorrenza.
Stabilità: I gruppi trovati dal modello erano stabili. Se si forniva al modello dati leggermente diversi, trovava comunque gli stessi gruppi. Ciò suggerisce che i gruppi sono schemi reali, non solo rumore casuale.

Il punto fondamentale

Il documento afferma che passando da modelli "quadratici" (che diventano lenti e disordinati con dati lunghi) ai modelli lineari Mamba, e trattando i dati come triplette flessibili invece che come griglie rigide, hanno creato un sistema che comprende molto meglio le lunghe e disordinate storie cliniche dei pazienti. Ciò porta a modi più accurati per raggruppare i pazienti, che è il primo passo verso la medicina personalizzata.

Ciò che il documento NON afferma:

Non afferma che questo sia attualmente utilizzato negli ospedali per trattare i pazienti oggi.
Non afferma che il modello possa leggere testi medici (come le note dei medici) o guardare radiografie (attualmente si concentra su numeri e timestamp).
Non promette che questo curerà le malattie, ma solo che migliora gli strumenti di raggruppamento e previsione utilizzati dai ricercatori.

Sintesi Tecnica: Miglioramento della sottotipizzazione dei pazienti su dati longitudinali utilizzando rappresentazioni da un'architettura basata su Mamba

Definizione del Problema
La sottotipizzazione efficace dei pazienti — raggruppare i pazienti con percorsi di progressione della malattia condivisi — è fondamentale per la medicina di precisione, ma rimane una sfida a causa della natura intrinseca dei dati delle cartelle cliniche elettroniche (EHR). Le cartelle cliniche sono caratterizzate da mancanza di dati, estrema sparsità e intervalli di campionamento irregolari. Sebbene i modelli basati su Transformer abbiano dimostrato successo nella previsione clinica, la loro complessità computazionale quadratica ( $O(L^2)$ ) crea un collo di bottiglia nel processare lunghe storie cliniche dei pazienti. Questo limite costringe i ricercatori a troncare dati preziosi o ad adottare metodi di discretizzazione computazionalmente proibitivi (ad esempio, il binning), che possono oscurare transizioni sottili nello stato di un paziente, vitali per identificare fenotipi clinici robusti.

Metodologia: Triplet-Mamba
Per affrontare queste sfide, gli autori propongono Triplet-Mamba, un'architettura auto-supervisionata progettata per l'apprendimento di rappresentazioni longitudinali. Il modello passa dalle tradizionali architetture backbone basate su Transformer a un'architura basata su Mamba che utilizza un Modello di Spazio di Stato (SSM) selettivo. Questo passaggio consente una complessità temporale lineare ( $O(L)$ ), permettendo al modello di processare estese traiettorie dei pazienti senza superare i vincoli di memoria.

I componenti principali della metodologia includono:

Rappresentazione dell'Input a Triplette: A differenza dei metodi precedenti che discretizzano il tempo, Triplet-Mamba gestisce nativamente il campionamento irregolare. Esso codifica ogni osservazione come una tripletta $(t, f, v)$ , che rappresenta tempo, caratteristica e valore. Questi vengono mappati in uno spazio latente utilizzando un modulo di Embedding Tripletto Iniziale, che combina embedding appresi per la variabile, il valore continuo e il tempo continuo tramite Reti Feed Forward (FFN).
Codifica Contestuale (Blocchi Mamba): Gli embedding iniziali passano attraverso un modulo di Embedding Tripletto Contestuale composto da blocchi Mamba impilati. Questi blocchi utilizzano la normalizzazione RMS, proiezioni lineari e l'SSM per filtrare le informazioni rilevanti, agendo come un filtro efficiente a tempo continuo adatto a tassi di campionamento non uniformi.
Fusion Self-Attention: Un modulo di Fusion Self-attention aggrega gli embedding contestuali dai blocchi Mamba per generare una rappresentazione a serie temporali a lunghezza fissa. Questa viene concatenata con gli embedding demografici statici per formare la rappresentazione finale del paziente.
Strategia di Addestramento: Il modello impiega un approccio di addestramento in due fasi:
- Pre-addestramento Auto-supervisionato: Il modello apprende le rappresentazioni tramite un obiettivo di previsione (forecasting) su un dataset più ampio, prevedendo valori futuri mascherati utilizzando una perdita di errore quadratico medio (MSE) mascherata. Ciò consente al modello di apprendere spazi latenti strutturati che catturano una genuina progressione della malattia senza fare affidamento esclusivamente su etichette specifiche per il compito.
- Fine-tuning: Le rappresentazioni apprese vengono adattate per compiti a valle (classificazione binaria o sottotipizzazione) utilizzando uno strato denso con attivazione sigmoidale e perdita di entropia incrociata (cross-entropy).

Contributi Chiave
Il documento delinea tre contributi primari:

Architettura Innovativa: L'introduzione di Triplet-Mamba, che sfrutta l'efficienza di Mamba per catturare dinamiche sanitarie a lungo raggio che eccedono i limiti di contesto dei modelli Transformer.
Rappresentazione dell'Input Specializzata: La progettazione di uno schema di embedding che preserva le informazioni temporali fini codificando direttamente i timestamp continui e i valori misurati, evitando la perdita di informazioni associata alla discretizzazione.
Pipeline di Sottotipizzazione: Una pipeline completa che utilizza il forecasting auto-supervisionato per apprendere le rappresentazioni delle serie temporali dei pazienti, che vengono successivamente categorizzate in sottotipi significativi utilizzando tecniche di clustering standard (K-means, Spectral Clustering, GMM).

Risultati Sperimentali
Gli autori hanno valutato Triplet-Mamba su tre dataset: il pubblico PhysioNet 2012 (predizione della mortalità), MIMIC-IV (predizione della mortalità) e un dataset privato di Gestione del Peso Pediatrico.

Performance Predittiva: Triplet-Mamba ha raggiunto risultati allo stato dell'arte o competitivi nei compiti di classificazione binaria. Ha superato i baseline (STraTS, EHR-Mamba, DuETT) su MIMIC-IV e sul dataset Pediatrico, ottenendo un aumento dell'1,7% in AUROC su MIMIC-IV e del 2,8% sul task di perdita di peso pediatrico. Su PhysioNet 2012, ha performato in modo comparabile al miglior baseline (DuETT).
Qualità della Sottotipizzazione: Nei compiti di clustering non supervisionato, le rappresentazioni apprese da Triplet-Mamba hanno costantemente prodotto Silhouette score più elevati in tutti i dataset e i metodi di clustering rispetto ai baseline. Per il dataset Pediatrico, dove la verità di base era definita dalle classi di obesità, Triplet-Mamba ha ottenuto l'Indice Rand Corretto (ARI) più alto, indicando un allineamento superiore con le classificazioni cliniche.
Stabilità: L'analisi di stabilità bootstrap ha dimostrato che i sottotipi scoperti da Triplet-Mamba erano altamente coerenti (media dell'Indice di Jaccard di 0,814), superando significativamente i baseline e oltrepassando la soglia per una fenotipizzazione clinica stabile.
Studi di Ablazione: Rimuendo l'embedding a triplette, lo strato di attenzione di fusione o la fase di pre-addestramento auto-supervisionato, si è verificato un declino costante delle prestazioni, confermando che la sinergia tra questi componenti è essenziale per il successo del modello.

Significatività e Rivendicazioni
Gli autori affermano che Triplet-Mamba dimostra che una sottotipizzazione efficace dei pazienti dipende dall'apprendimento di rappresentazioni scalabili e temporalmente espressive che si allineano con la struttura dei dati EHR longitudinali. Dando priorità ai modelli di sequenza a tempo lineare e agli obiettivi auto-supervisionati, lo studio mostra che lunghe e irregolari traiettorie dei pazienti possono essere modellate senza sacrificare la fattibilità computazionale o la fedeltà clinica.

Il lavoro sottolinea che l'apprendimento di rappresentazioni robuste, supportato da codifiche degli eventi basate su principi e dal forecasting auto-supervisionato, produce spazi latenti che consentono sottotipi di pazienti più coerenti e clinicamente significativi. Gli autori pongono la sottotipizzazione non solo come un esercizio predittivo, ma come un problema fondamentale, guidato dalle rappresentazioni, nella machine learning applicata alla sanità. Essi notano che, sebbene l'implementazione attuale si concentri su letture di laboratorio e parametri vitali, l'architettura è progettata per essere estendibile includendo procedure, diagnosi e altre modalità in lavori futuri.