🤖 machine learning

Improving Patient Subtyping on Longitudinal Data using Representations from Mamba-based Architecture

Dit artikel stelt een zelfgesuperviseerd Mamba-gebaseerd model voor dat effectieve representaties leert van onregelmatige longitudinale elektronische gezondheidsgegevens om patiëntsubtypering en uitkomsten in precisiegeneeskunde aanzienlijk te verbeteren in vergelijking met bestaande baseline-modellen.

Oorspronkelijke auteurs: Md Mozaharul Mottalib, Rahmatollah Beheshti

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Md Mozaharul Mottalib, Rahmatollah Beheshti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Patiënten Sorteren als een Bibliothecaris

Stel je een ziekenhuis voor als een enorme bibliotheek waar elke patiënt een "boek" heeft met zijn of haar medische geschiedenis. Deze boeken zijn rommelig. Sommige pagina's ontbreken, sommige zijn in verschillende talen geschreven, en de vermeldingen staan willekeurig verspreid over de tijd (zoals een patiënt die op maandag een bloedtest krijgt, drie weken later een röntgenfoto en zes maanden later een controle bij de arts).

Artsen moeten deze patiënten groeperen in "clubs" of subtypen op basis van hoe hun ziekte verloorden. Dit helpt hen om mensen nauwkeuriger te behandelen. Het is echter ongelooflijk moeilijk voor computers om deze rommelige, onregelmatige boeken te sorteren.

Het Probleem: De "Kwadratische" Bottleneck

Het paper legt uit dat eerdere computermodellen (genaamd Transformers) leken op bibliothecarissen die probeerden elke pagina van elk boek met elke andere pagina te vergelijken om overeenkomsten te vinden.

De Analogie: Als je 10 boeken hebt, is het makkelijk om ze allemaal te vergelijken. Maar als je 1.000 boeken hebt, moet de biblicaris een miljoen vergelijkingen maken. Als je 10.000 boeken hebt, moet hij er 100 miljoen maken. Dit wordt kwadratische complexiteit ( $O(L^2)$ ) genoemd.
Het Resultaat: Om te voorkomen dat de computer vastloopt, moesten deze oude modellen lange patiëntgeschiedenissen weggooien of in kleine, rigide stukjes hakken (zoals een lang verhaal dwingen in een samenvatting van slechts 50 woorden). Hierdoor misten ze de subtiele, langetermijnpatronen van hoe een ziekte zich daadwerkelijk ontwikkelt.

De Oplossing: De "Mamba" Trein

De auteurs hebben een nieuw model gebouwd genaamd Triplet-Mamba. In plaats van een biblicaris die elke pagina met elke andere pagina vergelijkt, gebruikten ze een Mamba-architectuur.

De Analogie: Denk aan Mamba als een hogesnelheidstrein die door de geschiedenis van de patiënt rijdt. De trein stopt niet om elke halte met elke andere halte te vergelijken. In plaats daarvan beweegt hij lineair (stap voor stap) en onthoudt hij de belangrijke context terwijl hij doorrijdt. Dit is lineaire complexiteit ( $O(L)$ ).
Waarom het ertoe doet: Het kan de volledige levensgeschiedenis van een patiënt aan (zelfs als die jaren beslaat) zonder dat de computer het geheugen tekortkomt. Het is snel en efficiënt.

Hoe het met Rommelige Data Omgaat: Het "Triplet" Systeem

Echte medische data zijn onregelmatig. Een patiënt kan om 14:00 uur een temperatuurmeting krijgen en de volgende dag om 16:30 uur een bloedtest. Oude modellen dwongen deze data vaak in een net rooster (zoals een spreadsheet), waardoor de exacte timing verloren ging.

Triplet-Mamba behandelt elk stukje data als een Triplet:

Tijd: Wanneer het gebeurde.
Kenmerk: Wat het was (bijv. "Bloeddruk").
Waarde: Hoeveel (bijv. "120").

De Analogie: In plaats van een rommelig dagboek in een kalender te dwingen, leest het model het dagboek precies zoals het geschreven is: "Op dinsdag voelde ik me duizelig (Tijd: dinsdag, Kenmerk: Duizeligheid, Waarde: Hoog)." Dit bewaart de exacte, rommelige realiteit van het leven van de patiënt.

De Training: Leren Zonder Leraar

Het paper beschrijft een Self-Supervised (zelfsturende) aanpak.

De Analogie: Stel je voor dat je een student leert een verhaal te begrijpen door hem een boek te laten lezen waarvan de laatste pagina ontbreekt, en hem vervolgens te vragen te raden wat er daarna gebeurt. Ze worden niet door een leraar verteld wat het antwoord is; ze leren de structuur van het verhaal door te proberen de toekomst te voorspellen.
In het paper: Het model kijkt naar de eerdere gegevens van een patiënt en probeert de toekomstige laboratoriumuitslagen te voorspellen. Door dit miljoenen keren te doen, leert het een diepe, interne kaart van hoe ziekten verlopen. Het leert de "vorm" van de ziekte, in plaats van alleen labels te onthouden.

De Resultaten: Betere Groepering

De onderzoekers testten dit nieuwe model op echte wereldgegevens (inclusief IC-patiënten en kinderen met problemen bij gewichtsbeheersing) en vergeleken het met de beste bestaande modellen (zoals STraTS en DuETT).

Betere "Clubs": Wanneer ze de interne kaart van het model gebruikten om patiënten te groeperen, waren de groepen veel compacter en duidelijker.
- De Metriek: Ze gebruikten een score genaamd de Silhouette Score. Zie dit als een "kwaliteitsscore voor groepering". Triplet-Mamba behaalde de hoogste scores, wat betekent dat de patiënten in elke groep zeer vergelijkbaar waren met elkaar en zeer verschillend waren van patiënten in andere groepen.
Betere Voorspellingen: Het model was ook iets beter in het voorspellen van uitkomsten (zoals mortaliteit of gewichtsverlies) dan de concurrentie.
Stabiliteit: De groepen die het model vond, waren stabiel. Als je het model iets andere gegevens gaf, vond het nog steeds dezelfde groepen. Dit suggereert dat de groepen echte patronen zijn en geen willekeurige ruis.

De Kernboodschap

Het paper beweert dat door over te stappen van "kwadratische" modellen (die traag en rommelig worden bij lange data) naar "lineaire" Mamba-modellen, en door data te behandelen als flexibele triplets in plaats van rigide roosters, zij een systeem hebben gecreëerd dat de lange, rommelige medische geschiedenissen van patiënten veel beter begrijpt. Dit leidt tot nauwkeurigere manieren om patiënten te groeperen, wat de eerste stap is naar gepersonaliseerde geneeskunde.

Wat het paper NIET beweert:

Het beweert niet dat dit momenteel in ziekenhuizen wordt gebruikt om patiënten te behandelen.
Het beweert niet dat het model medische teksten (zoals artsennotities) kan lezen of naar röntgenfoto's kan kijken (het richt zich momenteel op getallen en tijdstempels).
Het belooft niet dat dit ziekten zal genezen, maar alleen dat het de groeperings- en voorspellingsinstrumenten die onderzoekers gebruiken, verbetert.

Technische Samenvatting: Verbeteren van patiëntensubtypering op longitudinale data met representaties van een Mamba-gebaseerde architectuur

Probleemdefinitie
Effectieve patiëntensubtypering—het groeperen van patiënten met gedeelde ziekteprogressiepaden—is cruciaal voor precisiegeneeskunde, maar blijft uitdagend vanwege de inherente aard van Electronic Health Record (EHR) data. Klinische dossiers worden gekenmerkt door ontbrekende gegevens, extreme schaarste en onregelmatige bemonsteringsintervallen. Hoewel Transformer-gebaseerde modellen succes hebben getoond in klinische voorspelling, creëert hun kwadratische computationele complexiteit ( $O(L^2)$ ) een bottleneck bij het verwerken van lange patiëntgeschiedenissen. Deze beperking dwingt onderzoekers om waardevolle data te inkorten of computationeel prohibitieve discretisatiemethoden (bijv. binning) te hanteren, wat subtiele overgangen in de toestand van een patiënt kan maskeren die essentieel zijn voor het identificeren van robuuste klinische fenotypes.

Methodologie: Triplet-Mamba
Om deze uitdagingen aan te pakken, stellen de auteurs Triplet-Mamba voor, een zelfgesuperviseerde architectuur ontworpen voor longitudinale representatieleer. Het model maakt de overstap van traditionele Transformer-backbones naar een Mamba-gebaseerde architectuur die gebruikmaakt van een selectief State Space Model (SSM). Deze verschuiving maakt een lineaire tijdscomplexiteit ( $O(L)$ ) mogelijk, waardoor het model uitgebreide patiënttrajecten kan verwerken zonder de geheugenbeperkingen te overschrijden.

De kerncomponenten van de methodologie zijn:

Triplet Input Representatie: In tegenstelling tot eerdere methoden die de tijd discretiseren, gaat Triplet-Mamba op een natuurlijke wijze om met onregelmatige bemonstering. Het embedt elke observatie als een triplet $(t, f, v)$ , waarbij $t$ tijd, $f$ kenmerk en $v$ waarde vertegenwoordigt. Deze worden naar een latente ruimte gemapt met behulp van een Initial Triplet Embedding module, die geleerde embeddings voor de variabele, de continue waarde en de continue tijd combineert via Feed Forward Networks (FFNs).
Contextuele Codering (Mamba Blocks): De initiële embeddings gaan door een Contextual Triplet Embedding module bestaande uit gestapelde Mamba-blocks. Deze blokken maken gebruik van RMS-normalisatie, lineaire projecties en de SSM om relevante informatie te filteren, wat fungeert als een efficiënt continu-tijdfilter dat geschikt is voor niet-uniforme bemonsteringsfrequenties.
Fusion Self-Attention: Een Fusion Self-attention module aggregeert de contextuele embeddings van de Mamba-blocks om een tijdreeksrepresentatie met een vaste lengte te genereren. Deze wordt geconcateneerd met statische demografische embeddings om de uiteindelijke patiëntrepresentatie te vormen.
Trainingsstrategie: Het model hanteert een tweefasige trainingsaanpak:
- Zelfgesuperviseerde Pre-training: Het model leert representaties via een voorspellingsdoelstelling op een grotere dataset, waarbij gemaskeerde toekomstige waarden worden voorspeld met een gemaskeerde Mean Squared Error (MSE) loss. Dit stelt het model in staat om gestructureerde latente ruimtes te leren die echte ziekteprogressie vastleggen zonder uitsluitend te vertrouwen op taakspecifieke labels.
- Fine-tuning: De geleerde representaties worden aangepast voor downstream-taken (binaire classificatie of subtypering) met behulp van een dense laag met sigmoid-activatie en cross-entropy loss.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

Nieuwe Architectuur: De introductie van Triplet-Mamba, die gebruikmaakt van de efficiëntie van Mamba om langetermijn-gezondheidsdynamiek te vangen die de contextlimieten van Transformer-modellen overschrijdt.
Gespecialiseerde Input Representatie: Het ontwerp van een embedding-schema dat fijnmazige temporele informatie behoudt door direct continue tijdstempels en gemeten waarden te embedden, waardoor het informatieverlies door discretisatie wordt vermeden.
Subtyperingspipeline: Een volledige pipeline die zelfgesuperviseerde forecasting gebruikt om patiënt-tijdreeksrepresentaties te leren, die vervolgens worden gecategoriseerd in betekenisvolle subtypes met behulp van standaard clusteringtechnieken (K-means, Spectral Clustering, GMM).

Experimentele Resultaten
De auteurs evalueerden Triplet-Mamba op drie datasets: de publieke PhysioNet 2012 (mortaliteitsvoorspelling), MIMIC-IV (mortaliteitsvoorspelling) en een private Pediatric Weight Management dataset.

Voorspellende Prestaties: Triplet-Mamba behaalde state-of-the-art of concurrerende resultaten in binaire classificatietaken. Het presteerde beter dan de baselines (STraTS, EHR-Mamba, DuETT) op MIMIC-IV en de Pediatric dataset, met een toename van 1,7% in AUROC op MIMIC-IV en een toename van 2,8% op de Pediatric gewichtsverlies-taak. Op PhysioNet 2012 presteerde het vergelijkbaar met de beste baseline (DuETT).
Kwaliteit van Subtypering: In ongesuperviseerde clusteringtaken leverden de door Triplet-Mamba geleerde representaties consistent hogere Silhouette-scores op over alle datasets en clusteringmethoden vergeleken met de baselines. Voor de Pediatric dataset, waar de grondwaarheid werd gedefinieerd door obesitasklassen, behaalde Triplet-Mamba de hoogste Adjusted Rand Index (ARI), wat wijst op een superieure afstemming met klinische classificaties.
Stabiliteit: Een bootstrap-stabiliteitsanalyse toonde aan dat de door Triplet-Mamba ontdekte subtypes zeer consistent waren (gemiddelde Jaccard-index van 0,814), wat aanzienlijk beter presteerde dan de baselines en de drempel voor stabiele klinische fenotypering overschreed.
Ablatie-studies: Het verwijderen van de triplet embedding, de fusion attention layer, of de zelfgesuperviseerde pre-training fase resulteerde in consistente prestatieverminderingen, wat bevestigt dat de synergie tussen deze componenten essentieel is voor het succes van het model.

Betekenis en Claims
De auteurs beweren dat Triplet-Mamba aantoont dat effectieve patiëntensubtypering rust op het leren van schaalbare, temporeel expressieve representaties die aansluiten bij de structuur van longitudinale EHR-data. Door prioriteit te geven aan lineaire tijdsreeksmodellen en zelfgesuperviseerde doelstellingen, laat de studie zien dat lange, onregelmatige patiënttrajecten gemodelleerd kunnen worden zonder dat dit ten koste gaat van computationele haalbaarheid of klinische getrouwheid.

Het werk benadrukt dat robuust representatieleer, ondersteund door principiële event-niveau encodings en zelfgesuperviseerde forecasting, latente ruimtes oplevert die coherente en klinisch betekenisvolle patiëntsubtypes mogelijk maken. De auteurs positioneren subtypering niet louter als een voorspellende oefening, maar als een fundamenteel, representatiegestuurd probleem in healthcare machine learning. Zij merken op dat hoewel de huidige implementatie zich richt op laboratoriumwaarden en vitale functies, de architectuur ontworpen is om in toekomstig werk uitgebreid te worden met procedures, diagnoses en andere modaliteiten.