DT-BEHRT: Disease Trajectory-aware Transformer for Interpretable Patient Representation Learning

Deze studie introduceert DT-BEHRT, een interpreteerbare transformer-architectuur die ziekteverloop bewust modelleert door diagnosegerichte interacties binnen orgaansystemen en asynchrone progressiepatronen te integreren, wat leidt tot robuuste en klinisch relevante patiëntrepresentaties op basis van elektronische gezondheidsdossiers.

De kern

Stel je voor dat een medisch dossier (een EHR) niet zomaar een lange, saaie lijst van codes is, maar eerder een verhaal dat een patiënt door het leven schrijft. Elke ziekenhuisbezoek is een hoofdstuk, en elke diagnose, medicijn of labtest is een zin in dat verhaal.

Het probleem met de oude manieren om deze verhalen te lezen met computers? Ze behandelden elke zin alsof hij even belangrijk was. Of ze keken alleen naar de volgorde van de woorden, terwijl artsen weten dat de volgorde soms willekeurig is (want de computer schrijft alles pas in op het einde van de dag), en dat sommige woorden (zoals een hartziekte) veel meer invloed hebben op de rest van het verhaal dan andere (zoals een simpele bloedtest).

De auteurs van dit paper hebben een nieuwe, slimme computerhulp bedacht: DT-BEHRT. Laten we uitleggen hoe dit werkt met een paar creatieve vergelijkingen.

1. De "Dokter in de Hoek" vs. De "Lijstjesmaker"

Stel je voor dat je een detective bent die een dossier onderzoekt.

• Oude methoden waren als een robot die elke regel in het dossier even hard leest en probeert patronen te vinden in de volgorde. Ze zagen niet dat een diagnose als "diabetes" een heel ander soort kracht heeft dan een "operatie".
• DT-BEHRT is als een ervaren detective die twee dingen doet:
  1. Hij weet dat diagnoses de "hoofdpersonages" van het verhaal zijn. Ze bepalen hoe het verhaal verder gaat.
  2. Hij weet dat behandelingen (medicijnen, operaties) de "acties" zijn die volgen op die personages.

Deze nieuwe tool maakt een onderscheid tussen de hoofdrolspelers (de ziektes) en de bijrollen (de behandelingen).

2. De Twee Superkrachten van DT-BEHRT

Deze computerhulp heeft twee speciale brillen om het verhaal te lezen:

Brillen A: De "Organ-Systeem Map" (De Disease Aggregation)

Stel je voor dat je een enorme bibliotheek hebt met duizenden boeken over ziektes.

• De oude computers probeerden elk boek apart te lezen.
• DT-BEHRT heeft een indelingssysteem. Het groepeert alle boeken over "Hart en Vaten" in één stapel, en alle boeken over "Longen" in een andere.
• De analogie: Als een patiënt een longprobleem heeft, kijkt de computer niet alleen naar dat ene symptoom. Hij kijkt naar de hele "Longen-stapel". Ziet hij dat er al andere longboeken in die stapel lagen? Dan begrijpt hij dat dit een groter verhaal is. Dit helpt de computer om te zien hoe ziektes binnen één orgaansysteem met elkaar praten.

Brillen B: De "Tijdmachine" (De Disease Progression)

Soms is het niet genoeg om te weten wat er is; je moet weten hoe het veranderde.

• Stel je voor dat je een film kijkt, maar je mag alleen naar één frame kijken. Dat is wat sommige oude methoden deden.
• DT-BEHRT bouwt een tijdslijn. Het maakt een kaart van hoe de ziektes zich verplaatsen van het ene ziekenhuisbezoek naar het andere.
• De analogie: Het ziet dat iemand eerst een "geschiedenis van hartoperatie" had, en later "verkalking van de slagaders". De computer begrijpt nu: "Ah, dit is een reeks! Het verhaal loopt door." Het maakt een verbinding tussen het verleden en de toekomst, alsof het een treinbaan legt tussen de bezoeken.

3. De "Oefenronde" (Pre-training)

Voordat deze computerhulp echt aan het werk gaat met echte patiënten, moet hij eerst leren. De auteurs hebben een slimme oefenmethode bedacht:

• Het spel "Verdwenen Woord": Ze verstoppen een diagnose in het dossier en vragen de computer: "Wat ontbreekt hier?" Dit dwingt de computer om te leren hoe ziektes met elkaar samenhangen.
• Het spel "De Ouder": Als ze een specifieke ziekte verstoppen (bijv. "Acute longontsteking"), vragen ze de computer ook om de "ouder" te raden (bijv. "Longziektes"). Dit zorgt ervoor dat de computer begrijpt dat ziektes in een hiërarchie zitten, net zoals in een familieboom.

4. Waarom is dit zo geweldig? (De Resultaten)

Wanneer ze deze nieuwe tool testten op echte medische data (zoals van het MIMIC-database), gebeurde er iets moois:

• Betere voorspellingen: De computer kon beter voorspellen of iemand weer terug zou komen naar het ziekenhuis (re-admissie) of hoe lang ze zouden blijven liggen.
• Verstaanbaar voor artsen: Dit is het belangrijkste. Oude AI-modellen waren vaak een "zwarte doos": ze gaven een antwoord, maar je wist niet waarom. DT-BEHRT is als een verhelderende lantaarn.
  • Als de computer zegt: "Deze patiënt loopt risico," kan hij laten zien: "Kijk, hier zie je dat de longproblemen in de loop der tijd erger werden, en hier zie je dat de hartproblemen zich hebben opgebouwd."
  • Dit sluit precies aan bij hoe een menselijke arts denkt: "Ah, de longen en het hart werken samen in dit verhaal."

Samenvatting in één zin

DT-BEHRT is een slimme computerhulp die medische dossiers leest als een verhaal met hoofdpersonages (ziektes) en een tijdslijn, in plaats van als een saaie lijst. Hierdoor maakt hij niet alleen betere voorspellingen, maar kan hij ook uitleggen waarom hij die voorspelling doet, precies zoals een menselijke arts dat zou doen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DT-BEHRT: Disease Trajectory-aware Transformer for Interpretable Patient Representation Learning" in het Nederlands.

Probleemstelling

De groeiende adoptie van elektronische gezondheidsdossiers (EHR) biedt kansen voor voorspellende modellering, maar bestaande methoden hebben te kampen met fundamentele beperkingen bij het verwerken van gestructureerde EHR-data:

1. Heterogeniteit van medische codes: Bestaande sequentiemodellen (zoals BEHRT, Med-BERT) behandelen alle medische codes (diagnoses, medicatie, procedures, labtesten) uniform. Dit negeert echter dat diagnoses een fundamenteel andere rol spelen in de ziektegeschiedenis dan behandelingen. Diagnoses vormen de drijvende kracht van de ziekteprogressie en hebben complexe interacties binnen orgaansystemen, terwijl medicatie en procedures vaak tijdsgebonden behandeltrajecten weerspiegelen met minder interactie binnen één bezoek.
2. Tijdsorde en afhankelijkheden: De volgorde van codes binnen één ziekenhuisbezoek is vaak onbetrouwbaar (afhankelijk van coderingspraktijken in plaats van klinische chronologie). Bestaande grafische modellen vangen vaak intra-bezoek relaties goed op, maar missen de sequentiële afhankelijkheden over meerdere bezoeken heen.
3. Interpreteerbaarheid: Veel modellen fungeren als "black boxes" en sluiten niet aan bij de klinische redeneerprocessen van artsen, die denken in termen van ziekteprogressie en orgaansystemen.

Methodologie: DT-BEHRT

De auteurs stellen DT-BEHRT (Disease Trajectory-aware Transformer) voor, een grafiek-geïntegreerde sequentiemodelarchitectuur die specifiek is ontworpen om ziekte-trajecten te ontwarren. Het model bestaat uit vier hoofdcomponenten:

1. Sequentie Representatie (SR) Module:

   • Verwerkt de input als een reeks van ziekenhuisbezoeken.
   • Voegt code-type embeddings toe (diagnose, medicatie, etc.) en visit-index embeddings om tijdsposities te coderen.
   • Gebruikt een Transformer-architectuur (geïnspireerd op BERT) om de sequentie te verwerken, waarbij geen strikte volgorde binnen een bezoek wordt aangenomen.

2. Ziekte Aggregatie (DA) Module:

   • Benut de hiërarchische structuur van ICD-9-codes (19 hoofdstukken/orgaansystemen).
   • Introduceert speciale "DA-tokens" die de progressie en interacties van ziekten binnen een specifiek orgaansysteem samenvatten over meerdere bezoeken heen.
   • Gebruikt een covariantieregulering om te voorkomen dat deze tokens redundante informatie coderen, waardoor ze gedecorreleerde, hoog-niveau abstracties van orgaansystemen vormen.

3. Ziekte Progressie (DP) Module:

   • Construeert een heterogene grafiek om de tijdsafhankelijke ontwikkeling van ziekten te modelleren.
   • De grafiek bevat virtuele "bezoek-nodes" (DP-nodes) die verbonden zijn met de bijbehorende diagnose-nodes.
   • Gebruikt Graph Attention Networks (GAT) om berichten te laten passeren tussen opeenvolgende bezoeken en binnen een bezoek, waardoor de model de asymmetrische en asynchrone progressiepatronen van ziekten kan vangen.

4. Patient Representatie (PR) Module:

   • Integreert de informatie van de SR, DA en DP modules via een attention-based pooling mechanism.
   • De uiteindelijke patiëntrepresentatie ($h_{[CLS]}$) combineert de globale sequentie-informatie met de specifieke inzichten over orgaansystemen (DA) en tijdsprogressie (DP).

Pre-training Framework:
Om de robuustheid te vergroten en de modules op elkaar af te stemmen, wordt een speciaal pre-training schema gebruikt:

• Global Code Masking Prediction (GCMP): Maskeren van unieke codes over het hele traject (niet per bezoek) om co-occurrence-semantiek en comorbiditeitspatronen te leren.
• Ancestor Code Prediction (ACP): Een auxiliary taak waarbij het model moet voorspellen tot welk ICD-9-hoofdstuk een gemaskerde diagnose behoort. Dit zorgt ervoor dat de SR- en DP-modules ook kennis van de ontologie verwerven, wat de uitlijning tussen de modules verbetert.

Belangrijkste Bijdragen

1. Architectuur: Een nieuw grafiek-geïntegreerd transformer-model dat expliciet onderscheid maakt tussen diagnoses (die ziekteprogressie drijven) en andere code-types, en dit doet door middel van gespecialiseerde modules voor orgaansysteem-aggregatie en tijdsprogressie.
2. Pre-training Strategie: Een innovatieve combinatie van traject-level masking en ontologie-gedreven voorouder-preditie, wat zorgt voor betere semantische uitlijning en robuustere representaties.
3. Interpreteerbaarheid: Het model levert niet alleen voorspellingen, maar biedt ook inzichtelijke patronen die overeenkomen met klinisch redeneren (bijv. welke orgaansystemen relevant zijn en hoe ziekten zich over tijd ontwikkelen).

Resultaten

Het model is getest op drie grote EHR-datasets: MIMIC-III, MIMIC-IV en eICU. De prestaties zijn vergeleken met state-of-the-art modellen (G-BERT, BEHRT, Med-BERT, HEART, etc.) op taken zoals mortaliteit, ziekenhuisopname (readmission) en verblijfsduur (PLOS).

• Algemene Prestaties: DT-BEHRT behaalde consistent de beste resultaten op de meeste taken. De grootste verbeteringen werden gezien bij de readmission-taak (opnameherhaling), wat bekend staat als een complexe taak vanwege de multifactoriële oorzaken.
• Fenotypering: Bij de voorspelling van specifieke ziektefenotypes (phenotyping) behaalde DT-BEHRT de hoogste Macro-AUPRC, vooral bij patiënten met drie of meer bezoeken, wat aantoont dat het model effectief complexe, langdurige ziektepatronen kan vangen.
• Ablatie-studie: De studie bevestigde dat zowel de DA-module (voor orgaansystemen) als de DP-module (voor tijdsprogressie) essentieel zijn voor de prestaties, evenals de nieuwe ACP pre-training taak.
• Subgroepanalyse: Het model bleef robuust presteren over verschillende subgroepen van patiënten (bijv. met diabetes, hartfalen, COPD), wat aangeeft dat het niet overfit op specifieke populaties.

Betekenis en Impact

DT-BEHRT is een significante doorbraak in de klinische AI omdat het de kloof overbrugt tussen pure data-gedreven modellen en klinische realiteit.

• Klinische Relevantie: Door zich te richten op ziekte-trajecten en orgaansystemen, sluit het model aan bij hoe artsen patiënten diagnosticeren en behandelen.
• Transparantie: De attention-mechanismen in de DA- en DP-modules kunnen worden gevisualiseerd om te laten zien welke ziektegroepen en welke tijdsstappen het meest bijdragen aan een voorspelling. Dit verhoogt het vertrouwen in AI-systemen en faciliteert hun integratie in klinische beslissingsondersteuningssystemen (CDSS).
• Toekomstperspectief: Hoewel het model momenteel zich vooral richt op diagnosecodes, legt het de basis voor toekomstige uitbreidingen waarbij medicatie en procedures ook met gespecialiseerde structuren worden gemodelleerd.

Samenvattend biedt DT-BEHRT een krachtige, interpreteerbare en robuuste aanpak voor patiëntrepresentatie die de complexe, heterogene aard van EHR-data beter benut dan eerdere sequentie- of grafiekmodellen.