HealthFormer: Dual-level time-aware Transformers for irregular electronic health record events

Het paper introduceert HealthFormer, een dual-level Transformer-model dat onregelmatige elektronische patiëntendata verwerkt door zowel intra-gebeurtenis codecompositie als tijdsafhankelijkheden te modelleren via zelftoezichtende pretraining, wat resulteert in superieure prestaties bij het voorspellen van incidentele kanker ten opzichte van bestaande methoden.

De kern

Stel je voor dat het medische dossier van een patiënt niet als een lange, saaie lijst van cijfers en codes wordt geschreven, maar als een verhaal. Een verhaal met hoofdstukken, personages, en een tijdslijn die soms snel gaat en soms jaren stil staat.

Deze paper introduceert HealthFormer, een slimme computer die dit verhaal kan lezen, begrijpen en zelfs voorspellen wat er misschien gaat gebeuren. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: Een rommelige bibliotheek

Stel je voor dat je een enorme bibliotheek binnenloopt (het ziekenhuisdossier). De boeken liggen door elkaar:

• Soms staat er een heel dik boek (een ziekenhuisopname) met honderden pagina's.
• Soms is het een klein briefje (een bezoekje aan de huisarts).
• Soms ligt er een briefje van een jaar geleden, en dan weer eentje van gisteren.
• En op één pagina staan soms tien verschillende dingen tegelijk: een diagnose, een medicijn, een operatie en een adres van het ziekenhuis.

Oude computersystemen zagen dit vaak als een grote, ongeordende hoop losse woorden (een "zak vol woorden"). Ze wisten niet dat die woorden op één pagina bij elkaar hoorden, en ze keken niet goed naar de tijd die tussen de bezoeken zat.

2. De Oplossing: HealthFormer, de slimme bibliothecaris

HealthFormer is een nieuw soort "bibliothecaris" (een AI-model) die twee dingen heel goed doet:

A. Hij leest per hoofdstuk (De "Intra-Event" Encoder)
Wanneer de bibliothecaris een bezoekje aan de huisarts ziet, kijkt hij niet alleen naar de losse woorden. Hij begrijpt dat de diagnose "hoofdpijn", het medicijn "paracetamol" en het ziekenhuis "Ziekenhuis X" samen één verhaal vormen. Hij vat deze losse stukjes samen tot één duidelijk idee: "Dit was een bezoekje aan de huisarts voor hoofdpijn."

B. Hij ziet de tijd (De "Inter-Event" Encoder)
Vervolgens kijkt hij naar de hele levensloop van de patiënt. Hij weet dat er een groot verschil is tussen twee bezoeken die een week uit elkaar liggen, en twee bezoeken die vijf jaar uit elkaar liggen.

• De analogie: Stel je voor dat je een film kijkt. Als je de scènes in de verkeerde volgorde ziet, snap je het verhaal niet. HealthFormer gebruikt een speciale "tijdsbril" (een techniek genaamd ALiBI) die hem precies laat zien hoe lang het geleden is sinds de vorige scène. Hij begrijpt dat een gebeurtenis van 10 jaar geleden minder invloed heeft op de huidige situatie dan eentje van gisteren, maar dat hij die oude gebeurtenis toch niet mag vergeten.

3. De Oefening: Hoe leert hij dit?

Voordat HealthFormer echt gaat helpen met diagnose, moet hij eerst oefenen. De auteurs hebben hem laten oefenen met miljoenen anonieme dossiers uit Hongarije (over 10 jaar tijd!). Ze gaven hem vier taken:

1. Het invuloefening: "Ik heb een woord uit een medisch verslag weggehaald. Kun jij raden welk woord het was?" (Dit leert hem wat woorden betekenen).
2. Het type-raden: "Ik heb een heel hoofdstuk weggehaald. Kun jij raden wat voor soort bezoek dit was?" (Bijv. was het een operatie of een medicijnafgifte?).
3. De toekomstvoorspelling: "Wat gebeurt er waarschijnlijk als volgende?" (Bijv. als iemand een maagzweer heeft, komt er dan een operatie?).
4. Het tijds-raden: "Hoe lang duurde het voordat de volgende gebeurtenis plaatsvond?"

Door deze oefeningen te doen, leert de computer de structuur van ziektes en behandelingen. Hij leert bijvoorbeeld dat bepaalde diagnoses vaak samen voorkomen, net zoals je weet dat "regen" en "paraplu" vaak samen gaan.

4. Het Resultaat: Voorspellen van Kanker

Om te testen of het echt werkt, hebben ze HealthFormer getest op het voorspellen van twee soorten kanker: darmkanker en prostaatkanker. Ze gaven hem de medische geschiedenis van een patiënt en vroegen: "Krijgt deze persoon binnen 30, 60 of 90 dagen kanker?"

• De oude manier (Logistieke regressie): Dit is als een simpele teller. Hij telt hoeveel medicijnen iemand heeft gebruikt en hoe oud ze zijn. Dit werkt okay, maar mist de diepte.
• HealthFormer: Deze AI zag de patronen. Hij zag niet alleen dat iemand medicijn X nam, maar hoe dat samenhangt met eerdere bezoeken en hoe lang het geleden was.

De uitslag: HealthFormer deed het veel beter dan de simpele teller.

• Voor prostaatkanker had hij een voorspellingsvermogen van 94% (op 30 dagen).
• Voor darmkanker was het 81%.
  Dit betekent dat hij veel eerder en nauwkeuriger kan waarschuwen dan de huidige standaardmethodes.

Waarom is dit belangrijk?

1. Hij is flexibel: Je hoeft geen nieuwe computer te bouwen voor elke ziekte. Je kunt dezelfde "bibliothecaris" gebruiken om kanker te voorspellen, en daarna gewoon een klein beetje "finetunen" om hartproblemen te voorspellen.
2. Hij begrijpt de context: Hij ziet niet alleen losse feiten, maar het hele verhaal van de patiënt.
3. Hij is transparant: Omdat hij werkt met duidelijke "hoofdstukken" (bezoeken), kunnen artsen later terugkijken en zien: "Ah, de AI vond dit belangrijk omdat de patiënt 3 jaar geleden dit specifieke bezoek had."

Kortom: HealthFormer is als een super-intelligente arts-assistent die duizenden medische dossiers heeft gelezen, de tijdlijn perfect begrijpt, en nu kan helpen om ziektes eerder te zien aankomen, zodat we beter kunnen behandelen.

Technische samenvatting

Probleemstelling

Lange-termijn elektronische gezondheidsdossiers (EHR) bestaan uit onregelmatige tijdreeksen van klinische gebeurtenissen die afkomstig zijn uit diverse zorgsettings (bijv. huisarts, polikliniek, ziekenhuisopname) en verschillende coderingssystemen (zoals ICD-10 voor diagnoses, hPCS voor procedures en ATC voor medicatie). Bestaande methoden voor het modelleren van deze data ondervinden twee hoofdproblemen:

1. Verlies van structuur: Het "platmaken" van complexe zorgmomenten (encounters) naar een enkele token of een ongeordende zak met codes verwijdert de interne samenhang tussen codes die tegelijkertijd optreden.
2. Onvoldoende tijdsmodelleren: Veel modellen gebruiken ruwe tijdsintervallen of gebuckette tijd, waardoor de klinisch relevante informatie in de onregelmatige tijdsintervallen (van dagen tot jaren) tussen gebeurtenissen niet optimaal wordt benut.

Het doel is een pre-training framework te ontwikkelen dat de structuur van gebeurtenissen behoudt, expliciet gebruikmaakt van verstreken tijd, en toch eenvoudig te fine-tunen is voor nieuwe voorspellende taken zonder specifieke feature-engineering.

Methodologie: HealthFormer

HealthFormer is een dual-level Transformer-architectuur die specifiek is ontworpen voor gebeurtenisgerichte EHR-modellering. De architectuur splitst het proces op in twee niveaus:

1. Data Representatie en Tokenisatie

• Gebeurtenis-taxonomie: Patiëntgeschiedenissen worden omgezet in een geordende reeks van "getypeerde gebeurtenissen" (bijv. Huisartsbezoek, Opname, Medicatieafgifte). Elke gebeurtenis bevat domeinspecifieke codes en metadata.
• Hiërarchische tokenisatie: Voor hiërarchische codes (zoals ICD-10 en ATC) wordt een "hierarchical expansion" toegepast. Een code wordt opgesplitst in zijn voorouderpad (tot op een bepaalde diepte), waarbij elke knoop een embedding krijgt die de som is van een knoop-embedding en een diepte-embedding. Dit zorgt voor statistische deling tussen gerelateerde codes.

2. Architectuur

• Intra-Event Encoder (Binnen-gebeurtenis):
  • Deze laag verwerkt de heterogene tokens binnen één enkele gebeurtenis.
  • Het gebruikt domeinspecifieke embedding-modules die worden geprojecteerd naar een gedeelde vectorruimte.
  • Via attention pooling (waarbij de query afkomstig is van de gebeurtenistype-embedding) worden de tokens binnen de gebeurtenis geaggregeerd tot één enkele gebeurtenis-embedding. Dit behoudt de samenhang tussen codes die in hetzelfde bezoek voorkomen.
• Inter-Event Encoder (Tussen-gebeurtenis):
  • Deze laag modelleert de longitudinale trajecten van de patiënt als een reeks gebeurtenis-embeddings.
  • Tijdintegratie:
    • Een Date Encoder voegt absolute tijdsinformatie (via Time2Vec) toe aan elke gebeurtenis.
    • Een Continuous-time Attention Bias (gebaseerd op ALiBI) wordt toegepast op de attention-mechanismen. In plaats van op token-posities, wordt de bias gebaseerd op de logaritme van de verstreken tijd ($\Delta t$) tussen gebeurtenissen. Dit zorgt voor stabiele, schaalbare tijdsgevoeligheid zonder ruwe buckets.

3. Self-Supervised Pre-training

Het model wordt vooraf getraind op een groot nationaal administratief dataset (Hongarije, ~10 miljoen patiënten, 10 jaar) met vier multi-task doelen:

1. Code-level MLM: Voorspellen van gemaskerde tokens binnen een gebeurtenis (per domein).
2. Event-level MLM: Voorspellen van het type gebeurtenis wanneer een hele gebeurtenis is gemaskerd.
3. Next-event prediction: Voorspellen van het type en de codes van de volgende gebeurtenis (causaal masker).
4. Time-to-next-event ($\Delta t$) regressie: Voorspellen van de tijd in dagen tot de volgende gebeurtenis.

Belangrijkste Bijdragen

1. Gebeurtenisgerichte representatie: Een unificatie van heterogene administratieve data in een geordende reeks van getypeerde gebeurtenissen, waarbij de interne structuur van zorgmomenten behouden blijft.
2. Dual-level, tijdbewuste architectuur: Een scheiding tussen het coderen van de samenstelling van een gebeurtenis en het modelleren van de lange-termijn trajecten, met directe injectie van continue tijd via ALiBI.
3. Multi-task self-supervision: Een trainingsstrategie die zowel code-niveau, gebeurtenis-niveau als tijds-niveau signalen combineert om robuuste representaties te leren.
4. Empirische validatie: Analyse van de geometrie van de geleerde embeddings en prestaties op incidentele kankerpredictie.

Resultaten

De prestaties zijn geëvalueerd op de voorspelling van incidentele colorectale kanker (CRC) en prostaatkanker op 30, 60 en 90 dagen horizon.

• Embedding-analyse: De visualisatie (t-SNE) van de geleerde ICD-10 embeddings toont een duidelijke hiërarchische organisatie. Codes die klinisch verwant zijn, clusteren samen, wat aantoont dat het model de semantische structuur van de diagnoses heeft geleerd zonder expliciete hiërarchie-instructies tijdens de fine-tuning.
• Voorspellende prestaties (AUC):
  • HealthFormer (met end-to-end fine-tuning) overtreft aanzienlijk de logistieke regressie-baselines (inclusief "time-decay bag-of-codes").
  • Colorectale Kanker (CRC): AUC van 0.81 (30 dagen), 0.75 (60 dagen) en 0.73 (90 dagen).
  • Prostaatkanker: AUC van 0.94 (30 dagen), 0.87 (60 dagen) en 0.84 (90 dagen).
  • De verbetering ten opzichte van de beste baseline (time-decay bag-of-codes) bedraagt ongeveer 0.13 AUC voor CRC en 0.09-0.11 voor prostaatkanker.
• Transferability: Het model kan worden toegepast op verschillende downstream-taken zonder de architectuur te wijzigen, wat de efficiëntie van de adoptie vergroot.

Betekenis en Conclusie

HealthFormer biedt een krachtig kader voor het omgaan met de complexiteit van real-world gezondheidsdata. De belangrijkste implicaties zijn:

• Klinische interpretatie: De geleerde embeddings zijn niet alleen bruikbaar voor voorspelling, maar vertonen ook een structuur die overeenkomt met medische kennis (ICD-hiërarchie), wat klinische inspectie en interpretatie mogelijk maakt.
• Efficiëntie: Het elimineert de noodzaak voor taak-specifieke feature-engineering of architectuur-ontwerp voor nieuwe voorspellende doelen.
• Tijdsbewustzijn: Door continue tijd expliciet te modelleren in plaats van te bucketten, kan het model langere en onregelmatige patiëntgeschiedenissen effectiever analyseren.

De auteurs merken op dat verdere benchmarking op meer endpoints en validatie op externe datasets nodig is, maar dat de huidige resultaten een sterke basis vormen voor het gebruik van self-supervised learning in administratieve gezondheidsdata.