Technische Samenvatting: MorphologyFM

Probleemstelling

Hoewel foundation models de representatieleer in natuurlijke taal en computer vision hebben gerevolutioneerd, is hun toepassing op fysiologische waveforms (specifiek elektrocardiogrammen [ECG] en pulsoximetrie [SpO2]) beperkt gebleven door de keuze van zelfgesuperviseerde doelstellingen. Bestaande benaderingen optimaliseren primair voor signaalreconstructie (bijv. Masked Autoencoders) of voorspelling (forecasting). Deze doelstellingen vangen lokale temporele continuïteit succesvol op, maar falen erin om klinisch betekenisvolle waveform-morfologie expliciet te behouden.

De auteurs stellen dat de diagnostische waarde van fysiologische signalen niet ligt in individuele amplitude-waarden, maar in structurele kenmerken zoals piekamplitude, intervalduur, helling, kantelpunten en beat-to-beat variabiliteit. Huidige methoden kunnen een signaal met hoge getrouwheid reconstrueren, terwijl ze er toch niet in slagen subtiele morfologische patronen te onderscheiden die cruciaal zijn voor het diagnosticeren van aritmieën, hypoxemie of respiratoire compromittering. Er is behoefte aan een foundation model dat waveform-morfologie als de primaire inductieve bias gebruikt om leerbare representaties te verkrijgen zonder dat handmatige annotaties vereist zijn.

Methodologie: MorphologyFM

MorphologyFM is een multimodale foundation model dat is voorgetraind op gepaarde ECG- en SpO2-waveforms uit de MIMIC critical care database. Het maakt gebruik van een zelfgesuperviseerd leerkader dat is ontworpen om latente representaties te leren die invariant zijn voor ruis, maar gevoelig voor morfologische veranderingen.

1. Architectuur

• Tokenisatie: Het model gebruikt twee modaliteit-specifieke 1D-convolutionele tokenizers om ruwe ECG ($x_{ecg}$) en SpO2 ($x_{spo2}$) segmenten om te zetten in patch embeddings. Dit stelt elke modaliteit in staat om specifieke laag-niveau kenmerken te leren (bijv. de scherpe depolarisatie in ECG versus de vloeiende vasculaire propagatie in SpO2).
• Encoder: De token-sequenties worden geconcateneerd met modaliteit- en positie-embeddings en verwerkt door een gedeelde Transformer-encoder met multi-head self-attention. Dit stelt het model in staat om gezamenlijk te redeneren over elektrische cardiale activiteit en perifere vasculaire responsen.
• Decoder: Een decoder reconstrueert gemaskeerde regio's van de input-waveform.

2. Kerncomponenten

De trainingsdoelstelling combineert drie afzonderlijke componenten:

• Morfologie-bewuste Maskering: In tegenstelling tot standaard willekeurige maskering, identificeert deze strategie hartcycli (via R-pieken in ECG en puls-pieken in SpO2) en maskeert volledige morfologische componenten (bijv. P-golven, QRS-complexen, ST-segmenten, systolische opstijgingen). Dit dwingt het model om hogere-orde fysiologische relaties af te leiden in plaats van te vertrouwen op lokale interpolatie.
• Cross-modale Representatieleer: Het model brengt de latente representaties van gesynchroniseerde ECG- en SpO2-vensters in overeenstemming. Een projectiekop brengt modaliteit-specifieke gepoolde representaties naar een gedeelde ruimte, waarbij gesynchroniseerde paren als positieve voorbeelden worden behandeld en niet-gerelateerde patiënten als negatieve voorbeelden. Dit stimuleert het leren van gedeelde cardiovasculaire staten terwijl de modaliteit-specifieke morfologie behouden blijft.
• Contrastieve Morfologie-doelstelling: Een InfoNCE-loss wordt toegepast op embeddings afgeleid van twee onafhankelijke morfologie-behoudende augmentaties van dezelfde waveform. Dit organiseert de latente ruimte expliciet zodat morfologisch gelijkaardige signalen bij elkaar clusteren.

3. Trainingsdoelstelling

De totale verliesfunctie is een gewogen som van drie termen:
$$L = \lambda_{rec}L_{rec} + \lambda_{con}L_{con} + \lambda_{align}L_{align}$$
Waarbij $L_{rec}$ de reconstructiefout is over gemaskeerde regio's, $L_{con}$ de contrastieve loss is, en $L_{align}$ de cross-modale alignment loss is. Cruciaal is dat dit proces geen diagnostische labels vereist.

Belangrijkste Bijdragen

1. Morfologie-centrische Pretraining: Het artikel introduceert een zelfgesuperviseerd leerkader waarbij waveform-morfologie, in plaats van ruwe signaalreconstructie, dient als de primaire leerdoelstelling.
2. Morfologie-bewuste Maskeringsstrategie: Een innovatieve maskeringstechniek die zich richt op klinisch relevante structurele componenten (bijv. QRS-complexen) in plaats van willekeurige tijdstappen, waardoor het model wordt gedwongen de fysiologische structuur te leren.
3. Multimodaal Foundation Model: De demonstratie dat het gezamenlijk modelleren van ECG + SpO2 meer overdraagbare representaties oplevert dan single-modality pretraining, door gebruik te maken van de complementaire aard van elektrische en hemodynamische signalen.
4. Uitgebreide Evaluatie: Het model wordt geëvalueerd over vier diverse downstream taken: aritmie-classificatie, hypoxemie-voorspelling, mortaliteitsvoorspelling en de inschatting van de verblijfsduur (length-of-stay).

Resultaten

MorphologyFM werd geëvalueerd op de MIMIC-database en vergeleken met representatieve zelfgesuperviseerde baselines: Masked Autoencoders (MAE), Contrastive Learning (SimCLR-stijl), Barlow Twins en Joint Embedding Predictive Architectures (JEPA).

• Downstream Prestaties: MorphologyFM behaalde de hoogste prestaties over alle taken.
  • Aritmie (F1): 89,7% (tegenover 86,8% voor JEPA).
  • Hypoxemie (AUROC): 92,5% (tegenover 89,3% voor JEPA).
  • Mortaliteit (AUROC): 90,4% (tegenover 87,2% voor JEPA).
  • Verblijfsduur (AUROC): 85,8% (tegenover 82,7% voor JEPA).
  • Gemiddelde Score: 89,6, waarmee het de eerstvolgende beste methode (JEPA) met 3,1 punten verslaat.
• Multimodaal Voordeel: Gezamenlijke pretraining op ECG + SpO2 leverde een gemiddelde AUROC op van 89,6, wat significant beter is dan ECG-alleen (87,4) en SpO2-alleen (85,8) modellen.
• Ablatie-studies:
  • Het vervangen van willekeurige maskering door morfologie-bewuste maskering verbeterde de gemiddelde AUROC van 87,9 naar 89,6.
  • De volledige doelstelling (Reconstructie + Contrastief + Alignment) presteerde beter dan elke geablateerde versie, wat de complementaire waarde van alle componenten bevestigt.
• Schaalbaarheid: De prestaties verbeterden consistent naarmate de omvang van de pretraining-corpus toenam van 100k naar 10M waveform-segmenten, waarbij de grootste winsten werden waargenomen tussen 100k en 1M segmenten.
• Kwaliteit van Representatie: In taken voor het ophalen van de dichtstbijzijnde buur (nearest-neighbor patient retrieval) behaalde MorphologyFM een Recall@10 van 95,1%, waarmee het alle baselines overtrof, wat wijst op een superieure preservatie van klinisch betekenisvolle gelijkenis.

Betekenis en Claims

Het artikel claimt dat waveform-morfologie een krachtige inductieve bias vormt voor zelfgesuperviseerd leren van fysiologische representaties. De auteurs stellen dat:

1. Reconstructiefidelity $\neq$ Representatiekwaliteit: Hoge getrouwheid in signaalreconstructie garandeert niet dat een model de structurele kenmerken heeft geleerd die clinici gebruiken voor diagnose. Expliciete modellering van morfologie overbrugt deze kloof.
2. Universele Fysiologische Representatie: Morfologie biedt een universele invariant over patiënten, apparaten en klinische settings heen, wat het een superieur doel maakt voor foundation models vergeleken met generieke tijdreeksreconstructie.
3. Schaalbaarheid zonder Labels: De aanpak maakt gebruik van de miljoenen uren aan ongelabelde waveforms die in de dagelijkse klinische zorg worden gegenereerd, wat een praktisch pad biedt naar foundation models zonder de bottleneck van handmatige annotatie.

De auteurs positioneren MorphologyFM als een stap richting algemene fysiologische foundation models die in staat zijn om robuuste representaties direct uit ruwe continue signalen te leren, waarmee het paradigma verschuift van het behandelen van biomedische signalen als generieke tijdreeksen naar het behandelen van ze als morfologie-rijke klinische data.

Erkende Beperkingen:

• Experimenten zijn momenteel beperkt tot ECG en SpO2 uit een enkele dataset (MIMIC).
• Het model incorporeert nog geen andere cruciale modaliteiten zoals arteriële bloeddruk, capnografie of EEG.
• Toekomstig werk is nodig om de robuustheid over externe zorgsystemen en apparaten te valideren.