SignalMC-MED: A Multimodal Benchmark for Evaluating Biosignal Foundation Models on Single-Lead ECG and PPG

Dit paper introduceert SignalMC-MED, een multimodaal benchmark voor het evalueren van biosignaal-fundamentmodellen op gesynchroniseerde ECG- en PPG-gegevens, waarbij wordt vastgesteld dat domeinspecifieke modellen en multimodale fusie superieure prestaties leveren voor diverse klinische taken.

De kern

SignalMC-MED: Een nieuwe meetlat voor hartbewaking

Stel je voor dat je een enorme bibliotheek hebt met duizenden boeken over hoe het menselijk hart werkt. Sommige boeken zijn geschreven door specialisten die alleen over de elektrische signalen van het hart schrijven (ECG), terwijl andere alleen gaan over de bloedstroom in de vingers (PPG). Er zijn ook algemene boeken over "tijdsreeksen" die alles over tijd en data vertellen, maar niet specifiek over het hart.

De auteurs van dit paper hebben een nieuw, enorm testparcours (een benchmark) gebouwd, genaamd SignalMC-MED. Ze willen weten: welke van deze "boeken" (of in dit geval, kunstmatige intelligentie-modellen) zijn het beste in het begrijpen van het hart, en kunnen ze het beste samenwerken?

Hier is wat ze hebben ontdekt, vertaald in simpele taal:

1. De Proef: Een Marathon in plaats van een Sprint

Vroeger keken wetenschappers vaak alleen naar korte flarden van hartdata, alsof ze een marathonloper beoordelen op basis van één stap van 10 seconden.

• Het nieuwe idee: SignalMC-MED kijkt naar 10 minuten aan data.
• De analogie: Het is het verschil tussen iemand beoordelen op basis van één foto versus een hele video van hun hele loop. Door naar de volledige 10 minuten te kijken, zien de modellen veel meer patronen en kunnen ze beter voorspellen wat er met de patiënt aan de hand is.

2. De Deelnemers: Specialisten vs. Alleskenners

Ze hebben verschillende soorten "AI-sporters" tegen elkaar laten strijden:

• De Generalisten: Modellen die alles over tijd en data kunnen, maar niet specifiek voor het hart zijn getraind (zoals MOMENT en Chronos-Bolt).
• De Hart-specialisten: Modellen die alleen op hartdata zijn getraind (zoals ECGFounder en CSFM).
• De Oude Meesters: Mensen die handmatig regels hebben bedacht om het hart te meten (de "domain features").

Het resultaat: De hart-specialisten wonnen het bijna altijd. De generalisten waren slim, maar misten de specifieke kennis van hoe een hart precies werkt. En ja, de oude handmatige regels waren nog steeds erg sterk!

3. De Gouden Combinatie: Twee Oren Beter dan Eén

De meeste modellen keken alleen naar de elektrische signalen (ECG) of alleen naar de bloedstroom (PPG).

• De ontdekking: Als je beide signalen tegelijk gebruikt, wordt de voorspelling veel beter.
• De analogie: Het is alsof je een ziekte probeert te diagnosticeren. Als je alleen luistert naar het hart (ECG), hoor je misschien iets. Maar als je ook naar de ademhaling en de bloedcirculatie kijkt (PPG), krijg je een completer plaatje. De AI kan deze twee bronnen samenvoegen om een veel nauwkeuriger diagnose te stellen.

4. Groter is niet altijd beter

In de wereld van AI denken mensen vaak: "Hoe groter het model, hoe slimmer het is."

• De verrassing: Bij deze specifieke taak hielp het niet om een gigantisch model te gebruiken. Een middelgroot model deed het vaak net zo goed als een enorm zwaar model.
• De les: Het is belangrijker om de juiste data (10 minuten lang, van beide signalen) te hebben, dan om een superzware computer te gebruiken.

5. Waarom is dit belangrijk?

Dit onderzoek is als het leggen van een nieuwe, eerlijke meetlat voor artsen en ingenieurs.

• Het laat zien dat we specialistische AI moeten gebruiken voor medische taken, niet zomaar algemene AI.
• Het bewijst dat we langer moeten kijken (10 minuten) in plaats van kort.
• Het toont aan dat combineren (ECG + PPG) de sleutel is tot betere zorg.

Kortom: De auteurs hebben een nieuwe "sportdag" georganiseerd voor AI-modellen. De winnaars zijn de modellen die specifiek voor het hart zijn getraind, die naar lange stukken data kijken, en die twee verschillende soorten hartmetingen tegelijk gebruiken. Dit helpt ons in de toekomst om sneller en beter ziektes in de spoedeisende hulp te herkennen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SignalMC-MED: A Multimodal Benchmark for Evaluating Biosignal Foundation Models on Single-Lead ECG and PPG" in het Nederlands.

Probleemstelling

Hoewel biosignaal-foundationmodellen (FMs) veelbelovende prestaties hebben laten zien voor diverse klinische voorspellingstaken, ontbreekt er een systematische evaluatie op realistische, langdurige en multimodale data. Bestaande benchmarks en studies focussen zich vaak op:

• Unimodale data: Alleen ECG of alleen PPG.
• Korte signaalsegmenten: Typisch 10 seconden, terwijl artsen in continue monitoringssituaties (zoals de spoedeisende hulp) vaak vertrouwen op langere signalen (minuten tot uren).
• Gebrek aan synchronisatie: Er is geen gestandaardiseerde benchmark voor gesynchroniseerde, langdurige ECG- en PPG-data.

Dit maakt het onduidelijk hoe verschillende soorten biosignaal-FMs presteren op realistische multimodale data uit de spoedeisende hulp, en hoe deze zich verhouden tot algemene tijdreeksmodellen en traditionele, handgemaakte kenmerken.

Methodologie

1. SignalMC-MED Benchmark
De auteurs introduceren SignalMC-MED, een benchmark afgeleid van het MC-MED dataset.

• Data: 22.256 bezoeken aan de spoedeisende hulp met gesynchroniseerde, 10 minuten durende single-lead ECG- en PPG-signaal.
• Opdeling: Chronologische splitsing in train/val/test sets zonder patiënt-overlap om realistische implementatievoorwaarden na te bootsen.
• Taken: 20 klinisch relevante taken, waaronder:
  • Demografie (leeftijdsregressie, geslachtsclassificatie).
  • Verloop van het bezoek (ED-disposition).
  • Laboratoriumwaarden (regressie voor 8 tests zoals kalium, glucose, eGFR).
  • Detectie van eerdere ICD-10-diagnoses (9 categorieën, o.a. atriumfibrilleren, hartfalen).

2. Evaluatie Framework

• Frozen Feature Extractors: Alle modellen worden gebruikt als "bevroren" feature-extractors. Er vindt geen fine-tuning plaats; alleen een lineaire laag (ridge regressie of logistieke regressie) wordt getraind bovenop de geëxtraheerde features. Dit isoleert de kwaliteit van de representaties.
• Verwerking: Het 10-minuten signaal wordt opgedeeld in niet-overlappende 10-seconde segmenten. Features worden per segment geëxtraheerd en vervolgens gemiddeld (mean pooling) om een visit-level representatie te vormen.
• Modi: Modellen worden getest in drie settings: alleen ECG, alleen PPG, en ECG + PPG (via late feature-level fusion).

3. Geëvalueerde Modellen
De studie vergelijkt acht representatieve benaderingen:

• Algemene tijdreeks-FMs: MOMENT en Chronos-Bolt (modality-agnostic).
• Unimodale biosignaal-FMs: D-BETA, ECGFounder, xECG (ECG-specifiek) en PaPaGei (PPG-specifiek).
• Multimodale biosignaal-FM: CSFM (vooraf getraind op zowel ECG als PPG).
• Baseline: Handgemaakte domeinspecifieke kenmerken (geëxtraheerd met NeuroKit2 en pyPPG).

Belangrijkste Resultaten

1. Domeinspecifieke modellen winnen
Domeinspecifieke biosignaal-FMs (zoals CSFM, xECG, ECGFounder) presteren consequent beter dan algemene tijdreeksmodellen (MOMENT, Chronos-Bolt) over alle modaliteiten heen.

• CSFM-base behaalt de beste algehele prestatie en gemiddelde rangschikking.
• xECG (getraind op ECG) presteert verrassend goed zelfs op PPG-only input, wat wijst op transferleerbaarheid van cardiovasculaire dynamiek.
• PaPaGei (PPG-specifiek) presteert slecht, zelfs op PPG-data, waarschijnlijk vanwege een gebrek aan diversiteit in de vooraftrainingsdata (weinig unieke patiënten vergeleken met andere modellen).

2. Multimodale fusie is cruciaal
Het combineren van ECG en PPG levert robuuste verbeteringen op ten opzichte van unimodale inputs.

• Simpele late-fusion (gemiddelde van ECG- en PPG-features) presteert zelfs iets beter dan het ingebouwde fusiemechanisme van CSFM. Dit suggereert dat het behouden van de unimodale structuur en het combineren op feature-niveau flexibeler is.

3. Signaallengte > Modelgrootte

• Het gebruik van het volledige 10-minuten signaal presteert consequent beter dan kortere segmenten (10 sec, 1 min, 5 min).
• Geen schaalwinst: Grotere varianten van hetzelfde model (bijv. CSFM-large vs. CSFM-base) presteren niet betrouwbaar beter dan kleinere varianten onder de "frozen linear probing" setting. Dit wijst op afnemende meerwaarde van parameter-schaal zonder fine-tuning.

4. Handgemaakte kenmerken als sterke baseline
Handgemaakte ECG-domeinkenmerken vormen een sterke baseline en presteren vaak beter dan de algemene tijdreeksmodellen.

• Het combineren van handgemaakte kenmerken met de geleerde FM-representaties leidt tot verdere verbeteringen, wat aangeeft dat de FMs nog niet alle morfologische informatie volledig hebben "geinternaliseerd".

Belangrijkste Bijdragen

1. SignalMC-MED Benchmark: Een groot, klinisch onderbouwd multimodaal benchmark voor de rigoureuze evaluatie van biosignaal-FMs op gesynchroniseerde ECG/PPG-data uit de routine spoedeisende hulp.
2. Systematische Vergelijking: Een head-to-head evaluatie van algemene tijdreeksmodellen, unimodale en multimodale biosignaalmodellen, en handgemaakte baselines.
3. Empirisch Bewijs: Gedetailleerde inzichten in hoe modaliteitsspecialisatie, multimodale fusie, signaalduur, modelgrootte en domeinkennis de prestaties beïnvloeden.

Significantie en Implicaties

De studie biedt praktische richtlijnen voor de ontwikkeling en implementatie van biosignaal-FMs:

• Voorkeur voor domeinspecifieke modellen: Voor cardiovasculaire taken moeten domeinspecifieke FMs de voorkeur krijgen boven algemene tijdreeksmodellen.
• Multimodaliteit benutten: Waar mogelijk moeten zowel ECG als PPG worden gebruikt, zelfs via simpele fusiestrategieën.
• Lange signalen prioriteren: Meer temporale dekking (tot 10 minuten) is belangrijker voor prestaties dan het vergroten van het model.
• Baselines blijven relevant: Handgemaakte kenmerken blijven waardevol en kunnen dienen als sterke baseline of complementaire input voor geleerde representaties.

De resultaten benadrukken dat voor klinische toepassing niet alleen de schaal van het model belangrijk is, maar vooral de kwaliteit van de vooraftrainingsdata (diversiteit aan patiënten), de modaliteitsspecificiteit en de integratie van fysiologische kennis.