PulseLM: A Foundation Dataset and Benchmark for PPG-Text Learning

In dit werk wordt PulseLM geïntroduceerd, een groot dataset en benchmark van 1,31 miljoen PPG-segmenten met 3,15 miljoen vraag-antwoordparen die ruwe PPG-golven koppelen aan natuurlijke taal om multimodale fysiologische redenering en taalmodellen te faciliteren.

De kern

Stel je voor dat je hartslag een geheim taal is. Voor honderden jaren hebben artsen en wetenschappers deze taal alleen kunnen "lezen" door naar de lijntjes op een scherm te kijken (zoals bij een polsbandje of in het ziekenhuis). Maar die lijntjes zijn saai voor een computer: ze zijn alleen maar cijfers en golven. Een computer weet niet wat een "snelle hartslag" betekent in menselijke taal, zoals "Ik ben nerveus" of "Mijn hart slaat te snel".

Deze paper introduceert PulseLM, een project dat deze twee werelden samenvoegt. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Vertaler" ontbreekt

Tot nu toe waren de databases met hartslagmetingen (PPG) als enorme bibliotheken vol met cijferboeken.

• Als je een arts vroeg: "Is deze patiënt gestrest?", kon de computer alleen kijken naar een getal (bijv. 120 slagen per minuut) en een simpele "ja/nee" geven.
• De computer kon niet redeneren of uitleggen waarom. Het was alsof je een boek leest in een taal die je niet spreekt, en je kunt alleen maar raden wat er staat.

2. De Oplossing: PulseLM als de "Grootmeester Vertaler"

De onderzoekers hebben PulseLM gemaakt. Dit is een gigantische database die de "cijferboeken" omzet in gesprekken.

• De Analogie: Stel je voor dat je een duizelingwekkend groot archief hebt met duizenden opnames van mensen die praten, maar dan in een vreemde taal. PulseLM neemt die opnames en schrijft er direct een vertaling bij in het Nederlands.
• In plaats van alleen een lijn te zien, krijgt de computer nu een vraag en een antwoord. Bijvoorbeeld:
  • Invoer: Een golflijn van een hartslag.
  • Vraag: "Is de bloeddruk van deze persoon normaal of te hoog?"
  • Antwoord: "Normaal."

3. Hoe hebben ze dit gedaan? (De Grote Opschoning)

Het was geen makkelijk klusje. Ze hebben data verzameld uit 15 verschillende bronnen (ziekenhuizen, laboratoria, en zelfs mensen die hardlopen in het park).

• Het Chaos-probleem: Sommige meetapparaten zaten op de vinger, andere op de pols. Soms was de data 60 keer per seconde gemeten, soms 128 keer. Het was als een grote rommelzolder waar iedereen zijn eigen meetlat had gebruikt.
• De Oplossing: Ze hebben alles gestandaardiseerd. Ze hebben alle golflijnen opgeschoond, op dezelfde snelheid gezet en in stukjes van 10 seconden gesneden.
• De Vertaling: Vervolgens hebben ze de bestaande medische labels (zoals "hoge bloeddruk") omgezet in vragen en antwoorden. Ze hebben een "vragenboek" gemaakt met 12 soorten vragen, van "Is de hartslag normaal?" tot "Is de signaal kwaliteit goed?".

4. Wat is het resultaat?

Ze hebben een dataset gemaakt met:

• 1,3 miljoen stukjes hartslagdata.
• 3,1 miljoen vraag-en-antwoord paren.

Het is alsof ze een gigantische school hebben gebouwd waar computers kunnen oefenen om niet alleen te meten, maar ook te begrijpen en te praten over gezondheid.

5. Wat leert dit ons? (De Test)

De onderzoekers hebben getest of moderne slimme computers (zoals AI-modellen) deze taal kunnen leren.

• Het Resultaat: De grotere, slimmere AI-modellen deden het goed. Ze konden de golflijnen lezen en het juiste antwoord geven op vragen over hartslag, stress en slaapproblemen.
• De Uitdaging: Het was nog steeds lastig als de data uit een heel andere omgeving kwam (bijv. van een ziekenhuis naar iemand die hardloopt). Dit is als een student die goed is in wiskunde op papier, maar moeite heeft om het toe te passen in de echte wereld.

Waarom is dit belangrijk?

Vroeger was een hartslagmeter een "stomme" sensor. Met PulseLM wordt het een slimme assistent.

• In de toekomst kan je smartwatch niet alleen zeggen: "Je hartslag is 110."
• Maar het kan zeggen: "Je hartslag is 110, wat normaal is voor iemand die net is gaan rennen, maar als je rustig zat, zou dat kunnen wijzen op stress."

Kortom: PulseLM is de brug die de taal van de machine (golven en cijfers) verbindt met de taal van de mens (vragen en antwoorden), zodat computers in de toekomst onze gezondheid beter kunnen begrijpen en uitleggen.

Technische samenvatting

Probleemstelling

Fotopletysmografie (PPG) is een veelgebruikte, niet-invasieve sensormethode voor het continu monitoren van cardiovasculaire en fysiologische parameters (zoals hartslag, bloeddruk en stress) in klinische, laboratorium- en draagbare omgevingen. Hoewel er veel PPG-datasets bestaan, zijn deze beperkt door hun supervisieparadigma:

1. Taak-specifieke labels: Bestaande datasets bieden voornamelijk numerieke metingen (regressie) of specifieke categorische labels voor één taak (bijv. hartslagvoorspelling). Dit belemmert modellen om hogere, semantisch onderbouwde fysiologische representaties te leren.
2. Gebrek aan taalinteractie: Er ontbreekt een grote schaal dataset die ruwe PPG-golven koppelt aan natuurlijke taal. Dit verhindert de ontwikkeling van foundation-modellen die PPG-signalen kunnen interpreteren, verklaren of redeneren via taal.
3. Fragmentatie: Beschikbare datasets zijn sterk gefragmenteerd wat betreft sensorplaatsing, sample rates, omstandigheden (klinisch vs. 'in-the-wild') en annotatiestandaarden, wat generalisatie tussen datasets bemoeilijkt.

Methodologie

De auteurs introduceren PulseLM, een groot dataset- en benchmarkproject dat PPG-interpretatie herformuleert als een gesloten vraag-antwoord (QA) probleem.

1. Dataverzameling en Harmonisatie:

• Bronnen: PulseLM integreert data van 15 openbare PPG-datasets (zoals VitalDB, UCI, WESAD, MIMIC), variërend van klinische monitoring tot draagbare 'in-the-wild' opnames.
• Omvang: Het dataset bevat 1,31 miljoen gestandaardiseerde PPG-segmenten (elk 10 seconden) gekoppeld aan 3,15 miljoen vraag-antwoordparen.
• Standaardisatie: Alle signalen worden verwerkt via een uniforme pipeline:
  • Resampling: Naar 125 Hz.
  • Filtering: Butterworth low-pass filter (8 Hz) en verwijdering van DC-component.
  • Segmentatie: 10-seconden vensters (1250 samples).
  • Normalisatie: Min-max schaling naar [0, 1].
• Ground Truth Harmonisatie: Bestaande annotaties (continu of categorisch) en referentiesignalen (zoals ECG) worden omgezet naar een gedeelde, categorische labelruimte. Bijvoorbeeld, hartslag wordt omgezet naar categorieën zoals 'bradycardie', 'normaal' of 'tachycardie'.

2. Vraag-Antwoord Formulatie:

• De supervisie wordt gestructureerd als gesloten QA-taken. Voor elke fysiologische taak (bijv. bloeddruk, ritme-analyse) worden vragen gegenereerd met een vast, klinisch betekenisvol antwoordvocabulaire.
• Vragen worden gegenereerd via templates en herschrijvingen door een LLM om linguïstische variatie te introduceren, terwijl de antwoorden deterministisch worden afgeleid van de grondwaarheid.
• Er zijn 12 QA-taken gedefinieerd, waaronder hartslag (HR), bloeddruk (BP), hartslagvariabiliteit (HRV), ritme (AF/Arritmie), zuurstofverzadiging (SpO2), ademhaling (RR), slaapapneu (SDB), stress en signaalkwaliteit (SQI).

3. Benchmark en Basismodellen:

• Architectuur: De auteurs evalueren multimodale modellen die een PPG-encoder combineren met een instructie-tuned Large Language Model (LLM).
  • Een vooraf getrainde PPG-encoder (Papagei-S) verwerkt het signaal.
  • Een mapping-layer projecteert PPG-embeddings naar de token-ruimte van de LLM.
  • De LLM (bijv. LLaMA-3, Qwen) ontvangt de PPG-tokens als prefix gevolgd door de tekstvraag en genereert het antwoord.
• Evaluatie: Er worden zowel in-dataset als cross-dataset benchmarks uitgevoerd om generalisatievermogen te testen. De hoofdmeter is de exact-match (EM) nauwkeurigheid.

Belangrijkste Bijdragen

1. Eerste Groot-Schaal PPG-Text Dataset: PulseLM is de eerste dataset die PPG-interpretatie mogelijk maakt via natuurlijke taal, met meer dan 3 miljoen QA-paren over diverse fysiologische domeinen.
2. Unificatie van Heterogene Data: Het project biedt een gestandaardiseerde pipeline om 15 verschillende bronnen te harmoniseren in één consistent QA-formaat, wat cross-dataset generalisatie mogelijk maakt.
3. Benchmark Protocol: Het definieert reproduceerbare protocollen voor training en evaluatie van multimodale PPG-taalmodellen, inclusief baselines voor verschillende modelgroottes.
4. Open Source: De dataset, code en protocollen zijn publiek beschikbaar gesteld om verder onderzoek te faciliteren.

Resultaten

De baselines (LLaMA-3 en Qwen-modellen) tonen de volgende inzichten:

• Modelgrootte: Er is een sterke correlatie tussen modelgrootte en prestaties. Grotere modellen (LLaMA-3-8B en Qwen3-4B) bereiken gemiddelde nauwkeurigheden van ~64%, terwijl kleinere modellen (1B/3B) aanzienlijk slechter presteren (~19-26%).
• Taakprestaties:
  • Taken gerelateerd aan ritme (zoals Atriale Fibrillatie en Arritmie) worden het beste beheerst (hoge nauwkeurigheid).
  • Taken die fijnmazige fysiologische schatting vereisen (zoals Bloeddruk en Stress) blijven uitdagender.
• Generalisatie:
  • Modellen tonen redelijke generalisatie binnen dezelfde dataset.
  • Bij cross-dataset evaluatie (trainen op VitalDB, testen op andere datasets) blijft de prestatie stabiel voor hartslag (HR), maar daalt deze aanzienlijk voor bloeddruk (BP). Dit suggereert dat BP-classificatie gevoeliger is voor domeinverschuivingen (sensorplaatsing, omstandigheden) dan HR.
  • Qwen3-4B en LLaMA3-8B tonen vergelijkbare transfercapaciteiten, maar met verschillende sterke punten per taak.

Betekenis en Toekomstperspectief

PulseLM markeert een verschuiving in het veld van fysiologisch monitoren van puur numerieke voorspelling naar taalgebaseerde redenering.

• Interpreteerbaarheid: Het stelt modellen in staat om fysiologische toestanden in natuurlijke taal te beschrijven en te verklaren, wat essentieel is voor klinische toepasbaarheid en gebruikersinteractie.
• Foundation Models: Het legt de basis voor multimodale foundation-modellen die kunnen leren over draagbare biosignalen zonder taak-specifieke heads, waardoor ze flexibeler en generaliseerbaarder zijn.
• Toekomst: De auteurs wijzen op kansen voor open-ended rapportgeneratie, verbeterde cross-dataset generalisatie en het integreren van expert-geverifieerde klinische samenvattingen om de betrouwbaarheid voor veiligheidskritische toepassingen te vergroten.

Kortom, PulseLM biedt de ontbrekende infrastructuur om PPG-data te benutten in de moderne era van Large Language Models, waardoor een brug wordt geslagen tussen ruwe biosignalen en semantisch fysiologisch inzicht.