Scaling to Multimodal and Multichannel Heart Sound Classification with Synthetic and Augmented Biosignals

Technische Samenvatting: Schalen naar Multimodale en Multichannel Hartgeluidclassificatie met Synthetische en Geaugmenteerde Biosignalen

1. Probleemstelling

Cardiovasculaire ziekten (CVZ) zijn de belangrijkste oorzaak van wereldwijde mortaliteit, wat de noodzaak voor nauwkeurige en betaalbare screeningsmethoden onderstreept. Hoewel cardiale auscultatie een primaire diagnostische tool is, lijdt deze aan een lage nauwkeurigheid vanwege het subtiele karakter van hartgeluiden. Deep learning biedt een oplossing, maar state-of-the-art (SOTA) architecturen, met name transformer-gebaseerde modellen, blijven onderbenut in dit domein. Deze beperking komt voort uit de schaarste aan grote, gesynchroniseerde en multichannel datasets die nodig zijn om datagevoelige modellen effectief te trainen. Bestaande datasets kampen vaak met klassenonbalans, een lage signaal-ruisverhouding (SNR) en een beperkte omvang, wat de robuuste classificatie van abnormale hartgeluiden met behulp van ruwe audiosignalen belemmert.

2. Methodologie

De auteurs stellen een schaalbaar framework voor dat traditionele signaalverwerking combineert met synthetische datageneratie via diffusiemodellen en het fine-tunen van grote, vooraf getrainde modellen om dataschaarste te overwinnen. De kern van de aanpak bestaat uit het fine-tunen van een Wav2Vec 2.0 (BASE variant) encoder, oorspronkelijk ontworpen voor spraak, voor hartgeluidclassificatie.

Data-augmentatie en Synthetische Generatie:
Om de databeperkingen aan te pakken, hanteert de studie een tweeledige strategie:

• Traditionele Augmentatie: Technieken omvatten harmonic-percussive source separation (HPSS), het toevoegen van witte ruis, time stretching, amplitude modulatie, baseline wander, parametrische equalisatie en klinische ruisinjectie. Voor multichannel data wordt time stretching gesynchroniseerd over de kanalen om fysiologische consistentie te behouden.
• Synthetische Signaalgeneratie: De auteurs maken gebruik van WaveGrad en DiffWave diffusiemodellen om synthetische fonocardiogram (PCG) signalen te genereren.
  • Voor single-channel PCG dienen ECG-signalen uit de Icentia-dataset als conditie (via mel-spectrogrammen en ziekte-labels) om 3.200 synthetische patiëntrecords te genereren.
  • Voor multichannel PCG (mPCG) worden de diffusiemodellen aangepast om te conditioneren op specifieke kanalen om synthetische data voor andere kanalen te genereren, gebruikmakend van gegevens uit de CinC 2016 training-a en training-b datasets.

Modelarchitectuur en Training:
De studie evalueert drie modelconfiguraties:

1. Single-Input: Classificeert PCG- of ECG-signalen onafhankelijk.
2. Multimodaal: Concateneert kenmerken geëxtraheerd uit gesynchroniseerde PCG- en ECG-signalen.
3. Multichannel: Verwerkt mPCG-data van een draagbaar vest (tot 6 kanalen).

Alle modellen maken gebruik van de Wav2Vec 2.0 encoder voor het extraheren van kenmerken. Voor het multichannel model, dat te maken heeft met aanzienlijke dataschaarste, gebruiken de auteurs Low-Rank Adaptation (LoRA) voor fine-tuning en vervangen ze de laatste Multi-Layer Perceptron (MLP) lagen door een Support Vector Machine (SVM) om overfitting te voorkomen.

Datasets:

• CinC 2016: Een grote single-channel PCG-dataset (3.153 opnames).
• CinC 2016 Training-a: Een subset die gesynchroniseerde PCG- en ECG-signalen bevat (405 opnames).
• Wearable Vest Dataset: Een real-world mPCG-dataset met 157 proefpersonen (96 CAD, 61 normaal) opgenomen met 7 sensoren in een ziekenhuisomgeving met achtergrondruis en vrije ademhaling.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

• Schaalbare Architectuur: Een transformer-gebaseerde architectuur die in staat is om elk aantal PCG-kanalen en ECG-inputs te verwerken.
• Multichannel Diffusiemodel: De ontwikkeling van een diffusiemodel specif으로 voor het genereren van synthetische multichannel PCG-signalen.
• Op Maat Gemaakte Augmentatie: Introductie van augmentatietechnieken specifiek ontworpen voor multichannel PCG-data, waarbij de temporele synchronisatie over de kanalen wordt gewaarborgd.
• Performance Benchmarking: Het bereiken van SOTA-prestaties op de CinC 2016-dataset en bijna-SOTA resultaten op de uitdagende multichannel vest-dataset.

4. Resultaten

De voorgestelde methode vertoont significante prestatieverbeteringen over alle datasettypen, met name wanneer de geaugmenteerde data wordt gebruikt.

• Single-Channel (CinC 2016): Op subjectniveau bereikte het geaugmenteerde model 92,48% accuratesse, 93,05% Unweighted Average Recall (UAR), 93,63% sensitiviteit, 92,48% specificiteit en een MCC van 0,8283. Dit presteert beter dan bestaande CNN- en RNN-gebaseerde SOTA-methoden, met name in het balanceren van sensitiviteit en specificiteit.
• Multimodaal (CinC 2016 Training-a): Zonder augmentatie stortte het transformer-model in (UAR ≈51%). Met augmentatie en resampling naar 4,125 kHz bereikte het model 93,14% accuratesse, 92,21% UAR, 94,35% sensitiviteit, 90,10% specificiteit en een MCC van 0,8380.
• Multichannel (Vest Dataset): Ondanks het ruisige, real-world karakter van de data, bereikte het geaugmenteerde model 77,13% accuratesse, 74,25% UAR, 86,47% sensitiviteit, 62,04% specificiteit en een MCC van 0,5082. Dit vertegenwoordigt een substantiële verbetering ten opzichte van de niet-geaugmenteerde baseline (9,8% stijging in accuratesse) en demonstreert robuustheid in vrije ademomstandigheden waar voorheen methoden vereisten om de adem in te houden.

Interpretabiliteit:
Attention maps en GradCAM++ visualisaties bevestigen dat de modellen zich richten op klinisch relevante kenmerken: abnormale proefpersonen vertonen nadruk op diastolische en systolische fasen (gevoelig voor murmels), terwijl normale proefpersonen nadruk leggen op S1 en S2 hartgeluiden.

5. Betekenis en Claims

Het artikel beweert dat de integratie van diffusie-gebaseerde synthetische data en traditionele augmentatie effectief de datakloof overbrugt die vereist is voor het trainen van transformer-gebaseerde modellen op biosignalen. De auteurs stellen dat deze aanpak de inzet van SOTA-prestaties mogelijk maakt op kleinere, ruisiger en multimodale datasets waar traditionele deep learning-benaderingen falen of enorme hoeveelheden data vereisen.

Specifiek benadrukt de studie:

• Het vermogen om te schalen van single-channel naar multimodale en multichannel inputs zonder architecturale herziening.
• De effectiviteit van Wav2Vec 2.0 als feature extractor voor cardiale signalen wanneer deze wordt ondersteund door robuuste augmentatiestrategieën.
• De praktische levensvatbaarheid van de methode voor real-world implementatie, zoals aangetoond door de prestaties op de ruisige, vrije ademhalings-vest dataset, die de klinische condities beter reflecteert dan gecontroleerde ademhalingsdatasets.

De auteurs concluderen dat hoewel de methode effectief is, toekomstig werk nodig is om het multichannel diffusiemodel te verbeteren voor gelijktijdige kanaalgeneratie en om augmentatiestrategieën verder te optimaliseren voor specifieke ziekten.