MedMamba: Recasting Mamba for Medical Time Series Classification

Technische Samenvatting: MedMamba: Herformulering van Mamba voor Classificatie van Medische Tijdreeksen

Probleemstelling
Medische tijdreeksdata, zoals elektrocardiogrammen (ECG) en elektroencefalogrammen (EEG), vormen unieke uitdagingen voor geautomatiseerde analyse vanwege hun complexe temporele dynamiek en gestructureerde cross-kanaal afhankelijkheden. Conventionele benaderingen ondervinden aanzienlijke beperkingen: Convolutional Neural Networks (CNN's) en Recurrent Neural Networks (RNN's) hebben moeite om lange-afstand afhankelijkheden te vangen, terwijl op Transformer gebaseerde modellen kwadratische computationele complexiteit met zich meebrengen en vaak redundante interacties introduceren die niet overeenkomen met de intrinsieke structuur van fysiologische signalen. Bovendien behandelen bestaande State Space Models (SSM's), zoals Mamba, medische signalen grotendeels als generieke sequenties, waardoor ze geen expliciete rekening houden met domeinspecifieke structurele eigenschappen zoals ruimtelijke centralisatie en niet-causale contextuele afhankelijkheden.

Methodologie: MedMamba
De auteurs stellen MedMamba voor, een door principes gedreven, multi-schaal bidirectionele state space-architectuur die specifiek is toegesneden op classificatie van medische tijdreeksen. Het ontwerp is gebaseerd op drie inductieve biases die zijn afgeleid van de structurele eigenschappen van fysiologische signalen:

1. Ruimtelijke Centralisatie: Diagnostisch relevante informatie is vaak geconcentreerd in een subset van kanalen, terwijl andere kanalen redundant of ruisachtig zijn.
   • Implementatie: Een lichtgewicht kanaal-mixing module (een twee-laags MLP met residual connections) voert cross-kanaal herparameterisatie uit voordat temporele modellering plaatsvindt. Dit fungeert als een adaptief ruimtelijk filter dat ongewenste variatie onderdrukt en taakrelevante informatie concentreert in een lager-dimensionale deelruimte.
2. Multi-Tijdschaal Temporele Samenstelling: Klinisch bewijs bestaat over verschillende temporele schalen, variërend van kortlevende gebeurtenissen (bijv. QRS-complexen, epileptische pieken) tot langzamere ritmes (bijv. overgangen tussen slaapkampen).
   • Implementatie: Multi-schaal convolutie-tokenisatie maakt gebruik van parallelle convolutiestammen met verschillende strides (bijv. 5, 10, 25). Dit decomposeert het signaal in meerdere temporele resoluties, waardoor het mismatch tussen token-schaal en gebeurtenisduur wordt verzacht.
3. Niet-Causale Contextuele Afhankelijkheid: Veel klinische patronen zijn afhankelijk van zowel verleden als toekomstige context (bijv. symmetrische golfvormen), waardoor strikt causale encoders suboptimaal zijn voor offline classificatie.
   • Implementatie: Bidirectionele Mamba-blokken maken gebruik van selectief scannen in zowel voorwaartse als achterwaartse richting. Dit stelt het model in staat om efficiënt toegang te krijgen tot volledige temporele buurten met lineaire complexiteit, dienend als een gladmakende operator in plaats van een puur causaal filter.

De algehele pijplijn omvat robuuste inputmodellering (via kanaal-dropout), ruimtelijke herparameterisatie, multi-rate tokenisatie, bidirectionele state-space verwerking en aggregatie van bewijs over schalen heen via attention pooling.

Belangrijkste Bijdragen

1. Structurele Karakterisering: Het artikel karakteriseert medische tijdreeksen als zijnde met een centrale ruimtelijke afhankelijkheid, multi-schaal temporele samenstelling en niet-causale context, en betoogt dat deze eigenschappen expliciet moeten worden weerspiegeld in de modelarchitectuur.
2. Nieuwe Architectuur: MedMamba wordt gepresenteerd als de eerste door principes gedreven state space-architectuur die kanaal-mixing, multi-schaal modellering en bidirectionele inferentie integreert, specifiek voor medische tijdreeksen.
3. Efficiëntie: Het model bereikt efficiënte modellering van lange sequenties met lineaire computationele complexiteit, waardoor de kwadratische overhead van Transformers wordt vermeden.
4. Empirische Validatie: De auteurs tonen consistente prestatiewinsten aan over diverse modaliteiten (EEG, ECG en menselijke activiteit) op zes benchmarkdatasets.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op zes datasets: PTB, PTB-XL, ADFTD, APAVA, UCI-HAR en SleepEDF. De evaluatie volgde een subject-onafhankelijke splitsing om generalisatie in de echte wereld te simuleren.

• Prestaties: MedMamba presteerde consistent beter dan state-of-the-art methoden (inclusief Medformer, iTransformer en diverse Transformer-varianten) over alle datasets.
  • Op PTB (ECG) bereikte het 85,97% nauwkeurigheid, wat de beste baseline (Medformer) met 2,47% overtrof.
  • Op de uitdagende ADFTD (EEG) dataset vestigde het nieuwe state-of-the-art prestaties met 54,72% nauwkeurigheid en een 52,01% F1-score.
  • Op SleepEDF bereikte het de hoogste AUROC (96,05%), wat de capaciteit bevestigt voor het modelleren van lange-afstand afhankelijkheden.
• Efficiëntie: MedMamba toonde een 4,6× versnelling in inferentie in vergelijking met op Transformer gebaseerde baselines (bijv. Medformer), terwijl het aanzienlijk minder parameters gebruikte (5,7M versus 30,0M).
• Ablatiestudies: Het verwijderen van een van de drie kerncomponenten (multi-schaal tokenisatie, bidirectioneel scannen of kanaal-mixing) resulteerde in prestatiedegradatie, wat hun complementaire noodzaak bevestigt. Specifiek bleek kanaal-mixing intra-klassieke kanaalredundantie te verminderen en inter-klassieke discriminatievermogen te vergroten.
• Visualisatie: t-SNE visualisaties gaven aan dat MedMamba meer discriminerende en goed gescheiden feature-embeddings produceert in vergelijking met Medformer.

Betekenis en Beweringen
Het artikel beweert dat MedMamba een effectief en schaalbaar alternatief biedt voor op Transformer gebaseerde benaderingen voor analyse van medische tijdreeksen. Door de inductieve biases van het model af te stemmen op de intrinsieke structuur van fysiologische signalen (centralisatie, multi-schaal dynamiek en niet-causaliteit), bereikt de architectuur superieure nauwkeurigheid en efficiëntie. De auteurs stellen dat dit door principes gedreven ontwerpparadigma cruciaal is voor robuuste klinische prestaties en benadrukken de praktische toepasbaarheid van het model voor realtime implementatie in scenario's zoals continue monitoring op intensive care-afdelingen en op draagbare apparaten. Het werk suggereert dat toekomstige modellen voor medische tijdreeksen verder moeten gaan dan het behandelen van signalen als generieke sequenties en in plaats daarvan domeinspecifieke structurele priors moeten incorporeren.