SPOTR: Spatio-temporal Pooling One-Token Reconstruction for Universal Physiological Signal Self-supervised Learning

Technische Samenvatting: SPOTR

Probleemstelling
Fysiologische signalen (EEG, ECG, PPG) zijn cruciaal voor klinische monitoring, maar methoden voor zelfgesuperviseerd leren (SSL) voor deze signalen kampen in de praktijk met aanzienlijke beperkingen. Huidige benaderingen hebben moeite met generalisatie over heterogene datasets en falen vaak onder "linear probing", een lichtgewicht adaptatie-instelling die de realiteit van medische scenario's weerspiegelt waarin gelabelde data en rekenkracht schaars zijn.
Specifiek identificeert het artikel twee belangrijke faalmodi in bestaande SSL-paradigma's:

1. Contrastief Leren (C-SSL): De prestaties zijn zeer gevoelig voor de vormgeving van de 'views' (augmentatie of domeinregels). Kleine wijzigingen in de sterkte van de augmentatie of de pairing-criteria kunnen het supervisiesignaal destabiliseren, wat het moeilijk maakt om te generaliseren over diverse datasets.
2. Gemaskeerde Reconstructie (MR-SSL): Modellen maken vaak gebruik van "shortcuts" door de temporele continuïteit en cross-kanaal redundantie uit te buiten om gemaskeerde segmenten te herstellen zonder compacte, globale representaties te leren. Dit leidt tot een lage pretraining loss, maar marginaal beperkte winst in downstream prestaties.
   Bovendien verwerken bestaande Transformer-gebaseerde modellen doorgaans afgeplatte spatiotemporele sequenties van lengte $C \times N$ (kanalen $\times$ tijd-tokens), wat hoge computationele en geheugenkosten met zich meebrengt. De meeste modellen zijn ook modus-specifiek en missen een verenigd framework voor EEG, ECG en PPG.

Methodologie: SPOTR
De auteurs stellen SPOTR voor (Spatio-temporal Pooling One-Token Reconstruction), een universeel SSL-framework gebouwd op een compress–reconstruct pretraining-schema met een enkele-token globale bottleneck. De architectuur bestaat uit drie kerncomponenten:

1. ST Compactor (S): Een efficiënt spatiotemporeel compactiemodule die de input-sequentielengte vermindert. In plaats van een afgeplatte $C \times N$ sequentie te verwerken, comprimeert het de input in twee aparte stromen: temporele tokens en ruimtelijke tokens. Dit vermindert de sequentielengte van $C \times N$ naar $C + N$, wat de computationele overhead aanzienlijk verlaagt terwijl de spatiotemporele structuur behouden blijft.
2. Latent Aggregator (A): Een Transformer-encoder die de gecomprimeerde temporele en ruimtelijke tokenstromen fuseert tot een enkele globale class token ($h_{cls}$). Deze token dient als de enige informatie-bottleneck, wat het model dwingt om globale structuren over zowel tijd als kanalen te vangen.
3. Latent Renderer (G): Een decoder die het volledige fysiologische signaal reconstrueert, uitsluitend geconditioneerd op de enkele globale token $h_{cls}$. De decoder gebruikt een cross-attention-first mechanisme, waarbij mask-tokens aandacht besteden aan de globale conditie voordat ze met elkaar interageren. Dit ontwerp voorkomt dat het model vertrouwt op lokale zichtbare context of redundantie om gemaskeerde regio's in te vullen, waardoor het leren van robuuste, globale representaties wordt afgedwongen.

Het pretraining-doel minimaliseert de reconstructiefout tussen het originele signaal en het signaal dat uitsluitend is gereconstrueerd vanuit de enkele-token bottleneck.

Belangrijkste Bijdragen

1. Universeel Framework: Introductie van SPOTR, een modus-agnostisch SSL-framework dat in staat is om generaliseerbare representaties te leren over EEG, iEEG, ECG en PPG binnen één enkel model.
2. Efficiënte Architectuur: Ontwerp van de ST Compactor, die de encoder-tokensequentie verkort van $C \times N$ naar $C + N$, wat de trainings- en inferentie-efficiëntie verbetert zonder verlies van representatiekwaliteit.
3. Single-Token Bottleneck: Implementatie van een compress–reconstruct schema dat shortcut learning onderdrukt door reconstructie te conditioneren op een enkele globale token, wat compacte en overdraagbare kenmerken bevordert.
4. Empirische Validatie: Demonstratie van consistente prestatieverbeteringen over diverse downstream taken en modaliteiten, waarmee wordt vastgesteld dat SPOTR een universeel pretraining-framework is.

Resultaten
Het model werd gepretrained op 20 datasets met 17 miljoen signaalmonsters van meer dan 450.000 subjecten. Evaluatie werd uitgevoerd op 17 downstream datasets middels linear probing, few-shot classificatie en full fine-tuning.

• Linear Probing: SPOTR presteerde consistent beter dan de sterkste baselines (inclusief algemene tijdreeksmodellen zoals MOMENT en modus-specifieke SSL-modellen).
  • iEEG: Verbeterde de gemiddelde AUC met 21,71%.
  • EEG: Verbeterde de gemiddelde AUC met 18,49%.
  • ECG: Verbeterde de gemiddelde AUC met 17,86%.
  • PPG: Verbeterde de gemiddelde AUC met 4,64%.
  • In totaal behaalde SPOTR een gemiddelde AUC van 80,86% over alle 17 datasets, wat MOMENT met 19,11% overtreft.
• Few-Shot Learning: SPOTR toonde stabiele en consistente verbeteringen in de 1-shot tot 8-shot settings over alle modaliteiten, wat duidt op effectief gebruik van beperkte gelabelde data.
• Efficiëntie: Vergeleken met het MOMENT foundation model bereikte SPOTR:
  • 78,1% lagere latentie (p50).
  • 206,3% hogere throughput.
  • 51,8% lager piek GPU-geheugengebruik.
• Scaling: Prestaties verbeterden consistent naarmate de modelgrootte toenam van Small (3,69M params) naar Base (62,47M params), wat gunstige scaling laws laat zien voor zowel pretraining loss als downstream transfer.

Betekenis
Het artikel stelt dat SPOTR de kritieke tekortkomingen in generalisatie en efficiëntie voor fysiologische signaal foundation-modellen aanpakt. Door een enkele-token globale bottleneck af te dwingen, mitigeert het de shortcut learning die inherent is aan gemaskeerde reconstructie en de view-gevoeligheid van contrastief leren. Het framework maakt lichtgewicht adaptatie mogelijk (via linear probing) die geschikt is voor real-world klinische implementatie waar gelabelde data schaars is. Bovendien maakt de verminderde computationele voetafdruk het praktisch voor omgevingen met beperkte middelen, wat een verenigde oplossing biedt voor multi-modale fysiologische signaal-analyse.