SPOTR: Spatio-temporal Pooling One-Token Reconstruction for Universal Physiological Signal Self-supervised Learning

Sintesi Tecnica: SPOTR

Definizione del Problema
I segnali fisiologici (EEG, ECG, PPG) sono critici per il monitoraggio clinico, tuttavia i metodi di apprendimento auto-supervisionato (SSL) per questi segnali affrontano significative limitazioni nella pratica. Gli approcci attuali faticano a generalizzare attraverso dataset eterogenei e spesso falliscono sotto il "linear probing", un setting di adattamento leggero che rispecchia gli scenari reali del mondo medico dove i dati etichettati e la capacità computazionale sono scarsi.
Nello specifico, l'articolo identifica due modalità di fallimento principali nei paradigmi SSL esistenti:

1. Apprendimento Contrastivo (C-SSL): Le prestazioni sono altamente sensibili alla progettazione delle "view" (augmentation o regole di dominio). Lievi cambiamenti nella forza dell'augmentation o nei criteri di accoppiamento possono destabilizzare il segnale di supervisione, rendendo difficile la generalizzazione attraverso diversi dataset.
2. Ricostruzione Mascherata (MR-SSL): I modelli spesso apprendono "scorciatoie" (shortcuts) sfruttando la continuità temporale e la ridondanza cross-canale per recuperare i segmenti mascherati senza apprendere rappresentazioni globali compatte. Ciò porta a una bassa perdita di pre-addestramento ma a guadagni marginali nelle prestazioni a valle (downstream).
   Inoltre, i modelli basati su Transformer esistenti tipicamente elaborano sequenze spazio-temporali appiattite di lunghezza $C \times N$ (canali $\times$ token temporali), incorrendo in elevati costi computazionali e di memoria. La maggior parte dei modelli è anche specifica per modalità, mancando di un framework unificato per EEG, ECG e PPG.

Metodologia: SPOTR
Gli autori propongono SPOTR (Spatio-temporal Pooling One-Token Reconstruction), un framework SSL universale basato su uno schema di pre-addestramento compress–reconstruct con un singolo bottleneck globale a un token. L'architettura è composta da tre componenti core:

1. ST Compactor (S): Un modulo di compattazione spazio-temporale efficiente che riduce la lunghezza della sequenza di input. Invece di elaborare una sequenza appiattita $C \times N$, comprime l'input in due stream separati: token temporali e token spaziali. Questo riduce la lunghezza della sequenza da $C \times N$ a $C + N$, abbassando significativamente l'overhead computazionale pur preservando la struttura spazio-temporale.
2. Latent Aggregator (A): Un encoder Transformer che fonde gli stream di token temporali e spaziali compressi in un singolo class token globale ($h_{cls}$). Questo token funge da unico bottleneck informativo, costringendo il modello a catturare strutture globali attraverso sia il tempo che i canali.
3. Latent Renderer (G): Un decoder che ricostruisce il segnale fisiologico completo condizionato esclusivamente dal singolo token globale $h_{cls}$. Il decoder utilizza un meccanismo "cross-attention-first", in cui i token mascherati effettuano l'attenzione alla condizione globale prima di interagire tra di loro. Questo design impedisce al modello di fare affidamento sul contesto locale visibile o sulla ridondanza per riempire le regioni mascherate, forzando così l'apprendimento di rappresentazioni globali robuste.

L'obiettivo di pre-addestramento minimizza l'errore di ricostruzione tra il segnale originale e il segnale ricostruito esclusivamente a partire dal singolo token bottleneck.

Contributi Chiave

1. Framework Universale: Introduzione di SPOTR, un framework SSL agnostico rispetto alla modalità capace di apprendere rappresentazioni generalizzabili attraverso EEG, iEEG, ECG e PPG all'interno di un singolo modello.
2. Architettura Efficiente: Progettazione dello ST Compactor, che accorcia la sequenza di token dell'encoder da $C \times N$ a $C + N$, migliorando l'efficienza di addestramento e inferenza senza sacrificare la qualità della rappresentazione.
3. Single-Token Bottleneck: Implementazione di uno schema compress–reconstruct che sopprime l'apprendimento di scorciatoie (shortcut learning) condizionando la ricostruzione a un singolo token globale, promuovendo caratteristiche compatte e trasferibili.
4. Validazione Empirica: Dimostrazione di guadagni costanti nelle prestazioni attraverso diversi task e modalità a valle, stabilendo SPOTR come un framework di pre-addestramento universale.

Risultati
Il modello è stato pre-addestrato su 20 dataset comprendenti 17 milioni di campioni di segnale provenienti da oltre 450.000 soggetti. La valutazione è stata condotta su 17 dataset a valle utilizzando linear probing, few-shot classification e full fine-tuning.

• Linear Probing: SPOTR ha superato costantemente i baseline più forti (inclusi i modelli per serie temporali general-purpose come MOMENT e i modelli SSL specifici per modalità).
  • iEEG: Miglioramento medio dell'AUC del 21,71%.
  • EEG: Miglioramento medio dell'AUC del 18,49%.
  • ECG: Miglioramento medio dell'AUC del 17,86%.
  • PPG: Miglioramento medio dell'AUC del 4,64%.
  • Complessivamente, SPOTR ha raggiunto un'AUC media dell'80,86% su tutti i 17 dataset, superando MOMENT del 19,11%.
• Few-Shot Learning: SPOTR ha dimostrato miglioramenti stabili e consistenti nei setting da 1-shot a 8-shot in tutte le modalità, indicando un uso efficace di dati etichettati limitati.
• Efficienza: Rispetto al modello foundation MOMENT, SPOTR ha ottenuto:
  • Latenza inferiore del 78,1% (p50).
  • Throughput superiore del 206,3%.
  • Utilizzo di memoria GPU di picco inferiore del 51,8%.
• Scaling: Le prestazioni sono migliorate costantemente all'aumentare della dimensione del modello da Small (3,69M parametri) a Base (62,47M parametri), mostrando leggi di scaling favorevoli sia per la perdita di pre-addestramento che per il trasferimento a valle.

Significatività
L'articolo sostiene che SPOTR affronti le lacune critiche in termini di generalizzazione ed efficienza per i modelli foundation di segnali fisiologici. Imponendo un singolo bottleneck globale a un token, mitiga l'apprendimento di scorciatoie prevalente nella ricostruzione mascherata e la sensibilità alle view dell'apprendimento contrastivo. Il framework consente un adattamento leggero (tramite linear probing) adatto all'impiego clinico nel mondo reale dove i dati etichettati sono scarsi. Inoltre, la sua ridotta impronta computazionale lo rende pratico per ambienti con risorse limitate, offrendo una soluzione unificata per l'analisi di segnali fisiologici multi-modali.