Riepilogo Tecnico: NeuroRVQ: Tokenizzazione Multi-Scala dei Biosegnali per Modelli Fondamentali Generativi

Enunciato del Problema

I biosegnali, come l'elettroencefalografia (EEG), l'elettrocardiografia (ECG) e l'elettromiografia (EMG), codificano l'attività fisiologica attraverso diverse scale temporali e spettrali. Sebbene i modelli fondamentali addestrati con apprendimento mascherato auto-supervisionato abbiano mostrato promesse nell'apprendere rappresentazioni generalizzabili, la loro efficacia è limitata dalla qualità del tokenizzatore. I tokenizzatori esistenti spesso faticano a preservare informazioni strutturali complete, in particolare le dinamiche ad alta frequenza e le caratteristiche morfologiche sottili, che sono critiche per una modellazione generativa mascherata robusta. Gli approcci attuali si affidano frequentemente ad architetture a scala singola o a singoli codebook che non riescono a catturare la natura multi-scala dei biosegnali, oppure impiegano funzioni di perdita di addestramento che non rispettano le proprietà dell'elaborazione del segnale (ad esempio, la topologia circolare della fase di Fourier) degli obiettivi di ricostruzione. Di conseguenza, i token generati spesso mancano della fedeltà necessaria per prestazioni efficaci nelle attività a valle.

Metodologia

Gli autori introducono NEURORVQ, una famiglia di tokenizzatori per biosegnali adattiva alla modalità, progettata per la ricostruzione ad alta fedeltà dei segnali. L'architettura e la strategia di addestramento sono definite da tre componenti principali:

1. Architettura Temporale Multi-Scala

NEURORVQ scompone i biosegnali grezzi in rappresentazioni specifiche per frequenza prima della discretizzazione.

• Generazione di Patch: Le serie temporali multivariate in ingresso vengono segmentate in patch temporali di lunghezza $w$.
• Codificatore Multi-Scala: Un modulo in stile Inception elabora ogni patch attraverso $S$ rami temporali distinti. Ogni ramo utilizza convoluzioni temporali 1-D con dimensioni del kernel variabili ($K_{temporal}$) per catturare caratteristiche a diverse risoluzioni.
• Integrazione con Transformer: Embedding temporali e spaziali addestrabili vengono aggiunti alle caratteristiche multi-scala, che vengono poi elaborate da livelli di transformer condivisi per produrre rappresentazioni di patch multi-scala.
• RVQ Gerarchica: Invece di un singolo codebook, il modello impiega $S$ codebook di Quantizzazione Vettoriale Residuale (RVQ), uno per ramo temporale. Ogni ramo quantizza iterativamente il residuo della rappresentazione della patch, producendo una sequenza di token neurali ($z_1, \dots, z_N$) che ricostruiscono collettivamente la patch. Questo approccio gerarchico consente una preservazione dettagliata dei particolari fini.

2. Funzione di Perdita Consapevole della Fase

Per affrontare l'instabilità e la sub-ottimalità della ricostruzione diretta di forme d'onda o fasi grezze, NEURORVQ opera nel dominio di Fourier con una nuova funzione di perdita composta da tre componenti:

• Perdita di Fase: Invece di minimizzare l'Errore Quadratico Medio (MSE) sugli angoli di fase grezzi (che soffre di discontinuità ai confini $\pm\pi$), il modello prevede le componenti seno e coseno ($\hat{c}, \hat{s}$) della fase. La perdita è calcolata tramite somiglianza del coseno tra il vettore previsto $(\hat{c}, \hat{s})$ e il vettore unitario target $(\cos \phi, \sin \phi)$. Questo rispetta la topologia circolare della fase e garantisce gradienti continui.
• Perdita di Log-Ampiezza: Il modello ricostruisce $\log(1 + A)$ invece dell'ampiezza grezza $A$. Questa scalatura logaritmica comprime il range dinamico e pone maggiore enfasi sulle componenti ad alta frequenza.
• Regolarizzazione Temporale: Una perdita MSE nel dominio temporale viene applicata alla forma d'onda ricostruita (derivata dallo spettro previsto) per fornire un'ulteriore guida nel dominio del tempo.

3. Configurazione Adattiva alla Modalità

Sebbene l'architettura sia unificata, gli iperparametri sono sintonizzati per modalità per corrispondere alle caratteristiche spettro-temporali:

• EEG: Ricampionato a 200 Hz; lunghezza della patch $w=1$s; 4 rami; 8 codebook RVQ per ramo.
• ECG: Ricampionato a 200 Hz; lunghezza della patch $w=200$ms (per isolare i complessi QRS); 4 rami; 8 codebook RVQ per ramo.
• EMG: Ricampionato a 1000 Hz (per catturare contenuti a banda larga fino a 500 Hz); lunghezza della patch $w=200$ms; 4 rami; 16 codebook RVQ per ramo.

Contributi Chiave

1. Tokenizzatore Multi-Scala Adattivo alla Modalità: Un'architettura innovativa che scompone i biosegnali in rappresentazioni specifiche per frequenza tramite convoluzioni temporali e li codifica in codebook RVQ gerarchici, consentendo una ricostruzione ad alta fedeltà attraverso EEG, ECG ed EMG.
2. Funzione di Perdita Consapevole della Fase: Un obiettivo di addestramento che ricostruisce lo spettro di Fourier utilizzando una perdita di log-ampiezza e una perdita di fase basata sulla somiglianza del coseno, gestendo efficacemente la topologia circolare degli angoli di fase ed enfatizzando il contenuto ad alta frequenza.
3. Modelli Fondamentali NEURORVQ-FM: L'addestramento di semplici modelli fondamentali a token mascherato per ciascuna modalità utilizzando i tokenizzatori proposti. Questi modelli dimostrano che la tokenizzazione ad alta fedeltà, piuttosto che la scala massiva del modello o la complessità architetturale, è il principale motore delle prestazioni a valle.

Risultati

Gli autori validano NEURORVQ attraverso metriche di ricostruzione del segnale e prestazioni nelle attività a valle:

• Fedeltà di Ricostruzione: NEURORVQ ottiene prestazioni di ricostruzione all'avanguardia. Gli studi di ablazione mostrano che la combinazione di architettura multi-scala e perdita consapevole della fase produce riduzioni drammatiche dell'errore di ricostruzione (ad esempio, una riduzione di 43 volte dell'MSE EEG rispetto a una semplice baseline). NEURORVQ supera i tokenizzatori esistenti basati su codebook (LaBraM, BrainOmni) in tutte le bande di frequenza.
• Prestazioni a Valle:
  • EEG: NEURORVQ-EEG ottiene la massima accuratezza bilanciata media su cinque compiti di classificazione (Motore, ERP, Memoria, Sonno, Occhi), superando il modello successivo migliore di +4,2 punti percentuali.
  • ECG: Sul benchmark PTB-XL, NEURORVQ-ECG raddoppia l'accuratezza bilanciata di HuBERT-ECG sul compito di classificazione fine-granulare a 43 classi, che è impegnativo.
  • EMG: NEURORVQ-EMG supera i modelli fondamentali esistenti (PhysioWave, TinyMyo) su quattro benchmark di classificazione (Gesti Discreti, EPN-612, NinaPro DB5, UCI-EMG).
• Efficienza: I modelli NEURORVQ-FM ottengono questi risultati con backbones compatti (ad esempio, ~5,9M di parametri per EEG/EMG, ~264K per ECG), significativamente più piccoli rispetto ai modelli concorrenti come NeuroGPT (79,5M) o ECGFounder (30,7M).

Significato e Affermazioni

Il documento sostiene che la tokenizzazione ad alta fedeltà è un ingrediente critico per modelli fondamentali efficaci sui biosegnali. Gli autori affermano che il successo della modellazione generativa mascherata in questo dominio dipende meno dall'aumento della scala del modello o della complessità architetturale e più dalla capacità del tokenizzatore di preservare le informazioni strutturali complete del segnale, incluse le dinamiche ad alta frequenza e le relazioni di fase.

Dimostrando che un'architettura di modello fondamentale semplice, quando accoppiata a un tokenizzatore ad alta fedeltà, può superare modelli esistenti più grandi e complessi, il lavoro suggerisce un nuovo principio di progettazione per l'IA sui biosegnali: dare priorità alla qualità della rappresentazione discreta (la "grammatica" del segnale) rispetto alla dimensione del modello generativo. Gli autori concludono che NEURORVQ apre la strada a un utilizzo più ampio ed efficiente dei modelli fondamentali nello spazio dei biosegnali.