What Does the Brain See? Multiview Neural Representations to Demystify the Brain-Visual Alignment

Sintesi Tecnica: Cosa vede il cervello? Rappresentazioni neurali multiview per demistificare l'allineamento cervello-visione

Definizione del Problema
La decodifica visiva zero-shot da elettroencefalografia (EEG) mira a inferire la semantica visiva da registrazioni neurali non invasive senza una precedente esposizione a specifiche categorie di test. Sebbene i recenti progressi in dataset su larga scala (ad es. THINGS-EEG) e modelli visione-linguaggio pre-addestrati (ad es. CLIP) abbiano facilitato questo compito, rimangono sfide significative. I segnali EEG sono intrinsecamente rumorosi, non stazionari e spazialmente grossolani. I metodi di allineamento esistenti si affidano spesso a embedding EEG "olistici" che non riescono a catturare la struttura eterogenea delle risposte neurali. Nello specifico, questi approcci trascurano frequentemente le dinamiche temporali complementari, i pattern spettrali e le dipendenze spaziali inerenti ai dati EEG, portando a rappresentazioni instabili che si allineano debolmente con la semantica visiva, in particolare negli scenari cross-subject e cross-session.

Metodologia
Gli autori propongono un framework unificato di apprendimento di rappresentazioni EEG multiview progettato per costruire un encoder EEG robusto che allinei i segnali neurali con spazi semantici visivi pre-addestrati. Invece di modificare l'encoder visivo, il metodo si concentra sull'apprendimento di un encoder EEG più forte e strutturato che modella congiuntamente tre viste complementari:

1. Modellazione Temporale (Stato Spazio-Condizionato dall'Input): Per catturare dipendenze temporali a lungo raggio e adattive rispetto all'input, il framework impiega un Modello di Spazio-Stato Selettivo (S3M). Questo modulo mantiene uno stato latente che evolve nel tempo in base a step size e proiezioni dipendenti dall'input. L'output è ulteriormente raffinato tramite convoluzioni 1D per catturare pattern temporali locali.
2. Modellazione Spettrale (Decomposizione Wavelet Adattiva Apprendibile - ALWD): Andando oltre le bande di frequenza predefinite, il metodo introduce l'ALWD per selezionare dinamicamente le rappresentazioni di frequenza condizionate dal segnale di input. Utilizza un banco di filtri passa-basso e passa-alto apprendibili, sintetizzando pesi specifici per ogni campione per decomporre l'EEG in componenti a bassa frequenza (oscillazioni stabili) e alta frequenza (attività transitorie). Setti S3M separati elaborano questi componenti, seguiti da meccanismi di attenzione cross-frequenza per integrare le informazioni attraverso le scale spettrali.
3. Modellazione Spaziale (Apprendimento su Grafo Modulato dall'Attenzione): Riconoscendo che gli elettrodi catturano regioni cerebrali interagenti, il framework modella le dipendenze spaziali utilizzando una Rete Convoluzionale su Grafo (GCN). Costruisce una matrice di adiacenza dinamica che combina una struttura globale apprendibile con l'attenzione ai bordi dipendente dall'input, permettendo al modello di catturare sia le strutture spaziali condivise che le interazioni funzionali specifiche del campione.

Allineamento e Addestramento
Le caratteristiche temporali, spettrali e spaziali sono fuse in un embedding EEG compatto ($z_{eeg}$) e allineate con gli embedding visivi ($z_{img}$) estratti da un encoder CLIP-ViT-H-14 congelato. L'allineamento è ottenuto attraverso:

• Apprendimento Contrastivo: Una perdita contrastiva simmetrica allinea gli embedding EEG-immagine in uno spazio semantico condiviso.
• Regolarizzazione Specifica per l'EEG: Per affrontare la variabilità dell'EEG, gli autori introducono due regolarizzatori:
  • Regolarizzazione della Consistenza di Ripetizione (RCR): Impone la coerenza tra prove ripetute dello stesso stimolo.
  • Regolarizzazione Contrastiva a Livello di Prototipo (CPCA): Potenzia la struttura semantica a livello di classe.

Contributi Chiave

• Framework Multiview Unificato: Il primo framework che modella congiuntamente le dinamiche temporali a lungo raggio, la struttura spettrale adattiva e le interazioni spaziali degli elettrodi per la decodifica visiva EEG zero-shot.
• Design dell'Encoder Complementare: Introduzione di moduli specifici (S3M, ALWD e GCN modulata dall'attenzione) che disgregano e modellano esplicitamente le distinte caratteristiche dei segnali EEG.
• Strategie di Regolarizzazione: Inclusione della consistenza a livello di trial e dell'allineamento semantico a livello di classe per migliorare la stabilità della rappresentazione.
  e. Valutazione Sistematica Cross-Session: Il paper presenta la prima valutazione sistematica della decodifica immagine-EEG attraverso diverse sessioni di registrazione, un setting precedentemente inesplorato nei contesti di decodifica semantica.

Risultati Sperimentali
Il metodo è stato valutato sul benchmark THINGS-EEG (1.854 concetti di oggetti, 10 soggetti) sotto tre impostazioni zero-shot:

• Within-Subject (All'interno del Soggetto): Ha raggiunto il 54,8% di accuratezza Top-1 e l'85,6% di Top-5, superando il baseline più forte (UBP) rispettivamente del +3,9% e del +5,9%.
• Cross-Subject (Tra Soggetti): Ha raggiunto il 15,3% di Top-1 e il 45,4% di Top-5, mostrando un miglioramento di +2,9% Top-1 e +12,0% Top-5 rispetto a UBP, indicando una robusta generalizzazione tra i soggetti.
• Cross-Session (Tra Sessioni): Ha raggiunto il 40,8% di Top-1 e il 78,0% di Top-5, dimostrando stabilità attraverso le sessioni di registrazione dove la maggior parte dei metodi esistenti non riporta baseline.

Gli studi di ablazione hanno confermato che rimuovere una qualsiasi delle tre viste (temporale, spettrale o spaziale) o i termini di regolarizzazione degrada significativamente le prestazioni, validando la necessità dell'approccio multiview.

Significato e Rivendicazioni
Il paper sostiene che modellare esplicitamente la struttura neurale multiview dei segnali EEG migliori significativamente sia l'allineamento semantico che la generalizzazione nei compiti di decodifica visiva. Allontanandosi dagli embedding olistici verso una rappresentazione strutturata che rispetta la natura temporale, spettrale e spaziale dell'attività cerebrale, il metodo proposto fornisce una base più affidabile per l'allineamento EEG-visione. Gli autori suggeriscono che questo approccio offre un percorso scalabile verso una decodifica neurale più robusta, in particolare in scenari realistici che coinvolgono la variabilità dipendente dalla sessione e la generalizzazione tra i soggetti. I risultati evidenziano come i bias induttivi strutturati siano cruciali per colmare il divario tra le registrazioni neurali rumorose e l'alta semantica visiva.