SATTC: Structure-Aware Label-Free Test-Time Calibration for Cross-Subject EEG-to-Image Retrieval

Each language version is independently generated for its own context, not a direct translation.

Immagina di voler leggere la mente di una persona per capire cosa sta guardando, basandoti solo sulle sue onde cerebrali (EEG). È come se avessi un traduttore che deve trasformare i pensieri in immagini. Il problema è che ogni cervello è unico: quello che per te è un'immagine di un "gatto", per un altro potrebbe sembrare un "cane" se guardiamo solo i segnali grezzi. Inoltre, c'è un problema tecnico chiamato "effetto hub": alcune immagini (come il cielo o un volto umano) sono così comuni che il traduttore le sceglie sempre, ignorando le immagini più rare e specifiche.

Questo articolo presenta SATTC, una soluzione intelligente per migliorare questo "traduttore" senza bisogno di riaddestrarlo o chiedere alla persona di dire cosa sta guardando.

Ecco come funziona, spiegato con metafore semplici:

1. Il Problema: Il Traduttore Confuso

Immagina di avere un traduttore automatico (il modello di intelligenza artificiale) che è stato addestrato su 9 persone diverse. Ora devi usarlo su una 10ª persona che non hai mai visto prima.

Il problema del "cervello diverso": La 10ª persona ha un modo di pensare leggermente diverso (come avere un accento diverso). Il traduttore, abituato agli altri 9, fa confusione.
Il problema degli "Hub" (i popolari): Immagina che il traduttore sia un turista in una città. Se chiede "dove posso andare?", il 90% delle volte gli dirà "Vai al centro della città" (l'hub), perché è il posto più famoso. Ma se il turista vuole vedere un piccolo museo nascosto, il traduttore non lo troverà mai perché è ossessionato dal centro. Nel nostro caso, il modello sceglie sempre le stesse immagini comuni, ignorando quelle specifiche.

2. La Soluzione: SATTC (Il "Calibratore" Intelligente)

SATTC è come un regista esperto che si siede dietro il traduttore mentre sta lavorando, ma senza toccare il traduttore stesso (non lo riaddestra). Il regista guarda solo la lista delle opzioni che il traduttore ha preparato e la corregge in tempo reale.

SATTC usa due "esperti" che lavorano insieme:

Esperto Geometrico: Il "Raddrizzatore di Mappe"

Prima di tutto, SATTC guarda come la nuova persona (il soggetto) si muove nello spazio dei pensieri.

Sbiancamento adattivo (SAW): Immagina che ogni persona abbia una mappa mentale leggermente inclinata. SATTC prende la mappa della nuova persona e la "raddrizza" e la "livella" per farla combaciare con le altre. È come se metti gli occhiali giusti a qualcuno che vede tutto storto, per far sì che le distanze tra le idee siano corrette.
CSLS Adattivo: Questo è il metodo per combattere gli "Hub". Invece di dire "tutti i luoghi popolari sono buoni", SATTC chiede: "Quanto è affollato questo posto per questa specifica persona?". Se un'immagine è troppo popolare (un hub), SATTC ne riduce il punteggio, dando più spazio alle immagini rare e specifiche che la persona stava effettivamente guardando.

Esperto Strutturale: Il "Detective delle Relazioni"

Questo esperto guarda le connessioni tra le domande e le risposte.

Amici reciproci: Se l'immagine A è la prima scelta per il pensiero B, e il pensiero B è la prima scelta per l'immagine A, allora sono "amici veri". SATTC dà loro un bonus.
Controllare i "Falsi Amici": Se un'immagine appare sempre come prima scelta per tutti (anche quando non dovrebbe), SATTC la etichetta come "sospetta" e ne riduce il punteggio.

3. La Magia Finale: La Fusione (Product-of-Experts)

SATTC prende i consigli di entrambi gli esperti (il raddrizzatore di mappe e il detective) e li unisce in una sola decisione finale.

Se l'esperto geometrico dice "Questa immagine è troppo popolare, scartala", e il detective dice "Questa immagine è un amico reciproco, tienila!", SATTC trova un equilibrio perfetto.
Il risultato è una lista corta e precisa (i primi 5 risultati) che è molto più affidabile di quella originale.

Perché è importante?

Funziona senza etichette: Non serve chiedere alla persona "Cosa stai guardando?" per correggere il modello. Funziona da solo, in tempo reale.
Funziona con chiunque: È stato testato con diversi tipi di "traduttori" (modelli neurali diversi) e funziona sempre meglio, indipendentemente da quale sia stato usato.
Equità: Non favorisce più le immagini comuni. Dà una possibilità anche alle immagini rare, rendendo il sistema più giusto e preciso.

In sintesi: SATTC è come un regista esperto che, vedendo che il traduttore automatico sta scegliendo sempre le stesse cose sbagliate a causa delle differenze tra le persone, interviene con un "filtro intelligente" per ricalibrare la lista delle opzioni, garantendo che il risultato finale sia quello che la persona stava realmente pensando, anche se è la prima volta che la si incontra.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema: Recupero Immagine-EEG Cross-Subject

Il lavoro affronta la sfida del decodifica visiva tramite segnali EEG (elettroencefalogramma) in scenari cross-subject (tra diversi soggetti). L'obiettivo è recuperare immagini da un database basandosi su segnali cerebrali di un soggetto mai visto in precedenza (protocollo Leave-One-Subject-Out o LOSO).

Le principali difficoltà identificate sono:

Shift del Soggetto (Subject Shift): Le distribuzioni delle caratteristiche EEG variano significativamente tra individui diversi (media, varianza, covarianza), rendendo i modelli addestrati su un gruppo di soggetti poco efficaci su nuovi utenti senza ri-addestramento.
Hubness: Nello spazio di embedding ad alta dimensionalità, pochi punti (classi "hub") appaiono frequentemente nelle liste dei primi $k$ vicini per molte query diverse. Questo distorce la geometria della similarità, rendendo le liste corte (es. Top-1 o Top-5) inaffidabili e sbilanciate verso classi popolari.
Mancanza di Calibrazione Test-Time: Le pipeline esistenti si basano spesso su ricerche di vicinato "nudo" (nearest-neighbor) su encoder congelati, senza meccanismi di calibrazione durante l'inferenza che siano privi di etichette (label-free) e consapevoli della struttura dei dati.

2. Metodologia: SATTC (Structure-Aware Test-Time Calibration)

SATTC è un modulo di calibrazione test-time che opera direttamente sulla matrice di similarità generata da encoder EEG e immagini congelati, senza richiedere etichette dei dati di test o modifiche ai pesi della rete.

L'approccio si articola in tre fasi principali:

A. Normalizzazione Geometrica (Subject-Adaptive Whitening - SAW)

Per mitigare lo shift del soggetto, SATTC applica un whitening adattivo al soggetto sulle embedding EEG prima del calcolo della similarità:

Si stima la media ( $\mu_s$ ) e la covarianza ( $\Sigma_s$ ) per ogni soggetto utilizzando embedding non etichettati (finestra di calibrazione).
Si applica una trasformazione di whitening regolarizzata per portare le distribuzioni dei diversi soggetti su una sfera condivisa, preservando le direzioni relative.
Questo viene combinato con una normalizzazione $\ell_2$ e un whitening globale sulle embedding delle immagini candidate.

B. Esperto Geometrico: CSLS Adattivo

Per contrastare l'hubness, il metodo utilizza una variante adattiva di Cross-domain Similarity Local Scaling (CSLS):

A differenza del CSLS standard che usa una dimensione del vicinato $k$ fissa per tutti, SATTC stima la densità locale sia per riga (query) che per colonna (classe).
Deriva dimensioni del vicinato ( $k_{row}$ e $k_{col}$ ) adattive basate sulla densità locale: le query in regioni sparse usano vicinati più piccoli, mentre quelle in regioni dense usano vicinati più grandi.
Questo riduce il peso delle classi "hub" globali senza penalizzare eccessivamente le classi rare o le corrispondenze corrette in regioni sparse.

C. Esperto Strutturale e Fusione PoE

Un secondo componente, l'Esperto Strutturale, analizza la matrice di similarità pre-CSLS per estrarre pattern strutturali senza modificare gli encoder:

Sfrutta i vicini reciproci più prossimi (MNN), i ranghi top- $k$ bidirezionali e la popolarità di classe.
Assegna bonus alle corrispondenze strutturalmente robuste (es. MNN@1) e penalità alle classi che si comportano come hub (presenti in molte liste top-k ma non supportate localmente).
Fusione Product-of-Experts (PoE): I punteggi dell'esperto geometrico (CSLS adattivo) e dell'esperto strutturale vengono fusi tramite una somma pesata (equivalente a un PoE in spazio logit) per produrre i punteggi finali calibrati.

3. Contributi Chiave

Formulazione del Problema: Definizione del recupero cross-subject come un problema di calibrazione test-time priva di etichette, caratterizzando empiricamente come lo shift del soggetto e l'hubness destabilizzino i ranking.
Esperto Geometrico Adattivo: Introduzione di un CSLS che stima densità locali per query e classe, eliminando la necessità di un parametro $k$ globale fissato e migliorando la mitigazione dell'hubness.
Esperto Strutturale: Sviluppo di un modulo basato su evidenze strutturali (MNN, ranghi bidirezionali, popolarità) che raffina le liste corte senza iterazioni o pseudo-etichette.
Architettura Plug-and-Play: SATTC agisce come un layer di calibrazione indipendente dall'encoder, applicabile a qualsiasi pipeline EEG-to-Image esistente.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset THINGS-EEG con un protocollo rigoroso Leave-One-Subject-Out (LOSO).

Baseline: Una pipeline standardizzata (similarità coseno, normalizzazione $\ell_2$ , whitening candidati) ha già superato la baseline originale ATM.
Miglioramenti di SATTC: Rispetto alla baseline standardizzata, SATTC ha migliorato significativamente:
- Top-1 Accuracy: Da 9.2% a 14.8%.
- Top-5 Accuracy: Da 30.5% a 38.4%.
- Riduzione dell'Hubness: La distribuzione della popolarità delle classi è diventata più uniforme, riducendo la dominanza di poche classi.
- Equità per Classe: Miglioramento del Recall@K per le classi rare e riduzione della varianza tra classi.
Generalizzazione: SATTC ha dimostrato guadagni consistenti su quattro architetture di encoder diverse (ATM, EEGNetV4, EEGConformer, ShallowFBCSPNet), confermando la sua natura agnostica rispetto all'encoder.
Ablazione: L'aggiunta del solo whitening adattivo (SAW) ha portato il maggior guadagno iniziale, ma la combinazione con CSLS adattivo e l'esperto strutturale ha ottimizzato ulteriormente la precisione Top-1 senza sacrificare il Top-5.

5. Significato e Impatto

Il lavoro di SATTC è significativo perché:

Supera i limiti dell'addestramento: Dimostra che è possibile migliorare drasticamente le prestazioni di decodifica neurale agendo solo sulla fase di inferenza (test-time) su encoder congelati, senza bisogno di dati etichettati per il nuovo soggetto.
Affidabilità per applicazioni reali: La capacità di produrre liste corte (small-k shortlists) più affidabili e bilanciate è cruciale per applicazioni pratiche di interazione cervello-computer (BCI), dove la precisione Top-1 è spesso il requisito fondamentale.
Approccio modulare: Fornisce un componente riutilizzabile che può essere integrato in qualsiasi sistema di recupero cross-modale, rendendo la calibrazione dello spazio di similarità una via pratica per la decodifica neurale robusta.

In sintesi, SATTC risolve il problema della variabilità inter-soggetto e dell'hubness attraverso una calibrazione intelligente e strutturata dei punteggi di similarità, offrendo un nuovo standard per il recupero immagini basato su EEG in scenari reali e privi di etichette.