Efficient Solutions for Mitigating Initialization Bias in Unsupervised Self-Adaptive Auditory Attention Decoding

Sintesi Tecnica: Soluzioni Efficienti per Mitigare il Bias di Inizializzazione nel Decoding dell'Attenzione Uditiva Auto-Adattivo Non Supervisionato

Problematica
Il Decoding dell'Attenzione Uditiva (AAD) mira a identificare l'interlocutore a cui un utente sta prestando attenzione in un ambiente con più parlanti utilizzando segnali elettroencefalografici (EEG), una capacità critica per gli apparecchi acustici controllati neuralmente. Gli attuali metodi allo stato dell'arte richiedono tipicamente un addestramento supervisionato con etichette di verità fondamentale (ground-truth) del parlante seguito, il che necessita di tediose sessioni di calibrazione per ogni utente e configurazione EEG. Per eliminare questa dipendenza, è stato sviluppato un approccio AAD auto-adattivo non supervisionato basato sulla ricostruzione dello stimolo. Questo approccio inizializza un decoder con etichette di attenzione casuali e affina iterativamente il modello utilizzando le nuove etichette predette.

Tuttavia, questo processo auto-adattivo non supervisionato soffre di un bias di inizializzazione. Poiché il modello si addestra e viene testato sugli stessi dati attraverso le iterazioni, tende a rinforzare le predizioni iniziali (potenzialmente errate), causando il rischio che il sistema rimanga bloccato in uno stato subottimale. Sebbene una soluzione precedente di Heintz et al. [8] abbia affrontato questo problema implementando una validazione incrociata leave-one-out all'interno di ogni iterazione, tale approccio introduce una sostanziale complessità computazionale che scala linearmente con il numero di segmenti di dati ($K$), rendendolo impraticabile per applicazioni in tempo reale o tempo-adattive.

Metodologia
Il documento propone tre alternative computazionalmente efficienti basate sull'Analisi delle Correlazioni Canoniche (CCA) che mitigano il bias di inizializzazione senza l'elevato carico computazionale della validazione incrociata. I metodi operano su uno scenario a 2 parlanti (generalizzabile a $N$ parlanti) dove i segnali EEG ($X$) e le caratteristiche del parlato ($S_1, S_2$) vengono elaborati in segmenti.

1. Versione a Due Encoder:
   A differenza del modello base a singolo encoder che ottimizza solo per le caratteristiche del parlante seguito ($S_a$), questa variante introduce un secondo encoder per le caratteristiche del parlante non seguito ($S_u$). Entrambi gli encoder condividono un singolo decoder EEG ($W_x$). L'obiettivo è massimizzare congiuntamente la correlazione tra l'EEG e le caratteristiche di entrambi i parlanti. L'ipotesi è che, costringendo il decoder a tenere conto delle risposte a entrambi i parlanti, il modello diventi meno suscettibile all'essere "attratto" da un parlato erroneamente etichettato come seguito, aumentando così la robustezza agli errori di etichetta e la capacità di recuperare dagli errori iniziali.

2. Versione Soft:
   Invece di effettuare assegnazioni binarie rigide (attenzione al Parlante 1 o 2) per ogni segmento, questo metodo assegna pesi probabilistici ($p_{1k}, p_{2k}$) basati sull'incertezza della predizione. Le statistiche utilizzate per la CCA ($R_{xa}$ e $R_{aa}$) sono calcolate utilizzando una somma ponderata delle caratteristiche dei parlanti ($p_{1k}S_{1k} + p_{2k}S_{2k}$). Le probabilità sono stimate tramite un approccio non supervisionato specifico per il soggetto, che modella la distribuzione delle correlazioni canoniche per i parlanti seguiti e non seguiti come due distribuzioni gaussiane. Ciò fornisce un compromesso fondato, mantenendo la struttura ottimale a singolo encoder e incorporando adattivamente informazioni da entrambi i parlanti quando il modello è incerto.

3. Single-Encoder con Inizializzazione per Somma:
   Questo approccio affronta il bias fin dal primo passaggio. Invece di inizializzare con etichette casuali, il modello viene addestrato nella prima iterazione utilizzando un segnale composito formato dalla somma delle caratteristiche di entrambi i parlanti. Ciò corrisponde all'impostazione delle probabilità iniziali a $p_{1k} = p_{2k} = 0.5$. L'ipotesi è che questo fornisca un punto di partenza informativo che cattura le risposte neurali comuni a entrambi i parlanti, prevenendo il ciclo di bias dell'etichetta auto-sostenuto che deriva da un'inizializzazione casuale arbitraria.

Contributi Chiave

• Efficienza Algoritmica: Il documento presenta tre metodi che raggiungono prestazioni comparabili al baseline della validazione incrociata [8], ma con costi computazionali significativamente inferiori e costanti.
• Scalabilità: A differenza del metodo di validazione incrociata, il cui tempo computazionale scala linearmente con la dimensione del dataset (richiedendo $K$ addestramenti del modello per iterazione), i metodi proposti richiedono un unico addestramento del modello per iterazione.
• Mitigazione del Bias: Le varianti proposte riescono a rompere il ciclo di bias di inizializzazione inerente allo standard AAD auto-adattivo, permettendo al modello di convergere verso soluzioni di qualità superiore senza l'oneroso addestramento incrociato interno.

Risultati Sperimentali
I metodi sono stati valutati su un dataset pubblico contenente registrazioni EEG a 64 canali di 16 soggetti che prestavano attenzione a uno di due parlanti concorrenti. Le prestazioni sono state misurate sia in termini transduttivi (predizione sui dati di addestramento) che induttivi (generalizzazione su dati non visti).

• Accuratezza:
  • Il Single-Encoder con Inizializzazione per Somma ha superato costantemente il metodo a due encoder ed è stato particolarmente efficace con quantità limitate di dati di addestramento (5–15 minuti).
  • La Versione Soft ha ottenuto prestazioni inferiori su dataset piccoli, ma si è avvicinata all'accuratezza della variante con validazione incrociata all'aumentare della dimensione del set di addestramento.
  • In generale, la rimozione del bias di inizializzazione ha prodotto miglioramenti più marcati nel decoding transduttivo.
• Costo Computazionale:
  • Il tempo di CPU del baseline della validazione incrociata è scalato linearmente, raggiungendo circa 30 volte il costo del baseline per set di addestramento di 45 minuti.
  • I metodi Two-Encoder e Soft hanno mantenuto un tempo CPU normalizzato costante di circa 1.5× rispetto al baseline, indipendentemente dalla dimensione dei dati.
  • Il metodo Sum-Initialized ha eguagliato il costo computazionale del baseline (1.0×).

Significatività e Rivendicazioni
Gli autori affermano che queste soluzioni rendono l'AAD auto-adattivo non supervisionato significativamente più praticabile per implementazioni in tempo reale o tempo-adattive [9]. Eliminando la necessità di una costosa validazione incrociata e mantenendo la robustezza contro il bias di inizializzazione, i metodi proposti offrono una via pratica per l'impiego di dispositivi acustici controllati neuralmente senza l'onere di frequenti sessioni di calibrazione etichettate. Il documento sottolinea che, per dataset più piccoli, l'approccio Sum-Initialized è il migliore per prestazioni con un overhead computazionale minimo, mentre il metodo a etichette Soft diventa competitivo per dataset più grandi, offrendo un'alternativa a basso costo allo standard d'oro della validazione incrociata.