Brain-to-Speech: Prosody Feature Engineering and Transformer-Based Reconstruction

1. Il Problema

La sintesi della voce dal cervello (Brain-to-Speech, BTS) mira a ricostruire il parlato direttamente dall'attività neurale, offrendo una soluzione potenziale per individui con gravi disabilità del linguaggio. Tuttavia, la ricerca attuale affronta diverse sfide critiche:

• Mancanza di Prosodia: I modelli esistenti si concentrano principalmente sul recupero dell'inviluppo spettrale, trascurando elementi prosodici fondamentali come intonazione, ritmo e stress. Questo porta a una sintesi robotica, monotona e poco naturale.
• Incoerenza di Fase: Le tecniche di vocoding tradizionali (come l'algoritmo Griffin-Lim) introducono spesso incoerenze di fase, causando distorsioni percettive e riducendo la fedeltà del segnale audio.
• Variabilità Neurale: I modelli di deep learning faticano a generalizzare tra diversi soggetti e condizioni di parlato a causa della variabilità intrinseca dei segnali neurali.
• Limiti dei Modelli Sequenziali: Le architetture ricorrenti (RNN/LSTM) hanno difficoltà a catturare dipendenze a lungo raggio e sono computazionalmente inefficienti rispetto ai modelli basati su attenzione.

2. Metodologia Proposta

Gli autori presentano un framework innovativo che integra l'ingegneria delle caratteristiche consapevole della prosodia con modelli basati su Transformer. Il processo si articola in tre componenti principali:

A. Estrazione delle Caratteristiche e Incorporamento della Prosodia (Prosody Embedding)

• Trasformata Wavelet Discreta (DWT): Viene utilizzata la wavelet Daubechies-4 (db4) per decomporre i segnali iEEG in diverse scale di risoluzione. Questo permette di analizzare sia le dinamiche articolatorie ad alta frequenza che le modulazioni prosodiche a bassa frequenza.
  • Gamma alto (70–170 Hz): Cattura l'articolazione dei fonemi.
  • Beta (15–30 Hz) e Theta (4–8 Hz): Riflettono la pianificazione motoria e la modulazione prosodica (ritmo, sillabe).
• Accoppiamento di Frequenza Incrociata (CFC): Viene calcolato l'Accoppiamento Fase-Ampiezza (PAC) per quantificare come la fase delle oscillazioni a bassa frequenza (theta) moduli l'ampiezza dell'attività ad alta frequenza (gamma), essenziale per la struttura ritmica.
• Estrazione Esplicita della Prosodia: Vengono estratti direttamente dai segnali neurali:
  • Frequenza fondamentale (F0) per l'intonazione.
  • Energia (RMS) per l'enfasi.
  • Shimmer (variazione di ampiezza) e durata.
  • Variabilità di fase.
  • Queste caratteristiche vengono normalizzate (z-score) e mappate in uno spazio latente tramite un layer di embedding non lineare.

B. Ricostruzione dello Spettrogramma basata su Transformer

• Autoencoder: Un autoencoder comprime le caratteristiche neurali ad alta dimensionalità in uno spazio latente compatto, preservando le informazioni essenziali e riducendo il rumore.
• Transformer Encoder: Un modello Transformer basato su meccanismi di self-attention multi-testa predice gli spettri Mel. A differenza delle RNN, il Transformer elabora l'intera sequenza in parallelo, catturando efficacemente le dipendenze a lungo raggio e le relazioni contestuali tra le caratteristiche neurali e i frame dello spettrogramma.
• Codifica Posizionale: Viene utilizzata per introdurre informazioni temporali nella sequenza di input.

C. Vocoder Iterativo di Ricostruzione Armonica di Fase (IHPR)

Per superare i limiti dei vocoder tradizionali, viene introdotto un meccanismo di correzione della fase iterativa:

• Correzione Armonica: Raffina iterativamente le stime di fase della STFT (Short-Time Fourier Transform) per preservare la struttura armonica naturale del parlato.
• Correzione Spettrale: Utilizza una strategia di smoothing basata sulle derivate per ridurre le discontinuità di fase.
• Funzione di Perdita Percettiva: Viene impiegata una perdita pesata in frequenza per garantire la convergenza e minimizzare la distorsione spettrale.

3. Contributi Chiave

1. Pipeline di Feature Engineering Consapevole della Prosodia: Un approccio innovativo che estrae e incorpora esplicitamente intonazione, ritmo e stress dai segnali iEEG, colmando il divario tra l'attività neurale e la naturalezza del parlato.
2. Architettura Transformer Specifica per BTS: Sviluppo di un encoder Transformer progettato per integrare le caratteristiche prosodiche estratte, superando i limiti di memoria e scalabilità delle architetture RNN.
3. Vocoder IHPR: Introduzione di un metodo di ricostruzione della fase che garantisce coerenza armonica, riducendo significativamente le distorsioni percettive rispetto a Griffin-Lim.
4. Valutazione Olistica: Dimostrazione di prestazioni superiori sia su metriche oggettive che percettive rispetto ai metodi basati su CNN, LSTM e modelli Seq2Seq.

4. Risultati

Il framework è stato valutato su un dataset di segnali iEEG ad alta risoluzione (1024 Hz) provenienti da pazienti epilettici, confrontato con diverse linee di base (Regression, bLSTM, CNN, 3D-CNN, Seq2Seq, Encoder-Decoder).

• Metriche Oggettive:
  • Correlazione di Pearson (PC): Il modello proposto ha raggiunto 0.91, superando tutti i baseline (il migliore baseline era 0.87).
  • Distorsione Cepstrale Mel (MCD): Ha ottenuto un punteggio di 3.92 (più basso è meglio), indicando una distorsione spettrale minima.
  • Intelligibilità Obiettiva a Breve Termine (STOI): Ha raggiunto 0.73, significativamente superiore al baseline migliore (0.64), dimostrando una maggiore intelligibilità.
  • Rapporto Armonico-Rumore (HNR): 12.7 dB, indicando una migliore ricostruzione della fase e una voce più naturale.
• Valutazione Percettiva (MOSA-Net):
  • L'uso del modello MOSA-Net ha confermato che la voce sintetizzata è più naturale ed espressiva, con una minore variabilità tra i soggetti rispetto ai modelli di base.
  • La voce risultante è stata descritta come meno robotica e con una migliore fluidità ritmica.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo significativo nel campo delle neuroprotesi basate sull'IA e delle interfacce cervello-computer (BCI):

• Restaurazione della Comunicazione: Dimostra la fattibilità di generare un parlato non solo intelligibile, ma anche espressivo e naturale, cruciale per migliorare la qualità della vita di pazienti con afasia o paralisi del linguaggio.
• Avanzamento Tecnico: L'integrazione della prosodia e la correzione della fase risolvono due dei principali colli di bottiglia nella sintesi vocale neurale.
• Futuri Sviluppi: Gli autori indicano direzioni future come l'integrazione di modelli generativi basati su diffusion, l'ottimizzazione per l'inferenza in tempo reale (riducendo la latenza computazionale) e l'estensione a modalità di registrazione non invasive (EEG, MEG) per rendere la tecnologia accessibile a un pubblico più ampio.

In sintesi, il capitolo propone un framework end-to-end che combina l'elaborazione avanzata del segnale neurale con architetture di deep learning all'avanguardia per superare i limiti di naturalezza e intelligibilità dei sistemi Brain-to-Speech attuali.