Brain-to-Speech: Prosody Feature Engineering and Transformer-Based Reconstruction

Probleemstelling

De hersen-naar-spraak (Brain-to-Speech of BTS) technologie heeft als doel spraak direct te synthetiseren uit neurale activiteit, wat cruciaal is voor individuen met ernstige spraakstoornissen. Hoewel intracraniale elektro-encefalografie (iEEG) hoge ruimtelijke en temporele resolutie biedt, blijven er aanzienlijke uitdagingen bestaan:

1. Gebrek aan Prosodie: Bestaande modellen focussen vaak alleen op de spectrale omhullende en negeren essentiële prosodische elementen zoals intonatie, ritme en klemtoon. Dit resulteert in robotachtige, monotone spraak die weinig natuurlijk klinkt.
2. Fase-informatie: Traditionele vocoders (zoals Griffin-Lim) introduceren fase-inconsistenties, wat leidt tot waarneembare vervormingen en een afname in spraakkwaliteit.
3. Generalisatie: Diepe leermodellen worstelen vaak met de variabiliteit in neurale signalen tussen verschillende proefpersonen en sessies.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat drie kerncomponenten integreert: prosodie-bewuste feature engineering, een transformer-gebaseerde reconstructie en een geavanceerde vocoder.

1. Prosodie-Embedding en Feature Extractie
In plaats van alleen vaste frequentiebanden te gebruiken, maakt het model gebruik van een Discrete Wavelet Transform (DWT) met de Daubechies-4 (db4) wavelet. Dit decomposeert iEEG-signalen in meerdere schalen om zowel snelle articulatoire dynamiek als langzamere prosodische modulaties vast te leggen:

• High-gamma (70–170 Hz): Voor fonemische articulatie.
• Beta (15–30 Hz): Voor motorische planning.
• Theta (4–8 Hz): Voor syllabische timing en prosodie.
  Daarnaast wordt Cross-Frequency Coupling (CFC), specifiek Phase-Amplitude Coupling (PAC), gebruikt om de interactie tussen lage frequenties (fase) en hoge frequenties (amplitude) te kwantificeren.
  Er worden expliciete prosodische kenmerken geëxtraheerd en genormaliseerd: Fundamentele frequentie (F0), energie, shimmer, duur en fase-variabiliteit. Deze worden via een niet-lineaire mapping naar een latente ruimte geëmbed.

2. Transformer-gebaseerde Spectrogram Reconstructie
Om de hoge dimensionaliteit en ruis van neurale data te beheersen, wordt eerst een Autoencoder gebruikt om de features te comprimeren naar een compacte latente representatie.
Vervolgens wordt een Transformer-encoder ingezet voor de spectrogramvoorspelling. In tegenstelling tot RNN's (zoals LSTM) die sequentieel werken, gebruikt de Transformer Self-Attention mechanismen om langere afhankelijkheden in de tijd parallel te verwerken. Dit zorgt voor een betere contextuele integratie van fonetische en prosodische cues. Positieve encoding wordt toegepast om de tijdsvolgorde te behouden.

3. Iterative Harmonic Phase Reconstruction (IHPR) Vocoder
Om het probleem van fase-inconsistentie op te lossen, introduceren de auteurs een nieuwe vocoder: IHPR.

• Deze vocoder past de fase van het Short-Time Fourier Transform (STFT) iteratief aan om harmonische consistentie te behouden.
• Er wordt gebruikgemaakt van een spectrale correctie term op basis van afgeleiden voor smoothing.
• Een perceptuele loss-functie wordt gebruikt om de convergentie te sturen en de harmonische-ruisverhouding te maximaliseren.

Kernbijdragen

• Prosodie-bewuste Feature Engineering: Een nieuwe pipeline die wavelet-gebaseerde decompositie combineert met expliciete extractie van prosodische parameters (F0, ritme, stress) direct uit iEEG-signalen.
• Specifieke Transformer Architectuur: Een ontwerp dat geëxtraheerde prosodische features integreert om de expressiviteit van de gegenereerde spraak te verbeteren, in plaats van alleen spectrale enveloppen te voorspellen.
• IHPR Vocoder: Een innovatieve fase-reconstructiemethode die significante verbeteringen biedt ten opzichte van traditionele methoden zoals Griffin-Lim, door harmonische structuren te behouden.
• Uitgebreide Evaluatie: Een robuuste validatie tegen bestaande baselines (Regression, bLSTM, CNN, Seq2Seq) met zowel objectieve als perceptuele metrics.

Resultaten

Het model werd getest op een dataset van iEEG-opnames (geassocieerd met de inferior frontale gyrus) en vergeleken met state-of-the-art baselines. De resultaten tonen een overtuigende superioriteit:

• Objectieve Metrics:
  • Pearson Correlation (PC): 0.91 (hoogste, vergeleken met 0.87 bij de beste baseline).
  • Mel Cepstral Distortion (MCD): 3.92 (laagste, wat betekent minder spectrale vervorming; baselines lagen rond 4.34 - 5.39).
  • Short-Time Objective Intelligibility (STOI): 0.73 (significant hoger dan de 0.64 van de encoder-decoder baseline).
  • Harmonic-to-Noise Ratio (HNR): 12.7 dB (hoogste, wat wijst op betere fase-reconstructie).
• Perceptuele Evaluatie (MOSA-Net):
  • Het gegenereerde spraaksignaal werd als aanzienlijk natuurlijker en expressiever beoordeeld dan die van CNN- of RNN-gebaseerde modellen. De Transformer-architectuur slaagde erin de lange termijn afhankelijkheden en prosodische variaties beter vast te leggen.
• Stabiliteit: Het model toonde consistent hoge prestaties over alle proefpersonen, terwijl baselines grote variabiliteit vertoonden.

Betekenis en Toekomstperspectief

Deze studie is een belangrijke stap voorwaarts in het veld van AI-gedreven neuroprotheses. Door de nadruk te leggen op prosodie en fase-integriteit, wordt de kloof tussen "herkenbare" en "natuurlijke" hersen-naar-spraak systemen kleiner. Dit heeft directe klinische relevantie voor het herstellen van communicatie bij patiënten met spraakverlies.

Toekomstige richtingen die door de auteurs worden genoemd, omvatten:

• Integratie van diffusiemodellen voor nog hogere kwaliteit golfvormgeneratie.
• Ontwikkeling van real-time inferentiesystemen om de huidige computatietijd te verlagen.
• Uitbreiding naar niet-invasieve methoden (zoals EEG en MEG) om de toepasbaarheid voor een bredere populatie te vergroten.
• Verbetering van de generalisatie tussen verschillende proefpersonen via personalisatiestrategieën.