A cross-species neural foundation model for end-to-end speech decoding

Probleemstelling

Spraak-Brain-Computer Interfaces (BCI's) hebben tot doel de communicatie te herstellen voor mensen met verlamming door neurale activiteit om te zetten in tekst. Bestaande systemen maken echter vaak gebruik van gekaskerde frameworks:

1. Een neurale encoder (vaak een RNN) zet neurale signalen om in fonemen.
2. Een taalmodel (n-gram LM) assembleert deze fonemen tot zinnen.

Deze aanpak heeft twee grote beperkingen:

• Gebrek aan gezamenlijke optimalisatie: De verschillende onderdelen worden apart getraind, wat kan leiden tot een dissociatie tussen de prestaties van de fonem-encoder en het totale systeem (een lage fonem-foutenrate garandeert niet altijd een lage woordfoutenrate).
• Beperkte architectuur: Bestaande end-to-end methoden gebruiken vaak RNN's zonder voortraining, waardoor ze geen gebruik maken van moderne transformer-architecturen die complexere neurale representaties beter kunnen vastleggen.

Methodologie: Het BIT Framework

De auteurs introduceren BIT (BraIn-to-Text), een volledig end-to-end differentieerbaar neurale interface die neurale activiteit direct omzet in coherente zinnen. De architectuur bestaat uit drie hoofdblokken:

1. Cross-Species, Cross-Task Pretrained Neural Encoder:

   • Architectuur: Een transformer-encoder die neurale activiteit verwerkt.
   • Input: Neurale data van Utah-arrays (spike counts en spike-band power) in 20ms bins.
   • Pretraining: De encoder wordt voorgetraind met zelftoezicht (Self-Supervised Learning - SSL) via een "masked modeling" strategie (vergelijkbaar met BERT/MAE).
   • Data: Het model wordt getraind op 367 uur aan data van zowel mensen als apen (monkeys), gedurende spraak- en arm-motorische taken. Dit zorgt voor robuuste, generieke neurale representaties.
   • Fijnafstemming (Fine-tuning): Na pretraining wordt de encoder gefinetuned voor fonem-decodering (met CTC-loss) om fonetische informatie te coderen, wat dient als een tussenstap voor de end-to-end training.

2. Audio-Large Language Model (LLM) Decoder:

   • In plaats van een traditioneel tekst-LLM, gebruikt BIT een audio-LLM (zoals Aero1-Audio 1.5B of Qwen2-Audio).
   • Motivatie: Audio-LLMs hebben een inductieve bias voor spraak en geluid, wat beter aansluit bij de aard van spraakgeneratie vanuit neurale signalen dan pure tekstmodellen.
   • Projectie: De neurale embeddings worden via een ondiepe MLP-projector gemapt naar de embedding-ruimte van de LLM.

3. Cross-Modale Alignering:

   • Om de neurale signalen en tekst beter op elkaar af te stemmen, wordt contrastive learning toegepast.
   • Een "modality aligner" projecteert gemiddelde neurale en tekst-embeddings naar een gedeelde latente ruimte.
   • Het doel is om embeddings van dezelfde zin (neurale input vs. tekstdoel) dichter bij elkaar te brengen en die van verschillende zinnen verder uit elkaar te duwen.

Kernbijdragen

• Eerste End-to-End SOTA: BIT is het eerste systeem dat een transformer-based encoder combineert met een audio-LLM voor volledige end-to-end spraakdecoding, zonder tussenliggende fonem-output als verplichte stap voor de generatie.
• Cross-Species Transfer: Het bewijst dat voortraining op data van zowel mensen als apen (over verschillende taken heen) leidt tot superieure representaties die beter generaliseren dan modellen die alleen op menselijke data of alleen op RNN's zijn getraind.
• Generalisatie naar "Imagined Speech": Het model kan succesvol worden overgebracht van "attempted speech" (waarbij de spieren bewegen maar geen geluid produceren) naar "imagined speech" (stil denken van spraak), een taak met zeer weinig gelabelde data.
• Efficiëntie van Audio-LLMs: Het paper toont aan dat kleinere audio-LLMs (bijv. 1.5B parameters) betere prestaties leveren dan grotere tekst-LLMs voor deze specifieke taak, waarschijnlijk vanwege de inherente spraakkennis in het audio-model.

Resultaten

De prestaties zijn geëvalueerd op de Brain-to-Text Benchmark '24 en '25:

• Cascaded Framework (Fonem -> Zin):

  • De voorgetrainde encoder (BIT-All) behaalde een state-of-the-art (SOTA) Word Error Rate (WER) van 6.35% (zonder ensemble), wat een verbetering is ten opzichte van de vorige beste van 7.98%.
  • Met ensemble-methoden daalde de WER naar 5.10%.

• End-to-End Framework:

  • BIT reduceerde de WER van de vorige end-to-end methode (Feng et al., 2024) van 24.69% naar 10.22%.
  • Met ensemble-methoden op de '25 benchmark werd een WER van 7.76% behaald.
  • Dit sluit de kloof tussen end-to-end en cascaded systemen aanzienlijk in.

• Imagined Speech:

  • Voor de taak van "imagined speech" (met slechts 50 woorden vocabulaire) presteerde BIT-All aanzienlijk beter dan alle baselines (tot 45% lagere WER), wat aantoont dat SSL-pretraining cruciaal is voor low-data scenario's.

• Interpretability:

  • Representational Similarity Analysis (RSA) toonde aan dat de neurale embeddings van BIT structureel meer lijken op die van audio-LLMs dan op die van RNN's.
  • De embeddings van "attempted" en "imagined" speech zijn sterk op elkaar afgestemd in de semantische ruimte, wat cross-task generalisatie mogelijk maakt.

Betekenis en Impact

Dit werk markeert een paradigmaverschuiving in de ontwikkeling van spraak-BCI's:

1. Van Cascaded naar End-to-End: Het bewijst dat end-to-end optimalisatie met moderne LLM's en transformer-encoders superieur is aan traditionele, gefragmenteerde pipelines.
2. Schaalbaarheid: Het benadrukt het belang van grote, diverse datasets (mens + dier) en zelftoezicht voor het trainen van fundamentele neurale modellen ("foundation models").
3. Toekomstperspectief: Hoewel er nog uitdagingen zijn voor real-time toepassing (latency van ~0.95s per zin vs. 0.24s voor cascaded), legt BIT de basis voor toekomstige systemen die directe, vloeiende communicatie mogelijk maken voor patiënten met verlamming, zonder tussenkomst van fonem-uitvoer. Het opent ook de deur voor privacy-bewuste toepassingen waarbij "inner speech" (gedachten) direct kan worden vertaald, mits met strikte ethische kaders.