SENS-ASR: Semantic Embedding injection in Neural-transducer for Streaming Automatic Speech Recognition

Dit paper introduceert SENS-ASR, een methode die de transcriptiekwaliteit van streaming automatische spraakherkenning verbetert door akoestische informatie aan te vullen met semantische informatie afgeleid van verleden frames via kennisdistillatie, wat resulteert in een aanzienlijke vermindering van de woordfoutenratio bij scenarios met een kleine chunk-grootte.

De kern

Hier is een uitleg van het paper SENS-ASR in gewoon Nederlands, met behulp van creatieve vergelijkingen om het makkelijk te maken.

De Probleemstelling: De "Blindeman" die moet luisteren

Stel je voor dat je een vertaler bent die een gesprek moet meedraaien in een drukke kamer.

• Offline modus (niet-streaming): Je mag eerst het hele gesprek afwachten, alles op een rijtje zetten en dan pas beginnen met vertalen. Omdat je de hele context hebt, maak je weinig fouten.
• Streaming modus (zoals in dit paper): Je moet direct beginnen met vertalen terwijl de spreker nog aan het praten is. Je hebt geen idee wat er straks gezegd gaat worden. Je werkt als het ware met een blinddoek op je ogen voor de toekomst.

Het probleem is dat de huidige technologie (de "vertaler") vaak vastloopt. Omdat hij niet weet wat er komt, raakt hij in de war. Hij denkt dat een woord "hond" is, terwijl de spreker eigenlijk "hondsdol" zegt. Zonder de toekomstige context maakt hij meer fouten, vooral als hij heel snel moet werken (lage latentie).

De Oplossing: SENS-ASR (De "Slimme Notitieblok")

De auteurs van dit paper, SENS-ASR, hebben een slimme truc bedacht. Ze zeggen: "Als we de toekomst niet kunnen zien, moeten we beter kijken naar het verleden en de betekenis van wat er al gezegd is."

Hun idee is om semantische informatie (de betekenis van de zinnen) toe te voegen aan de geluidsgegevens.

Stel je voor dat de computer normaal gesproken alleen luistert naar de klanken (zoals "k-l-o-p"). SENS-ASR voegt daar een notitieblok aan toe dat de betekenis onthoudt (zoals "er wordt ergens op de deur geklopt").

Hoe werkt het? (De Drie Stappen)

1. De "Oude Meester" (De Leraar)

Eerst trainen ze een heel slimme "Oude Meester" (een taalmodel). Deze meester leest de volledige tekst van een gesprek en leert hoe je die tekst in één zin samenvat. Hij weet precies wat de bedoeling van de spreker was.

2. De "Leerling" (Het Context-moduletje)

Nu hebben ze een nieuwe, snellere "Leerling" nodig die tijdens het streamen meeloopt. Deze leerling mag niet naar de toekomst kijken.

• De Truc: Ze laten de Leerling kijken naar wat de Oude Meester zou hebben gezegd over het verleden, en proberen dat na te bootsen.
• De Analogie: Het is alsof de Leerling een spiegel krijgt. Als de spreker zegt "Ik ga naar...", denkt de Leerling niet alleen aan het geluid, maar zegt hij tegen zichzelf: "Wacht, de Oude Meester zou zeggen dat dit waarschijnlijk over 'werk' of 'school' gaat, gezien wat er eerder gezegd is."

3. Het Samenvoegen (De Injectie)

Tijdens het streamen wordt deze "betekenis-informatie" (de notitie) direct in het geluidsbeeld van de computer "ingejecteerd".

• Voorbeeld: Als de computer het geluid "baan" hoort, en de notitie zegt "het gaat over werk", dan is de kans groot dat het woord "baan" is en niet "baan" (zoals in een bakkerij). De computer maakt een betere keuze zonder de toekomst te hoeven kennen.

Waarom is dit zo goed?

In het paper laten ze zien dat dit werkt, vooral als de computer heel snel moet werken (kleine stukjes audio tegelijk).

• Zonder SENS-ASR: De computer raakt in de war en maakt veel invulfouten (hij voegt woorden toe die er niet zijn).
• Met SENS-ASR: De computer gebruikt de "context-notities" om de fouten te voorkomen. Het is alsof je een gesprek voert met iemand die goed luistert naar de sfeer van het gesprek, niet alleen naar de woorden.

De Resultaten in het Kort

• Ze hebben dit getest op grote datasets (zoals audioboeken en TED-talks).
• Bij kleine stukjes audio (waar de computer weinig tijd heeft om na te denken) viel het aantal fouten (WER - Word Error Rate) aanzienlijk lager uit.
• Bij hele lange stukjes audio (waar de computer al veel context heeft) werkt het ook goed, maar het grootste voordeel zit hem in de snelle, streaming situaties.

Conclusie

SENS-ASR is als het geven van een korte samenvatting van het verleden aan een vertaler die in real-time moet werken. Door de computer niet alleen te laten kijken naar geluidsgolven, maar ook naar de betekenis van wat er al gezegd is, wordt de vertaling veel nauwkeuriger, zelfs als de computer niet mag wachten tot de spreker klaar is.

Het is een slimme manier om de "blinddoek" van de toekomst een beetje op te tillen door het verleden slimmer te gebruiken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SENS-ASR: Semantic Embedding injection in Neural-transducer for Streaming Automatic Speech Recognition" in het Nederlands.

Probleemstelling

Streaming Automatic Speech Recognition (ASR) systemen moeten audio verwerken terwijl deze nog wordt opgenomen, zonder toegang tot de volledige toekomstige context. Dit beperkte toekomstige perspectief leidt vaak tot een significante prestatiedaling in vergelijking met offline systemen, vooral bij strikte latentie-eisen.
Bestaande oplossingen proberen dit op te lossen door:

1. Chunk-wise attention: Dit helpt bij het begin van een chunk, maar lost het gebrek aan toekomstige context niet op voor de laatste frames van een chunk.
2. Lookahead-mechanismen: Deze wachten op extra frames, wat de latentie verhoogt en de rekentijd vergroot.
3. Externe Taalmodellen (LM): Deze worden vaak gebruikt tijdens inferentie om de semantische informatie te compenseren die ontbreekt in de encoder-embeddings. Echter, recente studies tonen aan dat Large Language Models (LLMs) vaak "lekkage" vertonen (de testsets zijn mogelijk in hun trainingsdata opgenomen), waardoor hun prestaties op publieke datasets twijfelachtig zijn.

De kern van het probleem is dat bestaande streaming-ASR-modellen voornamelijk op akoestische kenmerken vertrouwen en tekortschieten in het modelleren van semantische context (betekenis) binnen de beperkte tijdvensters.

Methodologie: SENS-ASR

De auteurs stellen SENS-ASR voor, een framework dat semantische informatie direct injecteert in de frame-embeddings van een Neuraal Transducer (RNN-T) model. De architectuur bestaat uit twee hoofdstadia:

1. Architectuur en Context Module

• Basis: Het systeem gebruikt een RNN-T met een Conformer-encoder.
• Context Module: Een nieuwe component die semantische embeddings genereert op basis van de geschiedenis van de vorige akoestische frames.
  • Voor elke chunk $\gamma$ wordt een unieke context-embedding $C^{(\gamma)}$ berekend uit de vorige $P$ chunks.
  • Deze embedding wordt gegenereerd via attention pooling op de frame-embeddings.
  • De context-embedding wordt vervolgens geconjungeerd met elke frame-embedding binnen de huidige chunk voordat deze de Joint Network binnenkomt.
• Training: Het model wordt getraind met een gecombineerde loss-functie:
  $$L_{SENS-ASR} = L_{RNN-T} + \alpha \cdot L_{MSE}$$
  Waarbij $L_{RNN-T}$ de standaard transducer-verliesfunctie is en $L_{MSE}$ de Mean Square Error is die de Context Module dwingt om de output van een "Teacher Sentence Embedding Model" na te bootsen.

2. Training van de Teacher Sentence Embedding Model

Om de kwaliteit van de semantische informatie te garanderen, wordt een bestaand Sentence Embedding Model (MPnet) fijngefineerd (fine-tuned) op de specifieke ASR-dataset.

• Paraphrasing Protocol: Er worden paren zinnen gegenereerd (originele transcriptie vs. herschreven versie) met behulp van een LLM (Mistral 7B).
• Filtering: Om hallucinaties te voorkomen, worden gegenereerde paraphrases gefilterd op basis van BERTScore (minimaal 0.5) en lengteverhouding.
• Voorkomen van Neural Collapse: Om te voorkomen dat het model alle embeddings naar één punt duwt, worden negatieve paren (zinnen van verschillende sprekers) toegevoegd aan de trainingsdata. De verhouding is 2/3 positieve paren en 1/3 negatieve paren.

3. Dynamic Chunk Training (DCT)

Om het model zowel in streaming- als offline-modus te laten presteren, wordt DCT gebruikt. Tijdens het trainen wisselt het model willekeurig tussen verschillende chunk-groottes (van 160ms tot volledige context), zodat het leert omgaan met variabele contextlengtes zonder specifieke inferentie-chunk-grootte te vereisen.

Belangrijkste Bijdragen

1. Semantische Injectie: Een nieuwe context-module die real-time semantische embeddings genereert en deze injecteert in de frame-representaties van de encoder, waardoor het gat tussen lokale akoestische features en globale semantische context wordt overbrugd.
2. Fijngefineerde Teacher Model: Een protocol om een Sentence Embedding Model specifiek te fine-tunen op de ASR-domein-transcripties (via LLM-paraphrasing) om een robuuste leraar te creëren voor kennisdistillatie.
3. Efficiëntie: Het systeem verbetert de prestaties zonder de latentie te verhogen (geen extra wachttijd voor lookahead) en zonder externe taalmodellen tijdens de inferentie te gebruiken.

Resultaten

De methode is getest op de LibriSpeech (test-clean en test-other) en TEDLIUM-2 datasets.

• Verbetering bij kleine chunks: De grootste winst wordt geboekt bij strikte streaming-condities (kleine chunk-groottes).
  • Op LibriSpeech test-clean met een chunk-grootte van 160ms: WER daalt van 7.55% (baseline) naar 7.21% (-0.34% absoluut).
  • Op TEDLIUM-2 met 160ms: WER daalt van 16.52% naar 15.60% (-0.92% absoluut).
• Stabiliteit bij grote chunks: Bij grotere chunk-groottes (640ms, 1280ms) en volledige context blijven de prestaties vergelijkbaar met de baseline (soms een zeer kleine daling, maar binnen de foutmarges), wat aantoont dat de toevoeging van de context-module de offline prestaties niet schaadt.
• Error Analyse: De verbetering komt vooral voort uit een significante reductie van inserties (-20.51%) en substituties. Dit suggereert dat de semantische context het model helpt om minder "verbaal" of overbodig te transcriberen.
• Vergelijking met SOTA: Het model presteert concurrerend met state-of-the-art modellen, zelfs als het slechts één keer is getraind met DCT, terwijl andere modellen vaak specifiek voor één chunk-grootte zijn getraind.

Betekenis en Conclusie

SENS-ASR bewijst dat het integreren van semantische context direct in de encoder-embeddings een effectieve manier is om de beperkingen van streaming ASR te overwinnen. In plaats van te vertrouwen op externe taalmodellen of toekomstige frames (wat latentie kost), leert het model de betekenis van de gesproken tekst te "voorspellen" op basis van de recente geschiedenis.

Dit leidt tot:

• Betere nauwkeurigheid bij lage latentie (kritiek voor real-time toepassingen).
• Robuustheid over verschillende chunk-groottes dankzij Dynamic Chunk Training.
• Een schone architectuur die geen afhankelijkheid heeft van potentiële data-lekkage in grote externe taalmodellen tijdens de inferentie.

De auteurs concluderen dat semantische verrijking van frame-embeddings een veelbelovende richting is voor de toekomst van streaming ASR, met potentie voor uitbreiding naar andere talen en adaptieve chunk-groottes.