Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition

In dit artikel wordt Uni-ASR voorgesteld, een unified framework op basis van LLM's dat naadloos zowel niet-streaming als streaming spraakherkenning ondersteunt via een gezamenlijk trainingsparadigma en een contextbewuste fallback-decodestrategie, waardoor hoge nauwkeurigheid wordt bereikt zonder extra latentie.

De kern

Stel je voor dat je een tolk hebt die twee heel verschillende manieren van werken kan: de perfectionist en de snelheidsduivel.

• De perfectionist luistert naar het hele gesprek, denkt na over de context, en geeft dan pas een perfect, foutloos verslag. Dit is geweldig voor nauwkeurigheid, maar het duurt even.
• De snelheidsduivel schrijft mee terwijl je praat, woord voor woord. Dit is super snel (ideaal voor live ondertiteling), maar omdat hij niet kan "terugkijken" naar wat er later komt, maakt hij soms fouten of moet hij dingen later corrigeren.

Tot nu toe moesten bedrijven kiezen: of ze hadden een perfect systeem, of een snel systeem. Ze konden niet beide hebben in één programma.

Uni-ASR is de nieuwe oplossing van Alibaba die deze twee werelden samenvoegt. Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. De "Chameleontolker" (De Architectuur)

Stel je Uni-ASR voor als een slimme tolk die een chameleontische hoed draagt.

• Soms draagt hij de hoed van de perfectionist (niet-streaming). Hij luistert naar het hele gesprek en geeft het beste antwoord.
• Soms draagt hij de hoed van de snelheidsduivel (streaming). Hij schrijft direct mee terwijl je praat.

Het mooie is: het is één en dezelfde tolk. Je hoeft geen twee verschillende mensen in te huren of het systeem te vervangen. Het systeem schakelt moeiteloos tussen deze twee modi zonder dat de bouw van het systeem verandert.

2. De "Oefensessie met een Twist" (Training)

Hoe leer je een tolk om beide dingen goed te doen? Normaal gesproken oefen je ze apart. Bij Uni-ASR doen ze iets slim: Gemengde Oefeningen.

• De Normale Oefening: De tolk oefent met volledige zinnen (zoals in een klaslokaal).
• De Stroom-Oefening: Ze oefenen ook met stukjes tekst, alsof de tolk alleen maar een fragment van een gesprek hoort.

Maar hier komt de echte magie: De Context-bewuste Oefening.
Stel je voor dat de snelheidsduivel-tolk een stukje tekst schrijft, maar dan stopt hij plotseling. In de echte wereld moet hij dan wachten tot het volgende stukje audio komt om te zien of hij zijn laatste woordje moet aanpassen.
Bij Uni-ASR leren ze de tolk tijdens de training om opzettelijk te stoppen en te wachten. Ze zeggen: "Schrijf dit woord, maar doe alsof je het misschien moet wissen als het volgende stukje audio iets anders suggereert."

Dit zorgt ervoor dat de tolk leert om niet te panikeren als hij een woord moet corrigeren. Hij leert om slim om te gaan met de onzekerheid van het "live" werken.

3. De "Terugval-Strategie" (Decoding)

Dit is de veiligheidsnet-methode.
Stel je voor dat de snelheidsduivel-tolk een woord heeft geschreven, maar het volgende stukje audio laat zien dat hij een foutje maakte.

• Oude methode: Hij zou het hele verslag opnieuw moeten typen (traag) of het foutje laten staan (slecht).
• Uni-ASR methode: Hij gebruikt een trucje. Hij zegt: "Oké, ik heb dit woord geschreven, maar ik ga het even 'verstoppen' (met een leeg teken vullen) en ik kijk naar het nieuwe stukje audio om het opnieuw te bedenken."

Dit gebeurt zo snel dat je het niet merkt. Het is alsof de tolk in een splitseconde denkt: "Ah, ik dacht 'appel', maar nu ik de rest van de zin hoor, was het 'ananas'. Ik pas het direct aan zonder de hele zin te herschrijven."

Waarom is dit belangrijk?

Vroeger was het een compromis:

• Wil je snelheid? Dan accepteer je meer fouten.
• Wil je nauwkeurigheid? Dan moet je wachten.

Met Uni-ASR krijg je het beste van beide werelden:

1. Het is net zo nauwkeurig als de beste systemen die wachten tot je klaar bent.
2. Het is net zo snel als de beste systemen die live meeschrijven.

Het is alsof je eindelijk een tolk hebt die zowel een briljant essay kan schrijven als live commentaar kan geven tijdens een voetbalwedstrijd, zonder dat je merkt dat hij van rol wisselt. Dit maakt het perfect voor apps die direct vertalen, live ondertiteling voor vergaderingen, of spraakbesturing in je auto, waar snelheid en nauwkeurigheid even belangrijk zijn.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Uni-ASR: Unified LLM-Based Architecture for Non-Streaming and Streaming Automatic Speech Recognition" in het Nederlands.

Probleemstelling

Hoewel de integratie van Automatic Speech Recognition (ASR) systemen met Large Language Models (LLM's) de nauwkeurigheid aanzienlijk heeft verbeterd, blijft de implementatie van deze systemen in low-latency streaming-scenario's (zoals real-time ondertiteling) een uitdaging. Bestaande oplossingen vallen vaak in twee categorieën, beide met beperkingen:

1. Incrementele inferentie op niet-streaming modellen: Hierbij wordt een bestaand niet-streaming model gebruikt met strategieën zoals hold-n of wait-k. Dit leidt echter tot een mismatch tussen training en inferentie, wat resulteert in rekenkundige redundantie (herhaalde initialisatie) en onvoorspelbare latentiepieken.
2. Specifieke streaming-modellen: Modellen zoals Transducer-Llama of MoCha-ASR zijn specifiek ontworpen voor streaming, maar missen vaak diepe integratie tussen spraak en taal, zijn beperkt tot kleinere modellen, of introduceren te veel complexiteit in de inferentiepiplijn.

Er is een behoefte aan een unificatie: een enkel architectonisch raamwerk dat zowel hoge nauwkeurigheid in niet-streaming modus als lage latentie in streaming modus kan bieden zonder de modelarchitectuur te hoeven aanpassen.

Methodologie

Het paper introduceert Uni-ASR, een unificerend framework gebaseerd op een LLM (specifiek Qwen3-1.7B) dat beide inferentiemodi natief ondersteunt.

1. Model Architectuur
De architectuur bestaat uit drie kerncomponenten:

• Audio Encoder: Gebruikt een Conformer-architectuur om spraakrepresentaties te extraheren. Voor streaming wordt causale convolutie gebruikt om strikte causaliteit te garanderen.
• Audio Adapter: Projecteert spraakrepresentaties naar een embedding-ruimte die compatibel is met de LLM.
• LLM Decoder: Een voorgetrainde taalmodel dat autoregressief transcripties genereert op basis van spraakrepresentaties en tekst-prompten.

2. Gezamenlijk Trainingsparadigma (Joint Training)
Uni-ASR gebruikt één enkel model dat wordt getraind met een mix van drie paradigma's:

• Niet-streaming (NS): Het volledige zin wordt verwerkt. De input bestaat uit spraak + <sos> + ground-truth tekst.
• Standaard Streaming (SS): Spraak wordt opgedeeld in vaste chunks. Een externe forced-alignment tool segmenteert de tekst. De input bestaat uit interleaved spraak- en teksttokens (met <pad> tokens waar nodig).
• Context-bewuste Streaming (CS): Dit is een innovatief trainingsparadigma om de mismatch tussen training en inferentie op te lossen. Tijdens training worden de laatste teksttoken van een chunk vervangen door <pad> en wordt het <eos>-token weggelaten. Dit dwingt het model om cross-chunk contextuele afhankelijkheden te leren en te anticiperen op ontbrekende tokens.

3. Decodestrategie: Latest-Token Fallback
Om de latentie te minimaliseren zonder de nauwkeurigheid te verliezen, wordt een Latest-Token Fallback Decoding strategie voorgesteld:

• Bij het verwerken van een nieuwe spraakchunk wordt de laatste teksttoken van de vorige chunk voorlopig uitgegeven.
• Zodra de volgende chunk arriveert, wordt de KV-cache (key-value cache) van de vorige ronde gereset en wordt de laatste token vervangen door <pad>.
• Het model voert vervolgens een herdecoding uit binnen de huidige contextvenster om de ontbrekende token correct te genereren.
• Dit zorgt voor een strikte consistentie tussen training en inferentie, waardoor het model leert om fouten in grenzen te corrigeren zonder extra latentie toe te voegen tijdens de inferentie.

Belangrijkste Bijdragen

• Unificatie van Modi: Uni-ASR is het eerste framework dat niet-streaming en streaming inferentie volledig integreert in één enkele architectuur zonder aparte modelvarianten.
• Context-bewuste Training: De introductie van het CS-paradigma en de fallback-strategie sluit de kloof tussen training en inferentie, wat leidt tot betere prestaties in streaming scenario's zonder extra rekenkosten.
• Efficiënte Streaming: Door het gebruik van incrementele KV-cache en herdecoding wordt redundantie verminderd, wat resulteert in stabiele latentie.

Resultaten

De experimenten zijn uitgevoerd op open-source benchmarks (AISHELL, LibriSpeech, FLEURS, WeNetSpeech) voor zowel Chinees als Engels.

• Niet-streaming Prestaties: Uni-ASR bereikt concurrentieerbare nauwkeurigheid met state-of-the-art (SOTA) systemen (zoals Whisper en FireRedASR) in de niet-streaming modus.
• Streaming Prestaties: In streaming modus (met een chunkgrootte van 1000ms) overtreft Uni-ASR bestaande native streaming frameworks zoals Speech ReaLLM, SpeechLLM-XL en MoCha-ASR.
  • Bijvoorbeeld op LibriSpeech test-clean: Uni-ASR scoort een WER van 2.44 (streaming) versus 1.93 (niet-streaming), wat een zeer kleine daling is vergeleken met andere streaming modellen die vaak grotere verliezen lijden.
• Ablatie Studies:
  • Chunk Lengte: Het verminderen van de chunkgrootte (van 1000ms naar 320ms) verhoogt de latentie, maar leidt tot een merkbare daling in nauwkeurigheid (tot +32% WER).
  • Decodestrategie: De voorgestelde latest-token fallback strategie verbetert de prestaties aanzienlijk, vooral bij kleinere chunks. Bij 320ms chunkgrootte resulteert dit in een relatieve reductie van de gemiddelde WER van bijna 20% ten opzichte van standaard greedy decoding.

Significantie

Uni-ASR biedt een praktische en resource-efficiënte oplossing voor veelzijdige ASR-implementaties. Het bewijst dat het niet nodig is om te kiezen tussen hoge nauwkeurigheid (niet-streaming) en lage latentie (streaming). Door een unificerend trainingsparadigma en slimme decodestrategieën te gebruiken, overbrugt dit werk de traditionele kloof tussen deze twee werelden. Dit is een belangrijke stap vooruit voor real-time toepassingen zoals live ondertiteling, spraakgestuurde assistenten en andere latency-gevoelige diensten, waarbij zowel snelheid als betrouwbaarheid cruciaal zijn.