Technische Samenvatting: MURMUR – Een Efficiënt Inferentiesysteem voor Long-Form ASR

Probleemstelling

Long-form automatische spraakherkenning (ASR) staat voor een fundamentele afweging tussen nauwkeurigheid en latentie. Bestaande benaderingen vallen uiteen in twee categorieën, elk met aanzienlijke beperkingen:

1. Chunk-gebaseerde Pipelines (bijv. WhisperX): Deze systemen verwerken audio in vaste, korte vensters (bijv. 30 seconden) om parallelle inferentie en lage latentie mogelijk te maken. Ze lijden echter aan contextfragmentatie, wat leidt tot fouten in sprekerstoeschrijving en tijdstempelgeneratie op de grenzen van de chunks. Ze vertrouwen op breekbare heuristieken en externe modules (zoals aparte diarizatie) om segmenten aan elkaar te naaien, wat vaak resulteert in een verminderde prestatie op metrieken zoals time-constrained WER (tcpWER).
2. Long-Context Single-Pass Modellen (bijv. VibeVoice-ASR): Deze modellen verwerken volledige opnames in één enkele autoregressieve pass, waarbij ze cross-chunk context behouden voor superieure nauwkeurigheid en natuurlijke spreker-/tijdstempeloutput. Ze zijn echter computationeel duur en kampen met hoge inferentielatentie door kwadratische attention-schaling en kosten voor KV-cachebeheer. Bovendien zijn ze gevoelig voor catastrofale fouten, zoals repetitielussen, die kunnen ervoor zorgen dat de gehele inferentie-aanvraag mislukt.

De kernuitdaging is het bereiken van de hoge nauwkeurigheid en robuuste spreker-/tijdstempel-uitlijning van single-pass modellen, terwijl de lage latentie en robuustheid van chunk-gebaseerde systemen behouden blijven.

Methodologie

De auteurs stellen MURMUR voor, een inferentiesysteem dat op twee granulariteiten werkt om deze afweging te overwinnen:

1. Inter-Chunk Optimalisatie: Instelbare Chunk Grootte

In plaats van vast te houden aan vaste korte vensters of de gehele opname in één keer te verwerken, behandelt MURMUR de chunk grootte als een instelbare hyperparameter.

• Analyse: De auteurs hebben de relatie tussen chunk grootte en prestaties op de AMI-IHM dataset geanalyseerd. Ze ontdekten dat de nauwkeurigheid afvlakt bij een matige contextlengte, terwijl extreem lange contexten de prestaties in ruisige omstandigheden kunnen verslechteren door geaccumuleerde akoestische verwarring.
• Strategie: MURMUR hanteert een intermediaire chunk grootte van 300 seconden. Deze grootte vormt een evenwicht; het evenaart of overtreft de single-pass nauwkeurigheid onder diverse omstandigheden, terwijl het gebundelde parallelle inferentie mogelijk maakt.
• Stitching: Het systeem gebruikt Voice Activity Detection (VAD) om spraakgrenzen te identificeren, voegt segmenten samen in 300s chunks en verwerkt deze parallel. Na de inferentie voert het cross-chunk heruitlijning uit. Cruciaal is dat het, in plaats van externe diarizatie-labels af te dwingen, de interne sprekersassignaties van het model binnen de chunks als grondwaarheid beschouwt en alleen diarizatie gebruikt om de identiteit van sprekers over de chunkgrenzen heen te verzoenen.

2. Intra-Chunk Optimalisatie: Sliding Window KV Cache Eviction

Om de latentie binnen de 300s chunks verder te verlagen, maakt MURMUR gebruik van attention-schaarsheid via een aangepast KV cache eviction beleid.

• Observatie: Profiling toonde aan dat spraak-tokens extreme attention-schaarsheid vertonen. In VibeVoice-ASR zijn minder dan 25% van de spraak-tokens verantwoordelijk voor 99% van de totale attention-gewichten in de meeste lagen. Daarnaast vertonen de attention-patronen een diagonale schaarsheid die verschuift naarmate de decodering vordert.
• Beleid: Het systeem implementeert een sliding window eviction strategie die apart wordt toegepast op output-tokens en spraak-tokens:
  • Output Tokens: Volgt een StreamingLLM-stijl aanpak, waarbij "sink" tokens en een sliding window van recente tokens worden behouden.
  • Spraak-tokens: Introduceert een "delay-and-shift" beleid. Een vast venster van spraak-tokens wordt aanvankelijk behouden om het model toe te staan te letten op de vroege audio-context. Naarmate de decodering vordert, verschuift het venster naar voren en worden oudere spraak-tokens verwijderd die buiten de actieve attention-band vallen.
• Implementatie: Dit vereist aangepast KV cache beheer om de verschillende eviction-logica voor de pre-filled spraak-tokens versus de gegenereerde tekst-tokens te afhandelen.

Belangrijkste Bijdragen

1. Systematische Analyse van Chunk Grootte: Het artikel biedt een gedetailleerde karakterisering van chunk grootte als een hyperparameter voor long-context ASR, waarbij wordt aangetoond dat intermediaire groottes (300s) de afweging tussen transcriptie-nauwkeurigheid, sprekerstoeschrijving, temporele uitlijning en latentie optimaliseren.
2. MURMUR Architectuur: Het ontwerp van een inferentiesysteem dat VAD-gestuurde chunked parallelle inferentie combineert met intra-chunk KV cache eviction. Dit systeem produceert end-to-end transcripties met tijdstempels en sprekerlabels zonder afhankelijk te zijn van externe post-processing modules voor uitlijning.
3. Exploitatie van Spraak-token Schaarheid: De identificatie en benutting van extreme attention-schaarsheid in spraak-tokens binnen long-context ASR-modellen, wat een nieuw eviction beleid mogelijk maakt dat de inferentiekosten vermindert met minimale nauwkeurigheidsvermindering.

Resultaten

Geëvalueerd op het VibeVoice-ASR model over de AMI-IHM, AMI-SDM, Tedlium3 en Earnings21 datasets:

• Nauwkeurigheid vs. Latentie: Op de AMI-IHM dataset evenaart MURMUR de single-pass nauwkeurigheid (een tcpWER van ~25,29% met spraak-token eviction versus 25,68% baseline) terwijl de latentie met 4,2× wordt verminderd (van 370,7s naar 88,43s).
• Robuustheid: In tegen tegenoverkomend met single-pass inferentie, die catastrofaal faalde (repetitielussen) op 2 van de 14 AMI-IHM opnames, beperkt MURMUR fouten tot individuele chunks, waardoor de gehele aanvraag niet faalt.
• Impact van Eviction:
  • Alleen output token eviction leverde een 3,85× versnelling.
    • Alleen spraak-token eviction leverde een 4,20× versnelling.
  • De combinatie van beide leverde een 3,79× versnelling (iets lager door management overhead).
  • De spraak-token eviction strategie resulteerde in minder dan 1% relatieve degradatie in tcpWER vergeleken met de no-eviction baseline.
• Vergelijking: MURMUR presteert aanzienlijk beter dan chunk-gebaseerde baselines zoals WhisperX in tcpWER (25,73% vs. 35,54%) terwijl het een vergelijkbare latentie behoudt.

Betekenis en Claims

Het artikel stelt dat spraakherkenning beschikt over een "scherpe en goed gedefinieerde optimale contextlengte" (rond de 300 seconden), gedreven door de cumulatieve effecten van akoestische ruis en sprekercomplexiteit. Dit staat in contrast met tekst-LLM's, waarbij langere contexten vaak strikt voordelig zijn.

De betekenis van MURMUR ligt in het bewijs dat single-pass inferentie niet noodzakelijk is om single-pass nauwkeurigheid te bereiken. Door het optimale werkpunt voor de chunk grootte te identificeren en de specifieke attention-schaarheidspatronen van spraak-tokens te exploiteren, bereikt MURMUR het beste van beide werelden: de hoge getrouwheid van long-context modellen en de efficiëntie van chunked pipelines. De auteurs positioneren dit werk als een stap richting context-bewuste inferentiestrategieën voor long-form spraak, waarbij zij suggereren dat toekomstige systemen deze bevindingen kunnen generaliseren naarmate end-to-end long-context ASR-modellen gebruikelijker worden.

Het artikel merkt bescheiden de beperkingen op, waaronder de huidige toepasbaarheid enkel op modellen die van nature spreker-geattribueerde transcripties produceren en de evaluatie die beperkt is tot het Engels. Het claimt niet alle long-form ASR-uitdagingen op te lossen, maar biedt een specifieke, efficiënte inferentiearchitectuur voor de opkomende klasse van long-context ASR-modellen.