Technische Samenvatting: Massale Open-Vocabulary Keyword Spotting

Probleemstelling

Automatische spraakherkenningssystemen (ASR), met name foundation models zoals Whisper, presteren vaak ondermaats bij het transcriberen van gespecialiseerde terminologie die zelden tijdens de training is gezien. Hoewel Contextual Biasing (CB) in combinatie met Open-Vocabulary Keyword Spotting (OV-KWS) is voorgesteld om dit te mitigeren door domeinspecifieke termen in de decoder te injecteren, kampen bestaande oplossingen met een kritieke schaalbaarheidsbottleneck. Huidige systemen vertrouwen op hoogdimensionale akoestische embeddings (bijv. van Whisper-medium) om keywords te representeren. Het opslaan van deze embeddings voor grote glossaria (bijv. duizenden termen) wordt onhaalbaar vanwege het excessieve geheugengebruik en de latentie. Zo vereist een baseline-aanpak ongeveer 7,3 MB per keyword, wat het onmogelijk maakt om glossaria van meer dan ~11.000 termen te laden op standaard 80GB GPU's. Dit beperkt de toepasbaarheid van CB in productieomgevingen die enorme, domeinspecifieke databases vereisen, zoals de gezondheidszorg of luchtverkeersleiding.

Methodologie

De auteurs stellen een systeem voor dat akoestische embeddings comprimeert om de verwerking van massale glossaria mogelijk te maken, terwijl de open-vocabulary capaciteiten behouden blijven. De aanpak omvat een compressiepipeline in drie stadia die wordt toegepast op de embeddings gegenereerd door een Whisper-encoder:

1. Layer Selection (Sparse Layer Identification):
   In plaats van representaties van alle transformer-lagen te aggregeren, gebruikt het systeem een geautomatiseerde strategie om een ijle (sparse) subset van lagen te identificeren die het meest voorspellend zijn voor keyword spotting. Een trainbare scorevector $w$ wordt toegepast op de laagrepresentaties, waarbij een sparsemax activatiefunctie wordt gebruikt als gate. Deze wordt gezamenlijk getraind met een ResNet-classifier met behulp van een binary cross-entropy loss en een extra entropy loss om ijleheid (sparsity) te bevorderen. In experimenten reduceerde dit de 32 lagen van Whisper-large-v2 tot slechts 3 voorspellende lagen (14, 16 en 32).

2. Hidden Dimension Reduction:
   Een lichtgewicht, single-hidden-layer feed-forward netwerk (FFN) wordt getraind om de embeddings van de oorspronkelijke verborgen dimensie ($h$) naar een kleinere dimensie ($h_{comp}$) te projecteren. Dit vermindert de feature-grootte zonder dat het onderliggende ASR-model gefinetuned hoeft te worden.

3. Temporal Resolution Reduction:
   Een 1D Convolutional Neural Network (CNN) wordt toegepast langs de frame-as om de temporele resolutie van de embeddings te verminderen. Het gebruik van een kernelgrootte van 3, een stride van 1, gevolgd door max-pooling (kernel 3, stride 2), vermindert de framerate met een factor 2 ($\alpha=2$).

Systeemintegratie:
De gecomprimeerde keyword embeddings worden opgeslagen in een database. Tijdens inferentie detecteert een OV-KWS-model (met behulp van de gecomprimeerde embeddings en een ResNet-classifier) relevante keywords in een uiting. Deze gedetecteerde keywords worden vervolgens als een prompt doorgegeven aan de Whisper-decoder om de generatie te sturen richting de domeinspecifieke termen.

Belangrijkste Bijdragen

• Automated Layer Selection: Een methode om transformer-lagen in akoestische encoders die het meest voorspellend zijn voor keyword spotting, spaars te identificeren, waardoor het aantal lagen dat voor embedding-generatie wordt gebruikt, wordt verminderd.
• Tri-dimensional Embedding Compression: Een mechanisme dat akoestische embeddings 128 keer comprimeert door de combinatie van layer selection, hidden dimension reduction en frame rate reduction, terwijl de baseline-prestaties behouden blijven.
• Scalable Production Demonstration: Een real-world demonstratie die aantoont dat de voorgestelde compressie de verwerking van massale databases (16.062 termen) mogelijk maakt met een significant lagere latentie en een kleiner geheugenvoetafdruk vergeleken met ongecomprimeerde baselines.

Experimentele Resultaten

Het systeem werd geëvalueerd met Whisper-large-v2 als backbone, getraind op Multilingual Librispeech (MLS) data, en getest op Chinese (Aishell), Engelse (ACL6060) en Portugese (Interne klinische) corpora.

• Keyword Spotting Prestaties: Het volledig gecomprimeerde model (LHF-comp) behaalde een F1-score van 69 ± 4 op ACL6060 en 86 ± 4 op Aishell. Opvallend genoeg presteerde het gecomprimeerde model op Aishell (een taal die niet tijdens de training is gezien) vergelijkbaar met de best presterende ongecomprimeerde baseline, ondanks dat het zonder Chinese data is getraind.
• Geheugen en Latentie: De voorgestelde methode verminderde de geheugenvoetafdruk met een factor 128. Voor een glossary van 16.062 termen daalde de geheugeneis van ~112 GB (Baseline) naar 882 MB, waardoor de volledige database op een 48GB GPU (NVIDIA L40) past. De verbeteringen in latentie waren aanzienlijk, waarbij het systeem massale databases 6 keer sneller verwerkte dan de ongecomprimeerde baseline.
• ASR Prestaties:
  • Op kleine, gecureerde glossaria (ACL6060, Aishell) verbeterde Contextual Biasing met het gecomprimeerde systeem de Entity Recall (bijv. van 52,5% naar 57,2% op ACL6060) en verminderde het de Mixed Error Rate (MER).
  • Op de massale, ongecureerde Interne klinische glossary, hoewel het systeem de data succesvol verwerkte, verslechterde het CB-mechanisme de MER licht (29,5% naar 32,4%) vergeleken met het onbevooroordeelde (unbiased) model. De auteurs schrijven dit toe aan "distractor" woorden in de ongecureerde glossary die zorgen voor valse positieven, waarbij zij opmerken dat de prompt-conditioning van Whisper gevoelig is voor spookmatchen.

Betekenis en Claims

Het artikel claimt dat hoewel bestaande oplossingen die keyword teksten en utterance audio's coderen efficiënt zijn, ze kritieke akoestische informatie verliezen die nodig is voor het transcriberen van zeldzame woorden. Daarentegen zijn oplossingen die zowel audio's coderen (zoals de baseline) effectief, maar niet efficiënt voor massale glossaria.

De auteurs beweren dat hun aanpak deze kloof overbrugt, waardoor het gebruik van effectieve akoestische gebaseerde OV-KWS in productieomgevingen met massale databases mogelijk wordt. Ze demonstreren dat het mogelijk is om glossaria van meer dan 16.000 termen te opslaan en te verwerken op consumentenhardware met minimale prestatievermindering. Echter, het artikel blijft bescheiden over de ASR-resultaten op grote, ongecureerde lijsten, en erkent dat hoewel het systeem efficiënt is, de kwaliteit van de contextuele bias op dergelijke grote, onbewerkte lijsten verdere curatie vereist om hallucinaties en valse positieven te voorkomen. Het werk benadrukt dat KWS geen bottleneck mag zijn in gespecialiseerde domeinen, maar legt de nadruk op de noodzaak van toekomstig werk voor het cureren van productie-databases en het verminderen van hallucinaties in de aanwezigheid van distractor-woorden.