Riepilogo Tecnico: Rilevamento di Parole Chiave Open-Vocabulary Massivo

Definizione del Problema

I sistemi di Automatic Speech Recognition (ASR), in particolare i modelli di base come Whisper, spesso sottoperformano nella trascrizione di terminologie specializzate raramente viste durante l'addestramento. Sebbene il Contextual Biasing (CB) combinato con l'Open-Vocabulary Keyword Spotting (OV-KWS) sia stato proposto per mitigare questo problema iniettando termini specifici del dominio nel decoder, le soluzioni esistenti affrontano un collo di bottiglia critico di scalabilità. Gli attuali sistemi si affidano a embedding acustici ad alta dimensionalità (ad esempio, da Whisper-medium) per rappresentare le parole chiave. Memorizzare questi embedding per glossari estesi (ad esempio, migliaia di termini) diventa impraticabile a causa dell'eccessivo consumo di memoria e della latenza. Ad esempio, un approccio baseline richiede circa 7,3 MB per parola chiave, rendendo impossibile caricare glossari che superino i ~11.000 termini su GPU standard da 80GB. Ciò limita l'applicabilità del CB in ambienti di produzione che richiedono database massivi e specifici del dominio, come l'assistenza sanitaria o il controllo del traffico aereo.

Metodologia

Gli autori propongono un sistema che comprime gli embedding acustici per consentire l'elaborazione di glossari massivi mantenendo le capacità open-vocabulary. L'approccio prevede una pipeline di compressione a tre stadi applicata agli embedding generati da un encoder Whisper:

1. Selezione degli Strati (Identificazione dello Strato Sparso):
   Invece di aggregare le rappresentazioni di tutti i layer transformer, il sistema impiega una strategia automatizzata per identificare un sottoinsieme sparso di strati più predittivi per il keyword spotting. Un vettore di punteggio addestinabile $w$ viene applicato alle rappresentazioni degli strati, regolato da una funzione di attivazione sparsemax. Questo viene addestrato congiuntamente con un classificatore ResNet utilizzando la loss della cross-entropy binaria e una loss di entropia ausiliaria per promuovere la sparsità. Negli esperimenti, questo ha ridotto i 32 layer di Whisper-large-v2 a soli 3 strati predittivi (14, 16 e 32).

2. Riduzione della Dimensione Nascosta:
   Una rete feed-forward (FFN) leggera a singolo strato nascosto viene addestrata per proiettare gli embedding dalla dimensione originale ($h$) a una dimensione più piccola ($h_{comp}$). Ciò riduce la dimensione delle feature senza richiedere l'affinamento (fine-tuning) del modello ASR sottostante.

3. Riduzione della Risoluzione Temporale:
   Una rete neurale convoluzionale (CNN) 1D viene applicata lungo l'asse dei frame per ridurre la risoluzione temporale degli embedding. Utilizzando una dimensione del kernel di 3, uno stride di 1, seguito da max-pooling (kernel 3, stride 2), il frame rate viene ridotto di un fattore di 2 ($\alpha=2$).

Integrazione del Sistema:
Gli embedding delle parole chiave compressi sono memorizzati in un database. Durante l'inferenza, un modello OV-KWS (che utilizza gli embedding compressi e un classificatore Resnet) rileva le parole chiave rilevanti in un'enunciazione. Queste parole chiave rilevate vengono poi passate come prompt al decoder di Whisper per orientare il bias della generazione verso i termini specifici del dominio.

Contributi Chiave

• Selezione Automatica degli Strati: Un metodo per identificare in modo sparso gli strati transformer negli encoder acustici che sono più predittivi per il keyword spotting, riducendo il numero di strati utilizzati per la generazione degli embedding.
• Compressione Tri-dimensionale degli Embedding: Un meccanismo che comprime gli embedding acustici di 128 volte attraverso la combinazione di selezione degli strati, riduzione della dimensione nascosta e riduzione del frame rate, preservando le prestazioni della baseline.
• Dimostrazione di Scalabilità in Produzione: Una dimostrazione nel mondo reale che mostra come la compressione proposta permetta di elaborare database massivi (16.062 termini) con una latenza e un ingombro di memoria significativamente ridotti rispetto alle baseline non compresse.

Risultati Sperimentali

Il sistema è stato valutato utilizzando Whisper-large-v2 come backbone, addestrato su dati Multilingual Librispeech (MLS), e testato su corpora in cinese (Aishell), inglese (ACL6060) e portoghese (clinico interno).

• Prestazioni di Keyword Spotting: Il modello completamente compresso (LHF-comp) ha ottenuto un punteggio F1 di 69 ± 4 su ACL6060 e 86 ± 4 su Aishell. Notevolmente, su Aishell (una lingua non vista durante l'addestramento), il modello compresso ha performato in modo comparabile alla migliore baseline non compressa, nonostante fosse stato addestrato senza dati in cinese.
• Memoria e Latenza: Il metodo proposto ha ridotto l'impronta di memoria di 128 volte. Per un glossario di 16.062 termini, il requisito di memoria è sceso da ~112 GB (Baseline) a 882 MB, permettendo all'intero database di risiedere su una GPU da 48GB (NVIDIA L40). I miglioramenti della latenza sono stati significativi, con il sistema che elabora database massivi 6 volte più velocemente rispetto alla baseline non compressa.
• Prestazioni ASR:
  • Su glossari piccoli e curati (ACL6060, Aishell), il Contextual Biasing con il sistema compresso ha migliorato l'Entity Recall (ad esempio, dal 52,5% al 57,2% su ACL6060) e ha ridotto il Mixed Error Rate (MER).
  • Sul massivo glossario clinico non curato (Internal clinical), sebbene il sistema abbia elaborato con successo i dati, il meccanismo di CB ha leggermente degradato il MER (dal 29,5% al 32,4%) rispetto al modello non influenzato dal bias. Gli autori attribuiscono ciò a parole "distrattrici" nel glossario non curato che causano falsi positivi, notando che il condizionamento tramite prompt di Whisper è sensibile ai match spuri.

Significato e Rivendicazioni

L'articolo sostiene che, mentre le soluzioni esistenti che codificano i testi delle parole chiave e gli audio delle enunciazioni sono efficienti, esse perdono informazioni acustiche critiche necessarie per trascrivere parole rare. Al contrario, le soluzioni che codificano entrambi (audio e testo, come la baseline) sono efficaci ma non efficienti per glossari massivi.

Gli autori affermano che il loro approccio colma questo divario, consentendo l'uso di un OV-KWS basato su acustica efficace in ambienti di produzione con database massivi. Dimostrano che è possibile memorizzare ed elaborare glossari di oltre 16.000 termini su hardware di classe consumer con una degradazione minima delle prestazioni nel keyword spotting. Tuttavia, il paper rimane modesto riguardo ai risultati ASR su liste massive e non curate, riconoscendo che, sebbene il sistema sia efficiente, la qualità del contextual biasing su tali liste ampie e non processate richiede una ulteriore cura per evitare allucinazioni e falsi positivi. Il lavoro evidenzia che il KWS non dovrebbe essere un collo di bottiglia nei domini specializzati, ma sottolinea la necessità di futuri lavori sulla cura dei database di produzione e sulla riduzione delle allucinazioni in presenza di parole distrattrici.