From Diet to Free Lunch: Estimating Auxiliary Signal Properties using Dynamic Pruning Masks in Speech Enhancement Networks

Technische Samenvatting: Schatten van Eigenschappen van Auxiliaire Signalen met Dynamische Pruning-masks in Netwerken voor Spraakverbetering

Probleemstelling
Spraakverbeteringssystemen (Speech Enhancement, SE) in ingebouwde audio-apparaten (bijvoorbeeld hoortoestellen) vertrouwen steeds meer op deep learning. Om robuustheid en een naadloze gebruikerservaring te waarborgen, vereisen deze systemen vaak auxiliaire modules voor taken zoals Voice Activity Detection (VAD), Signal-to-Noise Ratio (SNR)-schattting, Acoustic Scene Classification en Spraakkwaliteitsvoorspelling (SQP). Het inzetten van aparte deep learning-modellen voor deze auxiliaire taken is echter computatief onhaalbaar voor edge-apparaten, terwijl inferentie in de cloud vertraging en privacyproblemen introduceert. Hoewel Dynamic Channel Pruning (DynCP) is voorgesteld om SE-berekeningen te verminderen door kanalen adaptief uit te schakelen, blijft het onduidelijk of de interne mechanismen die deze pruning aandrijven voldoende informatie bevatten om deze auxiliaire taken uit te voeren zonder specifieke modellen.

Methodologie
De auteurs stellen een raamwerk voor om eigenschappen van auxiliaire signalen direct te schatten vanuit de binaire pruning-masks die worden gegenereerd door een DynCP-gebaseerd SE-model, specifiek de Conv-FSENet-architectuur.

• Data-pijplijn: Het systeem behandelt trainings- en testdata als continue streams. Schone spraak- en ruisfragmenten worden gemengd om ruisige invoer ($x$) te vormen, die door het SE-model wordt verwerkt om verbeterde spraak ($\hat{s}$) te produceren. Ground truth-labels voor diverse taken (VAD, geslacht, accent, ruiscategorie, SNR, SI-SDR, PESQ, F0) worden uit metadata gehaald of berekend met standaardbibliotheken (bijvoorbeeld librosa, pyworld) en uitgelijnd met de frame-rate van de Short-Time Fourier Transform (STFT).
• Feature-extractie: Het SE-model genereert een tensor van binaire pruning-masks ($G$) die aangeven welke convolutiekanalen actief zijn in elk verwerkingsblok. Om de dimensie te verminderen en niet-informatieve constante masks te verwijderen, filteren de auteurs $G$ op basis van een minimum-standaardafwijkingdrempel ($\tau$), wat resulteert in een subset van dynamische features ($\tilde{G}$).
• Voorspellingsmodellen: De auteurs maken gebruik van eenvoudige, interpreteerbare lineaire modellen (logistische regressie voor classificatie, lineaire regressie voor regressie) om doelen te voorspellen vanuit $\tilde{G}$. Het gebruik van binaire invoer maakt het mogelijk dat voorspellingen worden berekend als gewogen sommen, waardoor de computerelastiek wordt geminimaliseerd.
• Basislijnen en Vergelijkingen: De prestaties worden vergeleken met basislijnen die ruwe STFT-log-magnitudes en voorspelde onderdrukkingsmasks gebruiken. De studie evalueert ook de impact van het gebruik van features uit specifieke netwerkblokken, de top-$N$ meest informatieve features en ruwe (niet-binariseerde) gating-scores.
• Sprekerverificatie (SV): Als extra experiment aggregeren de auteurs pruning-masks over stem-actieve frames om utterance-level embeddings te creëren, die vervolgens worden geëvalueerd met een standaard lineaire backend (WCCN en LDA) voor sprekerverificatie.

Belangrijkste Bijdragen

1. Analyse van Emergent Gedrag: Het artikel onderzoekt de latente representaties die worden geleerd door DynCP-gating-subnetten, en toont aan dat deze impliciet relevante akoestische en spraakeigenschappen coderen, ondanks dat ze uitsluitend zijn getraind voor computerefficiëntie.
2. Holistische Oplossing: De auteurs hergebruiken DynCP-masks als een uniforme bron van informatie voor meerdere auxiliaire taken (VAD, ruisclassificatie, SNR, kwaliteitsmetrieken, enz.), waardoor de noodzaak voor aparte, rekenintensieve predictor-modellen wordt geëlimineerd.
3. Efficiëntie en Interpreteerbaarheid: Door eenvoudige lineaire predictors op binaire masks te gebruiken, bereikt de aanpak hoge prestaties met verwaarloosbare computerelastiek. De lineaire coëfficiënten bieden een zekere mate van interpreteerbaarheid met betrekking tot welke delen van het netwerk bijdragen aan specifieke signaaleigenschappen.

Resultaten

• Classificatie: Eenvoudige predictors bereikten tot 93% nauwkeurigheid voor VAD, 84% voor ruisclassificatie en 59% voor ruisclassificatie (met gebruik van de top-64 features). Geslachtsclassificatie was succesvol, terwijl accentclassificatie presteerde op het niveau van toeval, waarschijnlijk omdat SE-gedrag niet sterk wordt beïnvloed door accent.
• Regressie: Het model bereikte een $R^2$ van 0,86 voor F0-schatting. Voor kwaliteitsmetrieken bereikte het een Mean Absolute Error (MAE) van 0,2 voor PESQ en 3,2 dB voor SI-SDR.
• Feature-efficiëntie: Het gebruik van slechts de top-64 meest informatieve features behield prestaties die vergelijkbaar waren met het gebruik van de volledige set van ongeveer 202 features, wat suggereert dat de auxiliaire modellen zeer compact kunnen zijn.
• Ruwe Scores versus Binaire Masks: Ruwe gating-scores (voor-binairisatie) presteerden over het algemeen beter dan binaire masks, met name voor ruisclassificatie en F0-schatting, omdat ze meer interne state-informatie behouden. Binaire masks boden echter de laagste computerelastiek.
• Sprekerverificatie: De pruning-masks leverden slechts bescheiden Equal Error Rate (EER)-resultaten op en presteerden slechter dan STFT-basislijnen. De auteurs suggereren dat dit kan komen door temporale pooling of omdat het SE-model spreker-agnostische representaties leert.
• Computerelastiek: De overhead voor het voorspellen van 21 doelen met de volledige feature-set bedraagt ongeveer 0,6% tot 0,93% van de totale berekening per frame, afhankelijk van de actieve kanalen.

Betekenis en Beperkingen
Het artikel beweert dat DynCP-modellen "emergent gedrag" vertonen waarbij gating-subnetten leren middelen toe te wijzen op basis van signaaleigenschappen zoals ruisniveaus en stemactiviteit. Dit suggereert dat DynCP kan dienen als een tweeledig mechanisme: het optimaliseren van SE-efficiëntie terwijl het tegelijkertijd auxiliaire data levert voor robuust systeemgedrag en gebruikersfeedback.

De auteurs blijven bescheiden over de volwassenheid van deze bevindingen. Ze erkennen verschillende beperkingen:

• Lineaire modellen gaan uit van additieve bijdragen en kunnen moeite hebben met gecorreleerde invoer.
• Feature-collineariteit bemoeilijkt de interpretatie van het belang van coëfficiënten.
• Temporale smoothing binnen gating-subnetten kan de schatting van snel veranderende doelen belemmeren.
• Gefragmenteerde ground truths (bijvoorbeeld PESQ) kunnen de instantane signaalkwaliteit niet volledig vertegenwoordigen.

Het werk positioneert zichzelf als een voorlopige stap naar single-model-pijplijnen die spraak kunnen verbeteren, rekenkracht kunnen besparen en simultaan auxiliaire data kunnen genereren, en moedigt verder onderzoek aan naar dynamische modellen en multi-task training in audiobewerking.