Time-Frequency Weighted Losses for Phoneme Reconstruction in DNN-Based Speech Enhancement

Technische Samenvatting: Tijd–Frequentie Gewogen Verliezen voor Fonemische Reconstructie in DNN-gebaseerde Spraakverbetering

Probleemstelling
Conventionele trainingsverliezen voor Deep Neural Network (DNN)-gebaseerde Multichannel Spraakverbetering (MCSE), met name die gebaseerd op de Signal-to-Distortion Ratio (SDR), behandelen alle Tijd–Frequentie (TF) regio's uniform. Deze aanpak negeert de fijnmazige spectrale aanwijzingen die cruciaal zijn voor specifieke fonemische verstaanbaarheid. Vanuit een fonetisch perspectief is verstaanbaarheid sterk afhankelijk van gelokaliseerde akoestische aanwijzingen—zoals consonantovergangen, plosieve uitbarstingen en fricatieve ruisbanden—die disproportioneel veel linguïstische informatie dragen vergeleken met stationaire klinkerregio's. Bovendien zijn maskeringseffecten het meest ernstig wanneer de magnitudes van spraak en ruis vergelijkbaar zijn, wat de transmissie van deze aanwijzingen verslechtert. Bestaande frequentie-gewogen SDR-formuleringen hebben de fonemische prestaties verbeterd, maar hebben niet expliciet spraakaanwezigheid, spraak–ruis competitie en transiënte dynamiek verenigd binnen één differentieerbaar wegingskader.

Methodologie
De auteurs stellen een TF-gewogen SDR-raamwerk voor dat de objectieffunctie moduleert op basis van de lokale spraak–ruis interactie. De kernverliesfunctie wordt gedefinieerd als:
$$L_w = -10 \log_{10} \frac{\sum_{f,t} w(f, t) |S_{proj}(f, t)|^2}{\sum_{f,t} w(f, t) |E_{dist}(f, t)|^2}$$
waarbij $w(f, t)$ een niet-negatieve weging is die de bijdrage van elke TF-bin reguleert. Het artikel onderzoekt drie specifieke wegingsschema's:

1. SIR–Spraak Aanwezigheid ($L_{SIR \cdot SP}$): Dit schema modelleert spraak–ruis competitie expliciet. Het combineert een gating-functie gebaseerd op de lokale Signal-to-Interference Ratio (SIR) met een gating-functie gebaseerd op de spraakmagnitude ($|S(f, t)|$). De gewichten benadrukken TF-bins waar spraak actief blijft ondanks een lage SIR, terwijl regio's gedomineerd door ruis of verwaarloosbare energie worden lager gewogen.
2. SIR–Spraak Aanwezigheid–Spectrale Flux ($L_{SIR \cdot SP \cdot SF}$): Om transiënte fonetische aanwijzingen (bijv. plosieven) aan te pakken die een zwakke magnitude maar een hoge perceptuele relevantie kunnen hebben, incorporeert dit schema een frame-wijze spectrale flux-metriek. Spectrale flux meet de relatieve toename van spectrale energie tussen opeenvolgende frames. De wegingsfunctie vermenigvuldigt de SIR- en spraakaanwezigheids-gates met een term die afhankelijk is van de spectrale flux, waardoor de gevoeligheid voor snel variërende structuren toeneemt.
3. Leerbare Gewichten ($L_{learn}$): Als een data-gedreven alternatief gebruikt dit schema tijd-onafhankelijke spectrale parameters die geïnitialiseerd zijn met ANSI 1997 band-belangrijkheid gewichten en tijdens de training geleerd worden.

Het voorgestelde raamwerk werd geïmplementeerd met de FaSNet end-to-end time-domain adaptive beamformer, getraind op een dataset afgeleid van LibriSpeech gemengd met Witte Ruis (WN) en Spraakvormige Ruis (SSN), gesimuleerd met kamerimpulsresponsen voor een 4-kanaals binaurale gehoorapparaat-configuratie.

Belangrijkste Resultaten
Experimentele evaluaties werden uitgevoerd met objectieve metrieken (SDR, SIR, SAR, frequentie-gewogen varianten, STOI) en fonemische herkenningsmetrieken (Word Error Rate - WER, Phoneme Accuracy - PA).

• Prestaties op Uitspraakniveau: Onder Witte Ruis behaalde de $L_{SIR \cdot SP \cdot SF}$ loss de sterkste algehele verbetering in SIR en frequentie-gewogen SIR. Hoewel gewogen verliezen in termen van distortie (SDR) en artefacten (SAR) over het algemeen vergelijkbare prestaties behielden met de baseline, vertoonden ze een meer consistente interferentieonderdrukking over verschillende ruistypes vergeleken met verliezen die uitsluitend vertrouwen op lokale SIR-modulatie (bijv. $L_{logSIR}$).
• Spraakherkenning: Voor Witte Ruis leverden alle voorgestelde gewogen verliezen een lagere WER op dan de baseline over de meeste Signal-to-Interference Ratio (SIR) niveaus. Onder Spraakvormige Ruis waren de resultaten minder consistent; echter vertoonde $L_{SIR \cdot SP \cdot SF}$ een licht voordeel ten opzichte van de baseline bij midden- tot hoge SIR-niveaus.
• Fonemische Analyse: De voorgestelde $L_{SIR \cdot SP \cdot SF}$ loss verbeterde de Phoneme Accuracy (PA) voor zowel consonanten als klinkers significant, met name onder Witte Ruis. Voor consonanten verbeterde de methode de interferentieonderdrukking (hogere SIR) terwijl een vergelijkbare frequentie-gewogen SDR werd behouden.
• Transiënte Reconstructie: Analyse van plosieve herkenning over SIR-niveaus onthulde dat $L_{SIR \cdot SP \cdot SF}$ de baseline aanzienlijk overtrof bij midden- tot hoge SIR-niveaus (0 dB en hoger). Spectrale analyse gaf aan dat deze loss de mid-frequentie structuren van plosieven beter reconstrueert bij matige en hoge input SIR-niveaus, waarbij het de schone spectrale vorm nauwer volgt dan de baseline in de banden 6–13.

Betekenis en Claims
Het artikel claimt dat het voorgestelde TF-wegingsraamwerk erin slaagt de bijdrage van TF-bins te hervormen volgens de spraak–ruis competitie zonder de SDR-optimalisatie te destabiliseren. De primaire bijdrage is de demonstratie dat het expliciet modelleren van spraakanwezigheid, lokale SIR en transiënte dynamiek (via spectrale flux) leidt tot verbeterde interferentieonderdrukking en fonemische reconstructie.

De auteurs stellen dat hun aanpak de perceptuele prioriteiten beter reflecteert dan globaal uniforme verliezen, met name voor consonanten en transiënte aanwijzingen. De resultaten suggereren dat het integreren van SIR-bewuste en spectrale flux-gebaseerde modulatie robuuster is dan het vertrouwen op enkel lokale SIR of zuiver geleerde spectrale profielen, vooral in condities die relevant zijn voor hoorhulpscenario's waar het behoud van transiënte en mid-frequentie spraakstructuren cruciaal is. Het werk claimt niet de plaats in te nemen van luistertests, maar biedt reproduceerbare objectieve proxies voor verstaanbaarheid en fonemische reconstructie.