Fast-ULCNet: A fast and ultra low complexity network for single-channel speech enhancement

1. Probleemstelling

Single-channel spraakverbetering is cruciaal voor spraakherkenning en assistieve hoor-systemen, vooral wanneer deze worden ingezet op resource-beperkte embedded apparaten. Deze omgevingen vereisen:

• Lage Latentie: Realtime verwerkingsmogelijkheden.
• Lage Complexiteit: Minimale geheugenvoetafdruk en rekentijd.

Hoewel deep learning-modellen (zoals de state-of-the-art ULLCNet) superieure audiokwaliteit bieden ten opzichte van traditionele signaalverwerking, hebben ze vaak moeite om strikte latentie- en geheugeneisen te voldoen. Bovendien werd vastgesteld dat bestaande lichtgewicht Recurrent Neural Network (RNN) architecturen, zoals FastGRNN, tijdens inferentie prestatieverlies vertonen bij lange audioseries als gevolg van interne staat-drift, een fenomeen dat in eerdere literatuur niet volledig werd aangepakt.

2. Methodologie

De auteurs stellen Fast-ULCNet voor, een aanpassing van de ULCNet-architectuur die is ontworpen om de rekenkosten te verlagen terwijl de prestaties behouden blijven. De methodologie omvat drie kerncomponenten:

A. Architectuurvervanging (GRU $\to$ FastGRNN)

De oorspronkelijke ULCNet gebruikt Gated Recurrent Units (GRU's) voor zijn recurrente lagen. Fast-ULCNet vervangt deze door FastGRNN-lagen.

• FastGRNN: Een lichtgewicht RNN-ontwerp dat een gewogen residuale verbinding gebruikt en gewichtsmatrices hergebruikt voor zowel updates van de verborgen staat als voor gating. Dit verlaagt het aantal parameters met 2–4 keer ten opzichte van standaard RNN's, terwijl de hoge nauwkeurigheid behouden blijft.
• Integratie: De FastGRNN-lagen worden geïntegreerd in de ULCNet-pijplijn, die power-law compressie, kanaalgewijze feature-heroriëntatie, diepte-gescheiden convoluties en complex ratio masking (CRM) voor faseverfijning omvat.

B. Aanpak van State Drift: Comfi-FastGRNN

De auteurs identificeerden een kritiek gebrek: hoewel FastGRNN stabiel is tijdens training, driftt de interne staat tijdens lange inferentiesessies (bijv. >60 seconden), wat leidt tot prestatieverlies.

• Oorzaak: De updatevergelijking van de staat mist een contractiegarantie, waardoor de grootte van de verborgen staat in de loop van de tijd kan accumuleren.
• Oplossing: De auteurs introduceren Comfi-FastGRNN (Complementary filter FastGRNN). Dit breidt de FastGRNN-updatevergelijking uit door een trainable complementair filter toe te voegen.
  • Het omvat twee trainbare scalair parameters ($\gamma$ en $\lambda$).
  • $\lambda$ fungeert als een moduleringsfactor om drift te compenseren.
  • $\gamma$ regelt de balans tussen de ruwe verborgen staat en de driftcorrectie-term.
  • Dit mechanisme stabiliseert de gemiddelde RNN-staat over lange series zonder de complexiteit significant te verhogen.

C. Modelarchitectuur

Het netwerk volgt een twee-trapsontwerp:

1. Magnitude Schatting: Invoerfeatures ondergaan power-law compressie en heroriëntatie. Een reeks diepte-gescheiden convoluties en bidirectionele FastGRNN (of Comfi-FastGRNN) lagen verwerken de data langs de frequentie- en sub-band temporele assen. Een volledig verbonden stack voorspelt een reëelwaardige magnitude-masker.
2. Faseverfijning: Een CNN verfijnt de fase met behulp van de geschatte magnitude-masker en de ruisachtige fase, en geeft een complex masker uit via Complex Ratio Masking (CRM) om het verbeterde spectrogram te reconstrueren.

3. Belangrijkste Bijdragen

1. Fast-ULCNet: De eerste toepassing van FastGRNN-lagen op single-channel spraakverbetering, waarbij de ULCNet-architectuur succesvol is aangepast voor ultra-lage complexiteit.
2. Empirische Ontdekking van State Drift: Het artikel levert empirisch bewijs dat FastGRNN-prestaties verslechteren bij lange audioseries als gevolg van interne staat-drift, een beperking die eerder niet was gerapporteerd in de context van spraakverbetering.
3. Comfi-FastGRNN: Het voorstellen van een nieuw trainbaar complementair filter om RNN-staat-drift te verminderen. Dit is de eerste implementatie van een dergelijk filter dat specifiek is ontworpen om RNN-staat-accumulatie bij inferentie van lange series aan te pakken.
4. Open Source: De auteurs hebben de code en een online demo vrijgegeven, wat reproduceerbaarheid en verder onderzoek faciliteert.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met behulp van het Interspeech 2020 Deep Noise Suppression (DNS) Challenge-dataset.

Objectieve Prestaties (Kwaliteit)

• Korte Series (10s): Fast-ULCNet (zowel de standaard- als Comfi-versies) behaalde prestaties op gelijke hoogte met de originele ULCNet over metrics zoals DNSMOS (OVRLMOS, SIGMOS, BAKMOS), PESQ en SI-SDR.
• Lange Series (90s):
  • Standaard Fast-ULCNet vertoonde aanzienlijk prestatieverlies (bijv. OVRLMOS daalde van 3,09 naar 2,93; SI-SDR daalde van 16,89 naar 13,58).
  • Fast-ULCNet met Comfi-FastGRNN slaagde erin deze drift te verminderen en herstelde de prestaties tot het niveau van de originele ULCNet (OVRLMOS: 3,10; SI-SDR: 16,48).

Rekenefficiëntie

Het model werd getest op embedded platformen (Raspberry Pi 3 B+ en Arm Cortex-A53):

• Parameters: Verminderd met >50% (van 0,685M naar 0,338M).
• MACs (Multiply-Accumulate Operations): Verminderd met ~18% (van 2,057M naar 1,691M).
• Latentie (RTF): Bereikte een gemiddelde reductie van 34% in verwerkingstijd.
  • Raspberry Pi 3 B+: RTF verbeterde van 0,976 naar 0,657.
  • Arm Cortex-A53: RTF verbeterde van 0,927 naar 0,604.

5. Betekenis

Dit werk overbrugt de kloof tussen hoogpresterende deep learning spraakverbetering en de strikte beperkingen van embedded hardware. Door aan te tonen dat FastGRNN effectief kan worden gebruikt voor spraakverbetering mits staat-drift wordt beheerd, biedt het artikel een haalbaar pad voor het inzetten van hoogwaardige, realtime spraakverwerking op low-power apparaten. De introductie van het Comfi-FastGRNN-mechanisme biedt een generaliseerbare oplossing voor het stabiliseren van lichtgewicht RNN's in inferentietaken met lange duur, wat verder reikt dan alleen spraakverbetering.