Technische Samenvatting: SE-AGCNet

1. Probleemstelling

Conventionele audio-pipelines voor vergaderscenario's behandelen Spraakverbetering (Speech Enhancement, SE) en Automatische Gaincontrole (Automatic Gain Control, AGC) doorgaans als discrete, opeenvolgende modules. Deze scheiding introduceert significante prestatiebeperkingen:

• Problemen met de volgorde van cascading: Het toepassen van AGC vóór SE versterkt willekeurig zowel spraak als achtergrondruis, wat de signaal-ruisverhouding (SNR) verslechtert en de daaropvolgende demping bemoeilijkt. Omgekeerd is de prestatie van AGC na SE sterk afhankelijk van de kwaliteit van de SE-output; resterende ruis wordt vaak onbedoeld versterkt.
• Overmatige onderdrukking: SE-modellen hebben de neiging om zachte spraak (bijv. far-field of zachte sprekers) te veel te onderdrukken, omdat ze deze onterecht als ruis classificeren.
• Gebrek aan gezamenlijke optimalisatie: Bestaande verenigde frameworks behandelen AGC vaak als een losstaande post-processing stap of vertrouwen op propriëtaire, niet-reproduceerbare doelgeneratie, wat het vermogen van het model om de synergie tussen ruisonderdrukking en volumetormalisatie te leren beperkt.

2. Methodologie: SE-AGCNet

De auteurs stellen SE-AGCNet voor, een end-to-end deep learning framework dat SE en AGC gezamenlijk optimaliseert binnen één enkel trainingsproces. Het systeem werkt in het tijds-frequentiedomein om een ruizige, volumetisch ongebalanceerde inputgolfvorm te transformeren naar een schone, volumetrisch gebalanceerde output.

Architectuur

Het framework maakt gebruik van een twee-fasen architectuur:

1. Spraakverbeteringsmodule (SE Module):

   • Backbone: Gebruikt MP-SENet als de basisarchitectuur.
   • Input/Output: Verwerkt de magnitude- en fase-spectra van de ruizige input.
   • Trainingsstrategie: Het doel is schone maar volumetrisch ongebalanceerde spraak. Dit dwingt de SE-module om ruisonderdrukking te leren terwijl de luidheidvariaties behouden blijven voor de daaropvolgende AGC-module.
   • Asymmetrische herweging: Om te voorkomen dat het model zachte spraak te veel onderdrukt, wordt een asymmetrische loss-strategie toegepast. Als de voorspelde magnitude lager is dan de doel-magnitude, wordt de bijdrage aan de loss vermenigvuldigd met een factor $\alpha = 10.0$.

2. Automatische Gaincontrole-module (AGC Module):

   • Input: Neemt het door de SE-module verbeterde, RMS-genormaliseerde magnitude-spectrum aan.
   • Architectuur: Bestaat uit drie componenten:
     • Frequentiedomein-verwerking: Twee 2D convolutionele lagen om frequentiebewuste kenmerken te extraoderen.
     • Temporele verwerking: Een 2-laagse Bidirectionele LSTM (BiLSTM) om temporele sequenties te verwerken.
     • Spectrale reconstructie: Transposed convolutions om het magnitude-spectrum te reconstrueren.
   • Normalisatie: De module past peak-normalisatie toe naar 0.4 om een doel-luidheid van -23 LUFS te bereiken. Er wordt onafhankelijke RMS-normalisatie gebruikt voor input en target om relatieve amplitudecontrole te leren.
   • Loss-strategie: Een conditioneel wegingsmechanisme straft het model 10x af als het positieve energie voorspelt in stille doelgebieden, wat de versterking van ruis voorkomt.

Gezamenlijk Trainingsdoel

De totale loss-functie combineert de SE-loss en de AGC-loss:
$$L_{total} = L_{MP-SENet} + \lambda_{AGC} \times L_{AGC}$$
waarbij $\lambda_{AGC} = 0.9$. Er wordt een curriculum learning strategie toegepast, waarbij de SE-module eerst 5 epochs wordt voorgetraind voordat het volledige framework gezamenlijk wordt geoptimaliseerd.

3. Belangrijkste Bijdragen

A. SE-AGCNet Framework

Een flexibel, end-to-end framework dat de gezamenlijke training van SE en AGC mogelijk maakt. Het ondersteunt integratie met diverse bestaande SE-architecturen en adresseert de specifieke uitdagingen van vergaderruimte-akoestiek, inclus overlapping van nagalm, achtergrondruis en significante volumieverschillen veroorzaakt door de afstand tot de spreker en beweging.

B. SE-AGC-DataGen Pipeline

In het besef dat er een gebrek is aan publieke AGC-datasets, hebben de auteurs een uitgebreide data-simulatiepipeline ontwikkeld om de LibriAGC dataset te genereren.

• Bron: Gebaseerd op LibriTTS.
• Simulatie-stadia:
  1. Concatenatie van 2–5 sprekers.
  2. Volume-verwerking bestaande uit basisaanpassingen en vier augmentatiemodi (plotselinge pieken, geleidelijke veranderingen, fluctuaties) om de dynamiek van echte vergaderingen te simuleren.
  3. Noise mixing met 35 clips uit de DNS Challenge bij 5–25 dB SNR om de akoestiek van vergaderruimtes na te bootsen.
• Targets: Genereert onderscheidende targets voor SE (schone, volumetrisch ongebalanceerde) en AGC (schone, volumetrisch gebalanceerde) training.

C. Gestandaardiseerde Luidheidsevaluatie

Het paper introduceert gestandaardiseerde luidheidmetrieken gebaseerd op ITU-R BS.1770 en EBU R128 om een objectieve en perceptueel betekenisvolle evaluatie te bieden:

• Geïntegreerde Luidheid (LUFS): Ingesteld op een doel van -23 LUFS.
• Short-term Luidheid (St LUFS): Gebruikt een 3-seconden glijdend venster om gating-biases te vermijden die gebruikelijk zijn in vergaderingen waar near-field en far-field spraak gelijktijdig aanwezig zijn.
• Loudness Range (LRA): Kwantificeert het dynamisch bereik, waarbij 3–6 LU geïdentificeerd is als optimaal voor gebalanceerde spraak.

4. Experimentele Resultaten

Datasets

Experimenten werden uitgevoerd op:

• LibriAGC: De gesimuleerde dataset (9.487 trainings-utterances, 1.406 test-utterances).
• Real-world Datasets: MMCSG (CHiME-8 challenge) en AliMeeting-far (het far-field deel).

Prestatie-metrieken

• Spraakkwaliteit: PESQ, SIGMOS (inclusief loudness MOS), en DNSMOS.
• AGC Prestaties: LUFS, St LUFS, en LRA.
• Downstream ASR: Word Error Rate (WER) en Character Error Rate (CER).

Belangrijkste Bevindingen

• Luidheidcontrole: SE-AGCNet bereikt consistent de doel-luidheid van -23 LUFS met een St LUFS die dicht bij het doel ligt en een LRA binnen het optimale bereik van 3–6 LU. In tegenstelling hiertoe falen conventionele cascaded benaderingen (SE + pyagc) of standalone SE-modellen om een consistente luidheid te handhaven of vertonen zij een excessieve LRA.
• Spraakkwaliteit & ASR:
  • Op de LibriAGC testset presteert SE-AGCNet beter dan de originele MP-SENet en de cascaded baselines op het gebied van PESQ, SIGMOS en DNSMOS scores.
  • Het behaalt de laagste WER/CER onder alle geteste systemen op real-world datasets.
  • De verbetering is bijzonder uitgesproken voor ASR-modellen die getraind zijn op beperkte data (bijv. stt_en_conformer_ctc_large), wat suggereert dat het framework zeer gunstig is voor systemen die gevoelig zijn voor variaties in audiokwaliteit.
• Vergelijking: SE-AGCNet demonstreert dat gezamenlijke optimalisatie superieur is aan het behandelen van AGC als een aparte post-processing stap, waardoor het risico wordt beperkt dat de SE-module zachte spraak onterecht als ruis classificeert en voorkomt dat de AGC resterende ruis versterkt.

5. Betekenis

Het paper stelt dat SE-AGCNet een fundamentele oplossing biedt voor de beperkingen van cascaded audio-pipelines. Door gebruik te maken van de synergie tussen SE en AGC, zorgt het framework ervoor dat de SE-module de inhoud van zachte spraak behoudt terwijl de AGC-module de volumetralisatie afhandelt. Dit resulteert in:

1. Verbeterde Audiokwaliteit: Betere ruisonderdrukking zonder het te veel dempen van zachte sprekers.
2. Optimale Luidheid: Consistente bereiking van doel-luidheidsniveaus die geschikt zijn voor vergaderscenario's.
3. Verbeterde Downstream Bruikbaarheid: Significante reducties in herkenningsfouten voor Automatic Speech Recognition (ASR) systemen.

De auteurs benadrukken de reproduceerbaarheid van hun werk door de open-source code en de innovatieve SE-AGC-DataGen pipeline, die het kritieke gat van ontbrekende publieke AGC-datasets aanpakt. Toekomstig werk richt zich op het uitbreiden van het framework naar complexere akoestische condities en het verkennen van lichtgewicht real-time modellen.