Throat and acoustic paired speech dataset for deep learning-based speech enhancement

Probleemstelling

Het vastleggen van heldere spraak in omstandigheden met veel achtergrondruis (zoals fabrieken, metro's en drukke straten) is een grote uitdaging voor conventionele akoestische microfoons. Hoewel keelmicrofoons (een type lichaamgeleide microfoon of BCM) een oplossing bieden door hun inherente ruisonderdrukkende vermogen, hebben ze een significant nadeel: het doorgaan van geluidsgolven door huid en weefsel veroorzaakt een laagdoorlaat-effect. Hierdoor gaan hoge frequenties verloren, wat de spraakduidelijkheid vermindert. Specifiek worden aperiodieke componenten die cruciaal zijn voor sibilanten (zoals /s/, /z/) en aspiratie (zoals /h/), evenals stemloze obstruenten, slecht vastgelegd.

Bestaande diep learning-aanpakken voor het verbeteren van keelmicrofoon-opnames stuiten op een beperking: het ontbreekt aan een standaard, groot en zorgvuldig uitgelijnd dataset. Bestaande datasets zijn vaak klein, niet-openbaar, of bevatten signalen die niet correct gesynchroniseerd zijn tussen de keel- en de akoestische microfoon, wat reproduceerbaarheid en vergelijking tussen studies bemoeilijkt.

Methodologie

1. Dataset Collectie (TAPS)
De auteurs hebben de Throat and Acoustic Paired Speech (TAPS) dataset ontwikkeld.

• Deelnemers: 60 native Koreaanse sprekers (30 mannen, 30 vrouwen), verdeeld over trainings-, ontwikkelings- en testsets.
• Hardware: Een aangepast systeem dat gelijktijdig opneemt via:
  • Een keelmicrofoon: Een MEMS-inertie-eenheid (IMU) geconfigureerd als versnellingsmeter, geplaatst op de supraglottische zone van de nek (boven de schildklierkraakbeen) om trillingen direct van de stembanden te vangen (8 kHz).
  • Een akoestische microfoon: Een MEMS-microfoon geplaatst op 30 cm voor de lippen (16 kHz).
• Opnameomgeving: Een akoestisch behandelde kamer met hoge geluidsisolatie en lage achtergrondruis. Sprekers gebruikten een voorhoofdsteun om de positie constant te houden.
• Content: 6.000 unieke zinnen uit een Koreaans krantenkorpus, verdeeld over de sprekers.

2. Signaalverwerking en Uitlijning
Een kritisch onderdeel van de methodologie is het oplossen van de temporale ongelijkheid (time misalignment) tussen de twee microfoons. Deze vertraging wordt veroorzaakt door:

• De afstand tussen lippen en akoestische microfoon.
• Variaties in de anatomie van de spreker (keel- en mondholte).
• De specifieke klanken (fonemen) die worden geproduceerd.

De auteurs analyseerden deze factoren en ontwikkelden een geoptimaliseerde uitlijningsstrategie. Ze vergeleken drie methoden:

1. Per-utterance correctie (per zin).
2. Per-spreker gemiddelde correctie.
3. Globale gemiddelde correctie (Overall Mean Mismatch Correction).

Resultaten toonden aan dat de globale gemiddelde correctie (een vaste verschuiving van 13 samples bij 8 kHz, oftewel 1,625 ms) de beste prestaties opleverde voor de modellen.

3. Baseline Modellen
Drie diep learning-modellen werden getraind op de TAPS dataset om de spraak van de keelmicrofoon om te zetten naar een hoogwaardig akoestisch signaal:

• TSTNN: Een tweestaps transformer met een maskeringsmechanisme.
• Demucs: Een convolutionele encoder-decoder met U-Net skip-connections en BLSTM.
• SE-conformer: Een encoder-decoder met Conformer-blokken voor sequentiemodellering.

Belangrijkste Bijdragen

1. De TAPS Dataset: De eerste publiek beschikbare, gestandaardiseerde dataset met gepaarde opnames van keel- en akoestische microfoons, specifiek gericht op de supraglottische zone.
2. Uitlijningsmethodologie: Een systematische analyse en oplossing voor het temporale misalignement tussen lichaamgeleide en akoestische signalen, wat essentieel is voor het trainen van effectieve deep learning-modellen.
3. Benchmarking: Een uitgebreide evaluatie van bestaande architecturen (maskerend vs. mappend) voor de specifieke taak van keel-naar-akoestische spraakverbetering (TMSE).

Resultaten

De experimenten leverden de volgende inzichten op (gebaseerd op de testset):

• Significante Verbetering: Alle drie de modellen verbeterden de spraakkwaliteit aanzienlijk ten opzichte van de ruwe keelmicrofoon-opnames.
  • PESQ (spraakkwaliteit): Steeg van 1,22 (ruw) naar ~1,97 (SE-conformer).
  • STOI (spraakintelligibiliteit): Steeg van 0,70 naar ~0,89.
  • CER/WER (herkenningsfouten): Daalden drastisch (bijv. CER van 84,4% naar 24,4% met SE-conformer).
• Mapping vs. Maskering: Modellen die gebaseerd zijn op mapping (Demucs en SE-conformer) presteerden over het algemeen beter dan het maskerende model (TSTNN), vooral op het gebied van het herstellen van de inhoud (CER/WER).
  • Reden: Mapping-modellen kunnen ontbrekende hoge frequenties en stemloze componenten genereren op basis van context, terwijl maskerende modellen alleen bestaande componenten kunnen moduleren.
• Impact van Uitlijning: Het gebruik van de globale gemiddelde uitlijning resulteerde in de meest consistente verbeteringen in zowel kwaliteitsmetrieken als tekstherkenning, vergeleken met ongecorrigeerde data of per-spreker correcties.

Betekenis en Toekomstperspectief

De TAPS dataset en de bijbehorende methodologie vormen een fundamentele stap vooruit in het onderzoek naar draagbare communicatietechnologieën.

• Praktische Toepassing: Het stelt onderzoekers in staat robuuste spraakverbeteringsmodellen te ontwikkelen voor extreme ruisomstandigheden, wat essentieel is voor industriële veiligheid en communicatie in openbare ruimtes.
• Breder Impact: De dataset ondersteunt de ontwikkeling van geavanceerde spraaktechnologieën zoals Automatic Speech Recognition (ASR) en "silent speech interfaces" (stille spraakinterfaces).
• Standaardisatie: Door een gestandaardiseerd framework te bieden, maakt de dataset directe kwantitatieve vergelijkingen tussen studies mogelijk en bevordert het reproduceerbaarheid in het veld van lichaamgeleide spraakverwerking.

De dataset is publiek beschikbaar via Hugging Face en Zenodo, inclusief de code voor hardware, preprocessing en baseline training.