Technische Samenvatting: WildElder Dataset

Probleemstelling

Automatische spraakherkenning (ASR) en sprekerprofilering staan voor unieke uitdagingen bij het verwerken van spraak van ouderen vanwege leeftijdgerelateerde fysiologische veranderingen, zoals verminderd volume, tragere articulatie en stemtremoren. Hoewel robuuste spraaktechnologieën cruciaal zijn voor toepassingen zoals stemassistenten en gezondheidsmonitoring, wordt onderzoek gehinderd door een tekort aan representatieve datasets. Bestaande Chinese datasets voor spraak van ouderen (bijv. AISHELL-ASR0060, MECSD, SeniorTalk) zijn voornamelijk opgenomen in gecontroleerde laboratoriumomgevingen met gescripte of gestructureerde taken. Dit resulteert in onvoldoende thematische diversiteit, verminderde spontaniteit en een gebrek aan variabiliteit in opnamecondities, wat het nut ervan beperkt voor het ontwikkelen van systemen die betrouwbaar moeten functioneren in real-world scenario's. Boverend bestaan er weliswaar "in-the-wild" datasets, maar deze vertrouwen vaak op geautomatiseerde pipelines die fouten introduceren en een gebrek hebben aan fijnmazige sprekerattributen, wat bijzonder problematisch is gezien de slechte prestaties van huidige geautomatiseerde tools op de stemmen van ouderen.

Methodologie

De auteurs presenteren WildElder, een Mandarijnse corpus van spraak van ouderen, geconstrueerd via een driestaps-pipeline die ontworpen is om de natuurlijke diversiteit van in-the-wild data te balanceren met de betrouwbaarheid van deskundige curatie.

1. Datacollectie

Data werd geoogst uit online video's met behulp van twee complementaire strategieën:

• Algemene trefwoordzoekopdrachten: Brede zoekopdrachten met termen zoals "80 jaar oud" en "verpleeghuis".
• Gerichte kanaalcollectie: Identificatie van kanalen met oudere contentmakers om een hogere kwaliteit en betrouwbaarheid te waarborgen.
  Dit proces leverde 619 video's op met in totaal meer dan 71 uur aan ruwe audio.

2. Dataprocessing en Annotatie

Ruwe materialen ondergingen handmatige segmentatie en strikte annotatie:

• Segmentatie: Audio werd opgesplitst in clips op utterance-niveau op basis van zinsgrenzen en sprekerwisselingen. Segmenten met niet-ouderen, overmatige achtergrondmuziek, overlappende spraak of ernstige vervorming werden verwijderd.
• Transcriptie: Utterances werden getranscribeerd naar orthografische Chinese karakters. Het protocol behield natuurlijke disfluenties (herhalingen/stotteren), vermeed pronuntiatie-normalisatie voor geaccentueerde spraak, standaardiseerde getallen naar Chinese hoofdletters en gebruikte hoofdletter ASCII voor alfabetische karakters. Clips korter dan drie karakters werden uitgesloten.
• Metadata Labeling: Annotatoren voorzagen de data van:
  • Leeftijdsgroep: Geschat door externe cues (titels, beschrijvingen, on-screen tekst) te trianguleren met visuele en auditieve bewijslast.
  • Geslacht: Geïdentificeerd visueel en auditief.
  • Accentsterkte: Gecategoriseerd als Licht, Matig of Zwaar op basis van een specifieke rubric (Tabel 1) met betrekking tot de afwijking van standaard Mandarijn en verstaanbaarheid.

3. Kwaliteitscontrole

Een vierdimensionale kwaliteitscontrole waarborgde de integriteit van de data:

• Nauwkeurigheid: Steekproefsgewijze controles verifieerden of transcripties overeenkwamen met de audio en of labels redelijk waren (doel $\ge$ 95% nauwkeurigheid).
• Volledigheid: Verificatie van geldige audio-koppelingen en niet-lege annotaties.
• Consistentie: Controle op naleving van de transcriptie- en labelingrichtlijnen.
• Bruikbaarheid: Validatie van bestandsintegriteit, bemonsteringsfrequenties en codering.

Belangrijkste Bijdragen

1. Dataset Constructie: De creatie van WildElder, een real-world Mandarijnse dataset van oudere sprekers verzameld uit online video's, die een grotere diversiteit en akoestische uitdaging biedt vergeleken met traditionele in laboratoria opgenomen datasets.
2. Fijnmazige Annotatie: De dataset bevat handmatige segmentatie en multi-label annotaties (transcriptie, leeftijdsgroep, geslacht, accentintensiteit), wat onderzoek mogelijk maakt niet alleen op ASR, maar ook op hulptaken zoals sprekerprofilering.
3. Empirische Analyse: Uitgebreide experimenten die verschillende modellen evalueren over verschillende demografische condities, waarbij WildElder wordt gevestigd als een uitdagende benchmark en de specifieke moeilijkheden bij de verwerking van spraak van ouderen worden belicht.

Experimentele Resultaten

De auteurs evalueerden de dataset met twee groepen baseline-modellen: modellen die vanaf nul zijn getraind (Transformer, Conformer, Branchformer, Paraformer) en pre-trained modellen (Conformer-WenetSpeech, Whisper-familie).

• Prestatieproblematiek: Alle vanaf nul getrainde modellen leverden relatief hoge Character Error Rates (CER) op, wat de moeilijkheid van in-the-wild spraak van ouderen bevestigt. Onder deze modellen was de Conformer de meest competitieve architectuur.
• Decoding Strategieën: Attention rescoring presteerde consistent beter dan pure attention decoding en verbeterde vaak ten opzichte van CTC-only decoding, wat suggereert dat CTC stabiele uitlijningen biedt terwijl attention de hypothesen verfijnt.
• Pre-trained Modellen: Pre-trained systemen presteerden aanzienlijk beter dan vanaf nul getrainde modellen. Conformer-WenetSpeech behaalde de beste algehele prestatie (13,54% CER na fine-tuning), gevolgd door de Whisper-familie. Fine-tuning was essentieel voor alle modellen, waarbij kleinere modellen meer uitgesproken relatieve winst lieten zien.
• Demografische Analyse:
  • Geslacht: Het systeem presteerde significant beter op vrouwelijke sprekers (10,44% CER) vergeleken met mannelijke sprekers (16,89% CER), wat duidt op een grotere akoestische variabiliteit in de spraak van oudere mannen.
  • Leeftijd: De herkenningsnauwkeurigheid verslechterde met de voortgang van de leeftijd. De prestaties waren relatief stabiel voor de leeftijden 70–85, maar vertoonden een duidelijke degradatie boven de 85, met de hoogste foutpercentages (24,41% CER) waargenomen in de groep 90–95 jaar.

Betekenis en Claims

Het paper positioneert WildElder als een betrouwbare en uitdagende benchmark voor toekomstig onderzoek. De betekenis ligt in:

• Het overbruggen van de kloof tussen gecontroleerde laboratoriumdata en real-world toepasbaarheid door een diverse, spontane en akoestisch gevarieerde spraak van ouderen te bieden.
• Het mogelijk maken van het onderzoek naar hoe leeftijd, geslacht en accent gezamenlijk de spraalkarakteristieken en herkenningsprestaties beïnvloeden.
• Het aantonen dat hoewel grootschalige pre-training een robuuste initialisatie biedt, taak- en domeinspecifieke adaptatie (fine-tuning) noodzakelijk blijft om de specifieke variabiliteit van de spraak van ouderen aan te pakken.
• Het bieden van een bron om inclusieve mens-computerinteractie en robuuste modellering voor vergrijzende populaties te bevorderen.

De auteurs concluderen dat WildElder de weg vrijmaakt voor toekomstig onderzoek naar robuuste modellerings- en adaptatiestrategieën die specifiek zijn afgestemd op de demografische groep van ouderen.