Elderly-Contextual Data Augmentation via Speech Synthesis for Elderly ASR

1. Probleemstelling

Automatische Spraakherkenningssystemen (ASR) lijden onder significante prestatiedalingen wanneer ze worden toegepast op oudere sprekers (Elderly ASR of EASR). Deze kloof wordt gedreven door twee primaire factoren:

• Data-schaarste: Publieke corpora (bijv. Common Voice) bevatten zeer weinig sprekers in de categorie "laat ouderdom" (70+). Bestaande datasets worden vaak gedomineerd door geschreven of voorgelezen spraak, waardoor ze natuurlijke conversatiepatronen niet vastleggen.
• Distincte akoestische/linguïstische kenmerken: Ouderenspraak vertoont unieke fysiologische en linguïstische eigenschappen, waaronder langzamere spreektempo's, toegenomen pauzes, onstabiele articulatie, heesheid en leeftijdsgebonden stoornissen (bijv. dysartrie). Daarnaast zijn er verschuivingen op populatieniveau in lexische diversiteit en discoursorganisatie die standaard ASR-modellen niet kunnen vastleggen.

Traditionele data-augmentatietechnieken (zoals snelheidsverandering of SpecAugment) adresseren akoestische variabiliteit, maar lossen de contextuele en lexische mismatch niet op tussen trainingsdata uit het algemene domein en de specifieke linguïstische patronen van ouderen.

2. Methodologie

De auteurs stellen een innovatieve data-augmentatiepijplijn voor die Grote Taalmodellen (LLM's) voor tekstgeneratie combineert met Tekst-naar-Spraak (TTS)-synthese om synthetische ouderen-spraakdata te creëren.

A. Overzicht van de Pijplijn

Het framework werkt in drie opeenvolgende fasen:

1. Ouderen-contextuele Parafrafering (LLM):
   • Gegeven een originele transcriptie $t_i$, genereert een LLM een geparafraseerde versie $t'_i$ die specifiek is toegespitst op ouderen-contexten.
   • Prompt Engineering: De LLM krijgt de instructie om:
     • De zin te herschrijven zodat deze past in een CSV-formaat (voor gestructureerde generatie).
     • Te voldoen aan lengtebeperkingen (3–20 woorden).
     • Cruciaal: Toon en inhoud aan te passen om spraak te reflecteren die vaak door ouderen wordt gebruikt (bijv. "kind" veranderen in "kleinkind", retrospectieve of didactische tonen toevoegen).
2. Spraaksynthese (TTS):
   • De gegenereerde ouderen-contextuele transcriptie $t'_i$ wordt omgezet in synthetische audio $a'_i$ met behulp van een TTS-model (OpenVoice2).
   • Sprekerconditionering: De synthese is geconditioneerd op een gecureerde pool van ouderen-referentiesprekers ($S_{ref}$). Het systeem balanceert de spreker-toewijzing om ervoor te zorgen dat diverse akoestische kenmerken (geslacht en regionale accenten) worden vertegenwoordigd.
3. Model Fine-tuning:
   • De synthetische audio-tekstparen worden samengevoegd met de originele dataset om een trainingsset te vormen.
   • Deze gecombineerde dataset wordt gebruikt om het Whisper ASR-model te fine-tunen zonder de architectuur te wijzigen.

B. Experimentele Opstelling

• Datasets:
  • Engels: Common Voice 18.0 (CV18), gefilterd op sprekers van 70+ (12 uur aan data).
  • Koreaans: VOTE400, een dataset van sprekers van 75+ verzameld bij welzijnsinstellingen voor senioren (10 uur aan data).
• Modellen: Whisper (Small, Medium, Large-v2, Large-v3) als backbone; GPT-5, GPT-4o en Gemini 3 Flash voor tekstgeneratie.
• Metrieken: Woordfoutpercentage (WER) voor Engels; Karaktersfoutpercentage (CER) voor Koreaans.

3. Belangrijkste Bijdragen

1. Nieuw Framework: Stelt de eerste EASR-augmentatiepijplijn voor die LLM-gebaseerde ouderen-contextuele tekstgeneratie integreert met TTS, waardoor zowel akoestische als linguïstische kloven gelijktijdig worden aangepakt.
2. Prestatiewinsten: Toont aan dat deze methode aanzienlijk beter presteert dan conventionele augmentatie-baselines (snelheidsverandering, SpecAugment) en TTS-only-benaderingen.
3. Uitgebreide Analyse: Biedt empirische richtlijnen over kritieke generatiefactoren:
   • Augmentatieverhouding: De prestaties verbeteren monotoon met hogere verhoudingen, waarbij 100% augmentatie de beste resultaten oplevert.
   • Sprekerssamenstelling: Een gebalanceerde mix van mannelijke en vrouwelijke referentiesprekers (4V+4M) levert superieure resultaten op in vergelijking met geslachtsgekleurde pools.
   • LLM-selectie: Grotere/geavanceerdere LLM's (GPT-5) genereren van hogere kwaliteit parafraseringen, wat leidt tot betere ASR-prestaties.

4. Experimentele Resultaten

• Hoofdresultaten:
  • Op de CV18 (Engels) dataset verlaagde de voorgestelde methode de WER van 4,1% (Baseline) naar 2,2%, een relatieve reductie van 46,3%.
  • Op de VOTE400 (Koreaans) dataset daalde de WER van 11,6% naar 5,2%, een relatieve reductie van 55,2%.
  • In vergelijking met de Whisper-baseline bereikte de methode een relatieve reductie in foutpercentages van maximaal 58,2%.
• Vergelijking met Baselines:
  • De voorgestelde methode (LLM+TTS) presteerde aanzienlijk beter dan TTS-only-augmentatie en standaard signaalniveau-augmentaties (Speed Perturbation, SpecAugment).
  • Het combineren van de voorgestelde methode met SpecAugment leverde de absolute beste prestatie op (2,1% WER op CV18).
• Efficiëntie van Modelgrootte: De augmentatie was bijzonder effectief voor kleinere modellen. Whisper-Small, verrijkt met deze methode, overtrof de baseline-prestaties van veel grotere modellen (bijv. Whisper-Large-v2) op de Engelse dataset.
• Kwalitatieve Analyse:
  • De methode corrigeerde succesvol fonetische ambiguïteiten (bijv. onderscheid maken tussen "kleinkind" en "en kind") en domeinspecifieke vocabulairefouten.
  • De LLM introduceerde succesvol diverse ouderen-contextuele variaties (bijv. verschuiven van neutrale uitspraken naar didactische of bezorgde tonen), hoewel sommige outputs af en toe leunden op stereotypen.

5. Betekenis en Conclusie

Dit werk adresseert een kritieke bottleneck in mens-computerinteractie voor de vergrijzende bevolking: het gebrek aan representatieve trainingsdata voor EASR. Door LLM's in te zetten om de linguïstische en contextuele nuances van ouderen-spraak te simuleren (niet alleen de akoestische stem), tonen de auteurs aan dat synthetische data de prestatiekloof effectief kan overbruggen.

De studie stelt vast dat:

1. Context telt: Het simpelweg synthetiseren van spraak is onvoldoende; de tekst moet de specifieke discourspatronen van ouderen weerspiegelen.
2. Schaalbaarheid: De aanpak is zeer effectief over verschillende modelgroottes en talen (Engels en Koreaans).
3. Praktijktoepasbaarheid: Het biedt een haalbare weg om de ASR-betrouwbaarheid voor ouderen te verbeteren zonder enorme nieuwe dataverzamelinspanningen, die vaak worden gehinderd door privacy- en logistieke beperkingen.

Toekomstig werk zoals voorgesteld door de auteurs omvat uitbreiding naar meer talen, verfijning van prompt engineering om stereotiepe outputs te verminderen, en het verkennen van een hechtere integratie tussen generatieve modellen en ASR-trainingslussen.