S-DiverSe: Spanish Diverse Speech

Technische Samenvatting: S-DiverSe: Spanish Diverse Speech

Probleemstelling
Hoewel automatische spraakherkenning (ASR) opmerkelijk succes heeft geboekt op standaard benchmarks voor spraak, blijft het moeite hebben met spraak die wordt beïnvloed door neurologische aandoeningen zoals amyotrofische laterale sclerose (ALS), de ziekte van Parkinson (PD) en beroertes. Deze aandoeningen veroorzaken vaak dysartrie, gekenmerkt door verminderde articulatiehelderheid, een veranderde prosodie en variabele verstaanbaarheid. Een primaire hindernis voor de vooruitgang van ASR voor deze populaties is het gebrek aan grote, hoogwaardige datasets, met name voor het Spaans. Bestaande Spaanse bronnen zijn beperkt in klinische dekking, domeindiversiteit of opnamecondities, en vertrouwen vaak op gecontroleerde klinische omgevingen of bevooroordeelde demografieën (bijv. oudere sprekers). Dit gebrek aan benchmarks belemmert de ontwikkeling van robuuste ASR-systemen voor pathologische spraak en beperkt de vooruitgang in ondersteunende communicatietools.

Methodologie
De auteurs introduceren S-DiverSe (Spanish Diverse Speech), een corpus ontworpen om dit gat te overbruggen. De dataset bestaat uit 3,2 uur aan "in-the-wild" Spaanse spraak opgenomen van 22 sprekers met de diagnoses ALS, PD of post-stroke condities.

• Gegevensverzameling: Audio werd afkomstig van YouTube, gefilterd op basis van zelfgerapporteerde diagnoses en perceptueel bewijs van niet-normatieve spraak, met een voorkeur voor spontane contexten zoals interviews.
• Annotatie: Het corpus bevat 444 handmatig getranscribeerde audiofragmenten. Drie inheemse Spaanstalige taalkundigen voerden orthografische transcriptie uit, labelden het geslacht van de spreker en de conditie, en voorden een verstaanbaarheidsscore toe op een ordinale schaal van 1–5. Onverstaanbare segmenten werden gemarkeerd als un, en vulwoorden (filled pauses) werden behouden.
• Datasetcompositie: Het corpus is mannelijk-dominant (87,4%) en ALS-dominant (78,1%), wat de beschikbaarheid van in-the-wild data weerspiegelt in plaats van verzamelingsbias. Het bevat metadata over geslacht, conditie en verstaanbaarheid.
• Experimentele opzet: S-DiverSe werd uitsluitend gebruikt voor evaluatie vanwege de hoge variabiliteit en bescheiden omvang, wat trainingssplits onbetrouwbaar zou maken. De studie evalueerde vier ASR-systemen: Whisper-large-v3, Voxtral-Mini, omniASR CTC 1B v2 en de commerciële ElevenLabs Scribe v2.
• Adaptatiestrategieën: De auteurs onderzochten twee adaptatiebenaderingen met behulp van data uit andere neuro-geaffecteerde corpora (TORGO en NeuroVoz) en de Spaanse Common Voice:
  1. Fine-tuning: Inclusief volledige fine-tuning (FFT) en Low-Rank Adaptation (LoRA) toegepast op diverse modelcomponenten (encoder, attention layers, etc.).
  2. Tekst-postverwerking (PP): Een regelgebaseerde heuristische benadering om hallucinaties te mitigeren door karakterreproductie te analyseren, opeenvolgende herhaalde woorden samen te voegen en herhaalde zinsdelen te verminderen.

Belangrijkste Bijdragen

1. S-DiverSe Corpus: De eerste in-the-wild Spaanse dataset die meerdere neurologische condities (ALS, PD, beroerte) dekt met menselijke transcripten en metadata. De auteurs geven annotaties vrij om open onderzoek te stimuleren.
2. Benchmarking: Evaluatie van vier state-of-the-art ASR-systemen op S-DiverSe, wat een baseline biedt voor Spaanse pathologische spraakherkenning.
3. Adaptatieanalyse: Een vergelijkende studie van fine-tuning versus tekst-postverwerking voor het adapteren van ASR-modellen aan out-of-domain neurologische Spaanse spraak.

Resultaten

• Baseline Prestaties: Onder de open-weight modellen behaalde omniASR CTC 1B v2 de laagste Word Error Rate (WER) op S-DiverSe, terwijl de commerciële Scribe v2 de beste algehele prestaties leverde. Geen enkel enkelvoudig open-weight model domineerde over alle geteste corpora (S-DiverSe, TORGO, NeuroVoz), wat suggereert dat architectuur en trainingsdata verschillend interageren met specifieke pathologieën.
• Verstaanbaarheid vs. WER: Er werd een inverse relatie waargenomen tussen verstaanbaarheid en WER. Bij lage verstaanbaarheidsniveaus degradeerden open-weight modellen significant, terwijl Scribe v2 relatieve robuustheid behield.
• Adaptatiebevindingen:
  • Postverwerking: Heuristische tekst-postverwerking bleek de meest robuuste adaptatiestrategie voor S-DiverSe. Het verminderde consistent de WER zonder de in-domain prestaties op TORGO te schaden, wat aangeeft dat een aanzienlijk deel van de fouten op tekstniveau corrigeerbaar is.
  • Fine-tuning: Fine-tuning verbeterde consistent de in-domain prestaties (op TORGO/NeuroVoz) maar slaagde er niet in te generaliseren naar de out-of-domain S-DiverSe data. In sommige gevallen (bijv. Whisper-large-v3 met FFT) veroorzaakte fine-tuning catastrofaal vergeten, wat leidde tot WERs die de 100% overschreden op S-DiverSe door een toename in inserties en substituties.
  • Datacompositie: Het toevoegen van Spaanse Common Voice (voorleesspraak) aan de trainingsmix verbeterde de prestaties op S-DiverSe niet vergeleken met het gebruik van uitsluitend pathologische data, wat bevestigt dat de bottleneck een domeinmismatch (akoestische condities) is in plaats van een taalimbalans.

Betekenis en Claims
Het artikel claimt dat S-DiverSe een noodzakelijke benchmark vestigt die de beperkingen blootlegt van huidige ASR-systemen bij het verwerken van heterogene, in-the-wild pathologische Spaanse spraak. De bevindingen onderstrepen een echte domeinkloof: schone voorleesspraak en gecontroleerde klinische corpora kunnen niet in de plaats komen van diverse, real-world pathologische data.

Cruciaal is dat de auteurs concluderen dat voor out-of-domain neurologische Spaanse spraak, heuristische tekst-postverwerking robuuster is dan fine-tuning. Parameter-update methoden slagen er niet in om buiten de trainingsdistributie te generaliseren, ongeacht de taalcompositie. Dit benadrukt een dringende behoefte in de gemeenschap aan specifieke gegevensverzameling met bredere dekking van beroertes en vrouwelijke sprekers om robuuste ASR voor pathologische Spaanse spraak te bevorderen. De dataset is bedoeld voor evaluatie en ontwikkeling, niet voor klinische inferentie.