Debiased Automatic Speech Recognition for Dysarthric Speech via Sample Reweighting with Sample Affinity Test

Technische Samenvatting: Ontbiaste Automatische Spraakherkenning voor Dysartrische Spraak via Sample Reweighting met de Sample Affinity Test

Probleemstelling
Systemen voor automatische spraakherkenning (ASR) die gebaseerd zijn op deep learning, worden doorgaans getraind onder Empirical Risk Minimization (ERM), wat optimaliseert voor de gemiddelde prestaties over alle datapunten (samples). Deze aanpak houdt vaak geen rekening met de prestatieverschillen tussen verschillende groepen, zoals gezonde sprekers versus mensen met dysartrie (een motorische spraakstoornis). Als gevolg hiervan vertonen ASR-systemen een ernstige bias, waarbij ze aanzienlijk slechter presteren op dysartrische spraak vanwege de lage verstaanbaarheid en de neiging van deep learning-modellen om "shortcuts" te fitten in plaats van robuuste kenmerken. Hoewel eerder onderzoek zich heeft gericht op het verbeteren van de algehele dysartrische spraakherkenning, hebben weinig studies dit probleem aangepakt vanuit een debiasing-perspectief om groepsrobuustheid te garanderen zonder de prestaties op gezonde spraak te verslechteren. Bovendien vertrouwen bestaande debiasing-methoden vaak op de aanname dat samples met een hoge loss (bias-conflicting samples) inherent nuttig zijn voor debiasing, een aanname die in realistische scenario's faalt wanneer uitschieters of niet-behulpzame samples ook een hoge loss kunnen vertonen.

Methodologie: Re-SAT
De auteurs stellen een nieuwe aanpak voor genaamd Sample Reweighting with Sample Affinity Test (Re-SAT) om bias in dysartrische spraakherkenning te verminderen. Re-SAT werkt in een omgeving zonder groepslabels en bestaat uit vier opeenvolgende componenten:

1. Bias-Conflicting Sample Estimation: De methode identificeert aanvankelijk potentiële bias-conflicting samples binnen een mini-batch door de $K$ samples met de grootste loss-waarden te selecteren. In tegenstelling tot statische methoden, schat Re-SAT deze samples dynamisch gedurende het trainingsproces opnieuw in om de huidige staat van het model te reflecteren.
2. Sample Affinity Test (SAT): Om te onderscheiden tussen samples die daadwerkelijk helpen bij debiasing en samples die simpelweg een hoge loss hebben, introduceren de auteurs SAT. Geïnspireerd door task affinity, meet SAT de "sample affinity", gedefinieerd als het trainingseffect van een gegeven sample op de loss van de geschatte bias-conflicting samples.
   • De methode voert een single-step lookahead update uit op een gegeven sample $x_i$ om een tijdelijk model $\theta^{LA}_{x_i}$ te verkrijgen.
   • Vervolgens wordt de loss-verschuiving op de bias-conflicting set $\{\hat{b}_1, ..., \hat{b}_K\}$ berekend tussen het originele model en het lookahead model.
   • De affinity score wordt berekend als de gemiddelde reductie in loss op de bias-conflicting set. Dit stelt het systeem in staat om bias-blocking samples (die bias verminderen) te onderscheiden van bias-accelerating samples (die bias verergeren), zelfs als die laatstgenoemde een hoge initiële loss hebben.
3. Genormaliseerde Reweighting: In plaats van affinity scores direct naar gewichten te mappen, normaliseert Re-SAT deze door samples binnen de batch te rangschikken in dalende volgorde van affinity. Een softmax-gebaseerde functie wijst gewichten toe op basis van deze rangordes, wat de leersnelheid stabiliseert en ongewenste verschuivingen voorkomt.
4. Training: Het model wordt getraind met de hergewogen samples, waarbij de totale loss een gewogen gemiddelde is dat bias-blocking samples bevoordeelt en bias-accelerating samples bestraft.

Belangrijkste Bijdragen

• Eerste Debiasing Werk voor Dysartrische ASR: Naar weten van de auteurs is dit de eerste studie die dysartrische spraakherkenning specifiek benadert vanuit het perspectief van debiasing om de groepsrobuustheid tussen gezonde en dysartrische sprekers te verbeteren.
• Sample Affinity Test (SAT): Het artikel introduceert een nieuwe metriek om direct de "debiasing nuttigheid" van een sample te meten. Dit adresseert de beperking van loss-gebaseerde methoden door niet-behulpzame bias-accelerating samples te filteren die anders door hun hoge loss zouden worden opgewogen.
• Re-SAT Framework: Een volledige sample reweighting pipeline die werkt zonder expliciete groepsannotaties tijdens de training vereist, wat het geschikt maakt voor real-world toepassingen waar groepslabels mogelijk niet beschikbaar zijn.

Experimentele Resultaten
De methode werd geëvalueerd op de UASpeech corpus, met de Whisper-tiny model als backbone. De dataset bevatte 15 dysartrische sprekers (gecategoriseerd naar verstaanbaarheidsniveaus: Very Low, Low, Mid, High) en 13 gezonde controlegroepen.

• Prestaties op Dysartrische Spraak: Re-SAT verminderde de Word Error Rate (WER) aanzienlijk over alle verstaanbaarheidsgroepen vergeleken met de ERM-baseline. Specifiek bereikte het relatieve WER-reducties van 12,02% (Very Low), 11,10% (Low), 7,22% (Mid) en 13,06% (High).
• Prestaties op Gezonde Spraak: Cruciaal is dat Re-SAT ook de prestaties op gezonde sprekers verbeterde (reductie van WER van 3,81% naar 3,40%), wat aantoont dat het debiasing-proces niet ten koste ging van de algemene prestaties.
• Vergelijking met Baselines: Re-SAT presteerde beter dan zowel ERM als de "Just Train Twice" (JTT) debiasing-methode. Terwijl JTT de resultaten voor de "Very Low" groep verbeterde, verslechterde het de prestaties voor andere groepen en gezonde sprekers. Re-SAT bood consistente verbeteringen over alle groepen.
• Ablatieonderzoek: Een variant genaamd "Re-Loss", die loss-gebaseerde reweighting gebruikte in plaats van SAT, presteerde beter dan ERM en JTT, maar werd nog steeds overtroffen door Re-SAT. Dit bevestigt het belang van de Sample Affinity Test voor het accuraat identificeren van behulpzame samples.
• Hyperparameter Gevoeligheid: De methode toonde stabiele verbeteringen voor $K$ (aantal bias-conflicting samples) waarden van 2, 4 en 8. Echter, het instellen van $K=16$ verslechterde de prestaties, wat suggereert dat een kleinere, dynamisch bijgewerkte set van conflicterende samples effectiever is voor nauwkeurige schatting.

Betekenis en Claims
Het artikel beweert dat Re-SAT een robuuste oplossing biedt voor het creëren van eerlijke en inclusieve ASR-systemen voor dysartrische sprekers. Door verder te gaan dan eenvoudige loss-gebaseerde reweighting naar een mechanisme dat direct de debiasing-utiliteit van samples meet, slaagt de methode erin de prestatiekloof tussen gezonde en dysartrische sprekers te verkleinen zonder de algemene nauwkeurigheid op te offeren. De auteurs positioneren dit werk als een fundamentele stap naar groepsrobuuste ASR, waarbij ze benadrukken dat hun aanpak de eerste is die debiasing-technieken specifiek toepast op het domein van dysartrische spraak. Ze suggereren dat toekomstig werk Re-SAT kan integreren met andere dysartrische spraakherkenningssystemen door gebruik te maken van de veelzijdige structuur.