Phoneme-Level Mispronunciation Screening in Polish-Speaking Children with an Explainable Assistant

Technische Samenvatting: Fonemische Misspraakingsscreening bij Poolstalige Kinderen met een Uitlegbare Assistent

Probleemstelling

Spraakgeluidstoornissen (SSD's) komen veel voor in de vroege kindertijd, maar tijdige toegang tot gespecialiseerde beoordeling wordt vaak beperkt door een beperkte capaciteit en lange wachttijden. Deze kloof motiveert de ontwikkeling van lichtgewicht screeningsinstrumenten voor gebruik buiten de klinische setting. Het toepassen van standaard automatische spraakherkenning (ASR) op kinderspraak is echter problematisch vanwege akoestische verschillen (kortere spraakkanalen, hogere formantfrequenties), hoge variabiliteit binnen sprekers en de aanwezigheid van systematische niet-canonieke realisaties die deel uitmaken van een normale ontwikkeling. Bov�ica, end-to-end ASR-systemen vertrouwen vaak op sterke taalmodel-priors die ongebruikelijke realisaties naar waarschijnlijke woorden "normaliseren", waardoor minimale contrastfouten die essentieel zijn voor het detecteren van misspraakingen worden gemaskeerd.

Pools vormt een specifieke uitdaging voor automatische screening vanwege de dichte consonanteninventaris en frequente clusters, met name met betrekking tot sibilanten (sisselklanken). In de Poolse klinische praktijk worden sibilanten gecategoriseerd in drie series (syczący, ciszący en szumiący), waarbij substituties (bijv. /ù/ → [s]) en distorties een specifieke klinische behandeling vereisen. Het doel van dit werk is niet het bouwen van een algemeen transcriptiesysteem, maar het creëren van een gevoelig, interpreteerbaar mechanisme om waarschijnlijke fouten te signaleren en deze op tokenniveau te lokaliseren voor zorgverlener-gestuurde oefening.

Methodologie

De auteurs stellen een screening-pipeline voor bestaande uit drie hoofdonderdelen: een akoestische herkenner, een alignment-gebaseerde screeningsmodule en een template-gegronde assistent.

1. Akoestisch Model en Tokenrepresentatie
Het systeem maakt gebruik van een wav2vec2-gebaseerde encoder, geïnitialiseerd vanuit een Pools checkpoint (jonatasgrosman/wav2vec2-large-xlsr-53-polish). Om de stabiliteit in sibilant-rijke segmenten te verbeteren en taakspecifieke context te bieden, is een 6-laagse Transformer na de encoder toegevoegd. Het model wordt getraind met Connectionist Temporal Classification (CTC).

• Tokeninventaris: Uitspraken worden gerepresenteerd als ruimtegescheiden IPA-achtige tokens. Cruciaal is dat de vocabulaire is uitgebreid met tussen haakjes geplaatste IPA-tokens (bijv. [s], [ù]) om door experts beoordeelde substitutie-uitkomsten te representeren. Deze tussen haakjes geplaatste tokens dienen als expliciet bewijs van afwijking.
• Adaptatie: Het model wordt aangepast aan kinderspraak en de uitgebreide vocabulaire met behulp van Parameter-Efficient Fine-Tuning (PEFT). Specifiek worden LoRA-modules (rank $r=32$, $\alpha=64$) geïnjecteerd in de aandachtprojecties en feed-forward sublagen, en zijn de laatste 6 encoder-lagen ontdoordoord (unfrozen). Dit resulteert in 33,3% trainbare parameters.

2. Alignment-gebaseerde Screening
Het systeem voert een minimum-edit (Levenshtein) alignment uit tussen de geprompte canonieke sequentie ($y_{ref}$) en de herkende productiesequentie ($\hat{y}$).

• Fouttypering: Alignment-operaties (Match, Substitutie, Insertie, Deletie) worden geïnterpreteerd. Voor sibilant/affricaat-targets worden substituties in kaart gebracht naar interpreteerbare categorieën (bijv. verschuiving in plaats van articulatie, stemhebbendheid-alternatie of modus-mismatch).
• Betrouwbaarheid: Een betrouwbaarheidsscore ($c_i$) wordt berekend als de gemiddelde posterieure waarschijnlijkheid van het herkende token over de frames die aan het token zijn toegewezen via greedy CTC collapse. Deze score wordt strikt gebruikt als een onderdrukkingssignaal (bijv. het verzoeken om een nieuwe opname als de betrouwbaarheid laag is) in plaats van een gekalibreerde waarschijnlijkheid.

3. Uitlegbare Assistent
De screeningvector (target, gerealiseerd, type, positie, betrouwbaarheid) wordt ingevoerd in een assistent gericht op de zorgverlener.

• Template Grounding: Feedback wordt gegenereerd vanuit een vaste, controleerbare inventaris van door clinici geschreven templates.
• Veiligheidsgrenzen: Het systeem vermijdt expliciet klinische diagnoses. Het bevat weigeringsregels voor onzekerheid en doet geen medische claims. Als de betrouwbaarheid laag is of het bewijs inconsistent, vraat het systeem om een nieuwe opname in plaats van gedetailleerd advies te geven.

Belangrijkste Bijdragen

1. Substitutie-bewuste Tokenherkenner: Een wav2vec2-gebaseerd model met een compacte 6-laagse Transformer post-encoder, fijn afgesteld voor Poolse kinderspraak met een uitgebreide tokeninventaris die ook tussen haakjes geplaatste substitutie-markers bevat.
2. Screening-georiënteerde Evaluatie: Een evaluatie op een onafhankelijke set van 10 ongeziene kinderen die zowel de herkenningskwaliteit als de prestaties van een conservatieve screening-proxy voor target sibilant-mismatches rapporteert.
3. Template-gegronde Assistentontwerp: Een systeemarchitectuur die token-niveau screenings vertaalt naar zorgverlener-vriendelijke feedback met expliciete veiligheidsgrenzen en een plan voor validatie met de clinicus in de loop.

Resultaten

Het systeem werd geëvalueerd op een testset van 10 ongeziene kinderen (559 uitingen) met behulp van een vaste inventaris van diagnostische prompts.

• Herkenningsprestaties: De herkenner behaalde een exacte sequentie-match van 88,7% (496/559 uitingen) en een token-accuratesse van 95,0%. De Word Error Rate (WER) was 5,95% en de Character Error Rate (CER) was 4,09%.
• Ablatiestudies: Het verwijderen van de post-encoder verminderde de exacte sequentie-match naar 84,5%. Het gebruik van een WavLM-Base baseline in plaats van wav2vec2 resulteerde in een lagere exact match van 78,6%.
• Prestaties van de Screening-proxy: Door de aanwezigheid van een tussen haakjes geplaatst token op de targetpositie te gebruiken als flag voor mismatch, behaalde het systeem:
  • Precisie: 72,9%
  • Recall: 61,4%
  • F1-score: 0,67
  • False Alarm Rate (FPR): 2,7% op target-correcte items.
• Foutanalyse: Onder de niet-exacte uitingen bevatte 92,1% precies één unit-niveau substitutie. Hiervan waren 60,3% canonical-bracket confusions, wat aangeeft dat het systeem de afwijking vaak detecteert maar moeite heeft met de precieze categorisering tussen de canonieke en de tussen haakjes geplaatste labels.

Betekenis en Claims

Het artikel claimt dat SSL-gebaseerde tokenherkenning kan dienen als een praktische ruggengraat voor zorgverlener-georiënteerde screening in het Pools. Door zich te richten op geprompte contrasten en te alignen met canonieke targets, vermijdt het systeem de valkuilen van taalmodel-priors die minimale contrastfouten maskeren. De hoge exact-match rate ondersteunt stabiele downstream alignment en fouttypering.

De auteurs benadrukken dat het systeem een screeningstool is, geen diagnostisch instrument. De betekenis ligt in het ontwerp van een "conservatieve screening-proxy" die prioriteit geeft aan fonetische sensitiviteit en uitlegbaarheid boven algemene transcriptiekwaliteit. Het systeem signaleert succesvol waarschijnlijke fouten met een lage false-alarm rate (2,7%), wat het geschikt maakt voor gebruik thuis waar het minimaliseren van vals positieven cruciaal is om onnodige angst te voorkomen.

Het artikel concludeert dat hoewel de huidige resultaten veelbelovend zijn, bredere evaluatie over leeftijden, ernst en opnamecondities vereist is voordat implementatie kan plaatsvinden. Toekomstig werk omvat het uitbreiden van de dekking voorbij substituties, het valideren van de diagnostische bruikbaarheid tegen klinische uitkomsten, en het uitvoeren van gebruikersstudies om de duidelijkheid en veiligheid van de feedback van de assistent te evalueren.