Phoneme-Level Mispronunciation Screening in Polish-Speaking Children with an Explainable Assistant

Sintesi Tecnica: Screening delle Mispronunciazioni a Livello di Fonema in Bambini di Lingua Polacca con un Assistente Spiegabile

Definizione del Problema

I disturbi dei suoni del parlato (SSD) sono comuni nell'infanzia, eppure l'accesso tempestivo alla valutazione specialistica è spesso limitato dalla capacità ristretta e dai lunghi tempi di attesa. Questa lacuna motiva lo sviluppo di strumenti di screening leggeri da utilizzare al di fuori degli ambienti clinici. Tuttavia, l'applicazione della standard Automatic Speech Recognition (ASR) al parlato infantile è problematica a causa delle differenze acustiche (tratti vocali più corti, formanti più alte), dell'elevata variabilità intra-parlatore e della presenza di realizzazioni non canoniche sistematiche che fanno parte dello sviluppo normale. Inoltre, i sistemi ASR end-to-end si affidano spesso a forti prior del modello linguistico che possono "normalizzare" le realizzazioni insolite verso parole probabili, mascherando così gli errori di contrasto minimo essenziali per rilevare le mispronunciazioni.

Il polacco presenta una sfida specifica per lo screening automatico a causa del suo denso inventario consonantico e delle frequenti combinazioni di consonanti, particolarmente per quanto riguarda le sibilanti. Nella pratica clinica polacca, le sibilanti sono categorizzate in tre serie (syczący, ciszący e szumiący), dove le sostituzioni (ad es. /ù/ → [s]) e le distorsioni richiedono una gestione clinica distinta. L'obiettivo di questo lavoro non è costruire un sistema di trascrizione generale, ma creare un meccanismo sensibile e interpretabile per segnalare probabili errori e localizzarli a livello di token per la pratica guidata dai caregiver.

Metodologia

Gli autori propongono una pipeline di screening composta da tre componenti principali: un riconoscitore acustico, un modulo di screening basato sull'allineamento e un assistente basato su template.

1. Modello Acustico e Rappresentazione dei Token
Il sistema utilizza un encoder basato su wav2vec2 inizializzato da un checkpoint polacco (jonatasgrosman/wav2vec2-large-xlsr-53-polish). Per migliorare la stabilità nei segmenti ricchi di sibilanti e fornire un contesto specifico per il compito, viene aggiunto un post-encoder Transformer a 6 strati. Il modello è addestrato utilizzando la Connectionist Temporal Classification (CTC).

• Inventario dei Token: Le pronunce sono rappresentate come token simili all'IPA separati da spazi. Fondamentalmente, il vocabolario è esteso con token IPA tra parentesi quadre (ad es. [s], [ù]) per rappresentare gli esiti delle sostituzioni giudicati da esperti. Questi token tra parentesi servono come prova esplicita di deviazione.
• Adattamento: Il modello è adattato al parlato infantile e al vocabolario esteso utilizzando il Parameter-Efficient Fine-Tuning (PEFT). Nello specifico, moduli LoRA (rank $r=32$, $\alpha=64$) vengono iniettati nelle proiezioni dell'attenzione e negli strati feed-forward, e gli ultimi 6 strati dell'encoder vengono sbloccati. Ciò risulta in un 33,3% di parametri addestrabili.

2. Screening Basato sull'Allineamento
Il sistema esegue un allineamento a distanza minima di editing (Levenshtein) tra la sequenza canonica proposta ($y_{ref}$) e la sequenza prodotta riconosciuta ($\hat{y}$).

• Tipizzazione dell'Errore: Le operazioni di allineamento (Match, Sostituzione, Inserimento, Cancellazione) vengono interpretate. Per i target sibilanti/affricate, le sostituzioni sono mappate in categorie interpretabili (ad es. spostamento del punto di articolazione, alternanza di sonorità o mismatch del modo).
• Confidenza: Un punteggio di confidenza ($c_i$) viene calcolato come la media della probabilità a posteriori del token riconosciuto sui frame assegnati ad esso tramite il collasso greedy della CTC. Questo punteggio è utilizzato strettamente come segnale di soppressione (ad es. richiedere una nuova registrazione se la confidenza è bassa) piuttosto che come una probabilità calibrata.

3. Assistente Spiegabile
Il vettore di screening (target, realizzato, tipo, posizione, confidenza) viene fornito a un assistente rivolto ai caregiver.

• Ancoraggio al Template: Il feedback viene generato da un inventario fisso e revisionabile di template scritti da clinici.
• Confini di Sicurezza: Il sistema evita esplicitamente la diagnosi clinica. Include regole di rifiuto in caso di incertezza e non esprime affermazioni mediche. Se la confidenza è bassa o l'evidenza è incoerente, il sistema richiede una nuova registrazione invece di fornire consigli dettagliati.

Contributi Chiave

1. Riconoscitore di Token Sensibile alle Sostituzioni: Un modello basato su wav2vec2 con un post-encoder Transformer compatto a 6 strati, sottoposto a fine-tuning per il parlato infantile polacco con un inventario di token esteso che include marcatori di sostituzione tra parentesi quadre.
2. Valutazione Orientata allo Screening: Una valutazione su un set di test di 10 bambini mai visti che riporta sia la qualità del riconoscimento che le prestazioni di un proxy di screening conservativo per i mismatch delle sibilanti target.
3. Design dell'Assistente Ancorato ai Template: Un'architettura di sistema che traduce gli screening a livello di token in feedback amichevoli per il caregiver con espliciti confini di sicurezza e un piano per la validazione con clinico nel loop (clinician-in-the-loop).

Risultati

Il sistema è stato valutato su un set di test di 10 bambini mai visti (559 utterance) utilizzando un inventario fisso di prompt diagnostici.

• Prestazioni di Riconoscimento: Il riconoscitore ha raggiunto un match esatto di sequenza dell'88,7% (496/559 utterance) e una precisione dei token del 95,0%. Il Word Error Rate (WER) è del 5,95% e il Character Error Rate (CER) è del 4,09%.
• Studi di Ablazione: Rimuovendo il post-encoder, il match esatto della sequenza è sceso all'84,5%. Utilizzando un baseline WavLM-Base invece di wav2vec2, si è ottenuto un match esatto inferiore del 78,6%.
• Prestazioni del Proxy di Screening: Utilizzando la presenza di un token tra parentesi quadre nella posizione target come flag di mismatch, il sistema ha ottenuto:
  • Precisione: 72,9%
  • Recall: 61,4%
  • F1 Score: 0,67
  • Tasso di Falsi Allarmi (FPR): 2,7% sugli elementi corretti del target.
• Analisi degli Errori: Tra gli utterance non esatti, il 92,1% conteneva esattamente una sostituzione a livello di unità. Di questi, il 60,3% erano confusioni tra canonico e parentesi quadre, indicando che il sistema spesso rileva la deviazione ma fatica con la precisa categorizzazione tra le etichette canoniche e quelle tra parentesi quadre.

Significato e Rivendicazioni

L'articolo sostiene che il riconoscimento di token basato su SSL può servire come spina dorsale pratica per lo screening orientato ai caregiver in polacco. Concentrandosi sui contrasti promessi e allineandosi ai target canonici, il sistema evita le trappole dei prior del modello linguistico che mascherano gli errori di contrasto minimo. L'alto tasso di match esatto supporta un allineamento stabile a valle e la tipizzazione dell'errore.

Gli autori sottolineano che il sistema è uno strumento di screening, non diagnostico. Il significato risiede nel design di un "proxy di screening conservativo" che privilegia la sensibilità fonetica e la spiegabilità rispetto alla qualità della trascrizione generale. Il sistema segnala con successo i probabili errori con un basso tasso di falsi allarmi (2,7%), rendendolo adatto all'uso domestico dove minimizzare i falsi positivi è fondamentale per evitare ansie inutili.

L'articolo conclude che, sebbene i risultati attuali siano promettenti, è necessaria una valutazione più ampia attraverso età, severità e condizioni di registrazione prima del deployment. Il lavoro futuro include l'espansione della copertura oltre le sostituzioni, la validazione dell'utilità diagnostica rispetto agli esiti clinici e la conduzione di studi sugli utenti per valutare la chiarezza e la sicurezza del feedback dell'assistente.