Paediatric-HGNN: A Hybrid Heterogeneous Graph Neural Network for Detecting Disfluency in Children's Speech via Multiscale Acoustic Fusion

Technische Samenvatting: Paediatric-HGNN

Probleemstelling
Geautomatiseerde systemen voor het detecteren van stotteren (Automated Stuttering Detection, ASD) kampen momenteel met aanzienlijke uitdagingen bij de toepassing op de spraak van kinderen. Bestaande modellen, die voornamelijk zijn geoptimaliseerd op volwassendatasets (bijv. SEP-28k), generaliseren slecht naar kinderen vanwege de hoge akoestische variabiliteit van ontwikkelende stemmen en de subtiele, vaak overlappende verschillen tussen pathologische stotterende en typische ontwikkelingsgerelateerde disfluenties. Standaard "black-box" deep learning-benaderingen missen vaak de interpreteerbaarheid die vereist is voor klinische adoptie en hebben moeite om kernstotteren (bijv. pathologische blokkades) te onderscheiden van typische disfluenties (bijv. ontwikkelingsgerelateerde hele-woord-herhalingen en revisies). Bovendien verschillen de akoestische signaturen van pediatrische disfluenties fundamenteel van volwassen motorisch-spraakpathologieën, wat leidt tot een catastrofale prestatiedaling wanneer door volwassenen getrainde modellen op kinderen worden toegepast.

Methodologie
De auteurs stellen Paediatric-HGNN voor, een framework gebouwd op een Context-aware Part-whole Interaction Network (CaPIN). In tegenstelling tot conventionele 1D-signaalmodellering, construeert deze aanpak een heterogene graaf om hiërarchische relaties vast te leggen tussen twee verschillende soorten knopen:

• Woordknopen (Word Nodes): Representatief voor de lexicale intentie (werkelijke woorden).
• Frameknopen (Frame Nodes): Representatief voor fijnmazige akoestische segmenten.

Belangrijke technische componenten:

1. Dataset: Het model wordt uitsluitend getraind op een geconsolideerde corpus van spontane pediatrische spraak, bestaande uit een combinatie van UCLASS en een subset van FluencyBank-CWS. Adult samples en ongeannoteerde opnames werden strikt uitgesloten.
2. Feature Extractie: Voor elke woordknoop wordt een 945-dimensionale hybride vector gegenereerd, die het volgende integreert:
   • Diepe self-supervised embeddings van Wav2Vec2-base-960h.
   • Mel-spectrogram texturen (via global pooling).
   • Traditionele handmatige akoestische kenmerken (MFCC's, zero-crossing rates).
   • Temporele fysica-proxies (energie-instabiliteit, pitch-stabiliteit via YIN, autocorrelatie) en contextuele duurmetrieken.
3. Graafconstructie: De graaf ($G = (V, E)$) bevat:
   • Hiërarchische randen ($E_h$): Verbindingen tussen frameknopen en hun ouderwoordknopen op basis van temporele uitlijning.
   • Sequentiële randen ($E_s$): Verbindingen tussen opeenvolgende woorden om de spraakstroom te modelleren.
   • Contextuele randen ($E_c$): Biedt een $\pm 2$ woord contextvenster voor lokale linguïstische aggregatie.
4. Modelarchitectuur:
   • Hierarchical Cross-Modal Attention: Woordknopen (Queries) letten selectief op relevante akoestische artefacten in hun constituerende frames (Keys/Values).
   • Relational Graph Convolutions: Twee stadia van GATv2Conv opereren over sequentiële en contextuele randen om lokale en buurtgerelateerde disfluentiepatronen te vangen.
   • Temporele Integratie: Een 2-laagse Bidirectional GRU modelleert de globale spraakritmiek.
   • Gated Fusion: Een leerbare gate weegt dynamisch ruimtelijke GNN-features af tegen temporele RNN-features ($H = g \cdot H_{RNN} + (1-g) \cdot H_{GNN}$) vóór classificatie.
5. Trainingsstrategie: Het netwerk maakt gebruik van AdamW optimalisatie en Focal Loss ($\gamma=2$) met klasse-specifieke gewichten ($\alpha = [1, 3, 3]$) om klasse-imbalans aan te pakken. Data-augmentatie omvat fysieke transformaties (segmentherhaling, pitch wobbling) en synthetische stilte/energie-drops, gevolgd door selectieve oversampling (8$\times$ voor Core Stutter, 4$\times$ voor Typical Disfluency).
6. Evaluatie: Er wordt een rigoureus speaker-independent 5-fold cross-validation protocol gehanteerd om informatielekkage te voorkomen, waarbij alle opnames van een specifieke spreker binnen dezelfde fold blijven.

Belangrijkste Bijdragen

1. Pediatrische Specialisatie: Het framework adresseert de domeinverschuiving van volwassen datasets door uitsluitend te trainen op gecureerde pediatrische corpora (UCLASS en FluencyBank-CWS).
2. Graaf-gebaseerde Lexicale Integratie: Door detectie te funderen in het "werkelijke woord", adresseert het model de semantische ambiguïteit in kinderspraak. Dit maakt het onderscheid mogelijk tussen kernstotteren en typische disfluenties, een taak waarin traditionele akoestische modellen vaak falen.
3. Interpreteerbaarheid: De introductie van een hiërarchisch aandachtmechanisme biedt klinische transparantie, waardoor spraak- en taaltherapeuten (SLP's) de aandachtgewichten kunnen inspecteren om de rationale achter automatische diagnoses te begrijpen.

Resultaten
Geëvalueerd op een 3-klasse klinische taxonomie (Fluent, Core Stutter, Typical Disfluency), behaalde Paediatric-HGNN:

• Weighted Accuracy: 82.4% $\pm$ 2.7%.
• Fluent Speech F1: 0.904 $\pm$ 0.02.
• Typical Disfluency F1: 0.386 $\pm$ 0.05 (piekend op 0.43 in specifieke folds).
• Core Stutter F1: 0.280 $\pm$ 0.06.

Vergelijkende Analyse:

• Falen van Transfer Learning van Volwassenen: Een baseline model dat vooraf getraind was op de volwassen SEP-28k dataset en gefinetuned op pediatrische data, leed onder een "catastrofale daling", waarbij de Typical Disfluency F1-score kelderde naar 0.08. Dit benadrukt de fundamentele akoestische en linguïstische verschillen tussen volwassen en pediatrische spraak.
• SOTA Benchmarking: Paediatric-HGNN presteerde beter dan gevestigde architecturen (ResNet+BiLSTM, StutterNet, Atrous-CNN, Whister) op de UCLASS-dataset, met name in de Typical Disfluency-klasse.
• Ablatieonderzoek: Het verwijderen van contextuele randen ($E_c$) zorgde ervoor dat de Typical Disfluency F1 daalde van 0.386 naar 0.287, wat de noodzaak van linguïstische context bevestigt voor het identificeren van ontwikkelingsgerelateerde revisies. Het verwijderen van frame-naar-woord aandacht verminderde de Core Stutter F1 tot 0.213, wat het belang ervan bewijst voor het lokaliseren van micro-niveau akoestische anomalieën.

Betekenis en Claims
Het artikel claimt dat Paediatric-HGNN een robuustere en interpreteerbare tool biedt voor vroege klinische interventie door succesvol pathologische stotteringen te ontkoppelen van ontwikkelingsgerelateerde revisies via hiërarchische lexicale-akoestische interacties. De auteurs benadrukken dat hoewel SOTA-modellen getraind op volwassen corpora een hoge prestatie leveren bij chronische disfluentie-taken, ze fundamenteel ongeschikt zijn voor pediatrische spraak. Het onderzoek onderstreept de kritieke noodzaak van gespecialiseerde pediatrische corpora en context-bewuste architecturen om objectieve, vroege interventie-diagnostiek in de spraak- en taalpathologie te ondersteunen. De "white-box"-aard van het CaPIN-framework wordt gepresenteerd als essentieel voor klinische adoptie, omdat het de transparantie biedt die nodig is voor clinici om automatische voorspellingen te vertrouwen.