Paediatric-HGNN: A Hybrid Heterogeneous Graph Neural Network for Detecting Disfluency in Children's Speech via Multiscale Acoustic Fusion

Sintesi Tecnica: Paediatric-HGNN

Problematica
I sistemi di Rilevamento Automatico del Balbuzzia (ASD) affrontano attualmente sfide significative quando applicati al parlato pediatrico. I modelli esistenti, prevalentemente ottimizzati su dataset per adulti (es. SEP-28k), non riescono a generalizzare sul bambino a causa dell'elevata variabilità acustica delle voci in fase di sviluppo e delle distinzioni sottili, spesso sovrapponibili, tra la disfluenza patologica e le disfluenze tipiche dello sviluppo. Gli approcci standard di deep learning "black-box" mancano spesso dell'interpretabilità necessaria per l'adozione clinica e faticano a differenziare il balbuzziazione nucleare (es. blocchi patologici) dalle disfluenze tipiche (es. ripetizioni di intere parole e revisioni dello sviluppo). Inoltre, le firme acustiche delle disfluenze pediatriche differiscono fondamentalmente dalle patologie del moto-parola degli adulti, portando a cali prestazionali catastrofici quando i modelli addestrati su adulti vengono applicati ai bambini.

Metodologia
Gli autori propongono Paediatric-HGNN, un framework basato su una Rete di Interazione Parte-Tutto Consapevole del Contesto (CaPIN). A differenza della convenzionale modellazione del segnale 1D, questo approccio costruisce un grafo eterogeneo per catturare le relazioni gerarchiche tra due distinti tipi di nodi:

• Nodi Parola (Word Nodes): Rappresentanti l'intento lessicale (parole effettive).
• Nodi Frame (Frame Nodes): Rappresentanti segmenti acustici granulari.

Componenti Tecniche Chiave:

1. Dataset: Il modello è addestrato esclusivamente su un corpus consolidato di parlato spontaneo pediatrico, combinando UCLASS e il subset FluencyBank-CWS. Campioni adulti e registrazioni non annotate sono stati rigorosamente esclusi.
2. Estrazione delle Caratteristiche: Un vettore ibrido a 945 dimensioni viene generato per ogni nodo parola, integrando:
   • Embedding auto-supervisionati profondi da Wav2Vec2-base-960h.
   • Texture dello spettrogramma Mel (tramite global pooling).
   • Caratteristiche acustiche tradizionali (MFCC, zero-crossing rates).
   • Proxy fisici temporali (instabilità dell'energia, stabilità del pitch tramite YIN, autocorrelazione) e metriche di durata contestuale.
3. Costruzione del Grafo: Il grafo ($G = (V, E)$) include:
   • Archi Gerarchici ($E_h$): Che collegano i nodi frame ai loro nodi parola genitori in base all'allineamento temporale.
   • Archi Sequenziali ($E_s$): Che collegano parole adiacenti per modellare il flusso del parlato.
   • Archi Contestuali ($E_c$): Che forniscono una finestra di contesto di $\pm 2$ parole per l'aggregazione linguistica locale.
4. Architettura del Modello:
   • Attenzione Cross-Modale Gerarchica: I nodi parola (Query) prestano attenzione selettiva agli artefatti acustici rilevanti nei loro frame costituenti (Key/Value).
   • Convoluzioni su Grafo Relazionali: Due stadi di GATv2Conv operano attraverso archi sequenziali e contestuali per catturare i pattern di disfluenza locali e di vicinato.
   • Integrazione Temporale: Un BiGRU a 2 strati modella il ritmo globale del parlato.
   • Fusione Gated: Un gate apprendibile pesa dinamicamente le caratteristiche spaziali della GNN rispetto alle caratteristiche temporali della RNN ($H = g \cdot H_{RNN} + (1-g) \cdot H_{GNN}$) prima della classificazione.
5. Strategia di Addestramento: La rete utilizza l'ottimizzazione AdamW e la Focal Loss ($\gamma=2$) con pesi specifici per classe ($\alpha = [1, 3, 3]$) per affrontare lo sbilanciamento delle classi. L'augmentation dei dati include trasformazioni fisiche (ripetizione di segmenti, oscillazione del pitch) e silenzi/cali di energia sintetici, seguiti da un oversampling selettivo (8$\times$ per Core Stutter, 4$\times$ per Typical Disfluency).
6. Valutazione: Viene impiegato un protocolo rigoroso di validazione incrociata a 5 fold indipendente dallo speaker per prevenire la fuga di informazioni (information leakage), garantendo che tutte le registrazioni di uno specifico speaker rimangano all'interno di un singolo fold.

Contributi Chiave

1. Specializzazione Esclusiva Pediatrica: Il framework affronta lo shift di dominio dai dataset per adulti addestrandosi esclusivamente su corpora pediatrici curati (UCLASS e FluencyBank-CWS).
2. Integrazione Lessicale Basata su Grafo: Fondando il rilevamento sulla "parola effettiva", il modello affronta l'ambiguità semantica nel parlato infantile. Ciò consente di differenziare il balbuzziazione nucleare dalle disfluenze tipiche, un compito in cui i modelli acustici tradizionali spesso falliscono.
3. Interpretabilità: L'introduzione di un meccanismo di attenzione gerarchica fornisce trasparenza clinica, consentendo ai logopedisti (SLP) di ispezionare i pesi di attenzione per comprendere la razionalità dietro le diagnosi automatizzate.

Risultati
Valutato su una tassonomia clinica a 3 classi (Fluente, Core Stutter, Typical Disfluency), Paediatric-HGNN ha ottenuto:

• Accuratezza Pesata: 82.4% $\pm$ 2.7%.
• F1 Fluent Speech: 0.904 $\pm$ 0.02.
• F1 Typical Disfluency: 0.386 $\pm$ 0.05 (con picchi di 0.43 in specifici fold).
• F1 Core Stutter: 0.280 $\pm$ 0.06.

Analisi Comparativa:

• Fallimento del Transfer Learning da Adulti: Un modello baseline preaddestrato sul dataset per adulti SEP-28k e raffinato (fine-tuned) su dati pediatrici ha subito un "calo catastrofico", con il punteggio F1 della Typical Disfluency che è precipitato a 0.08. Ciò evidenzia le fondamentali differenze acustiche e linguistiche tra il parlato adulto e quello pediatrico.
• Benchmarking SOTA: Paediatric-HGNN ha superato architetture consolidate (ResNet+BiLSTM, StutterNet, Atrous-CNN, Whister) sul dataset UCLASS, in particolare nella classe Typical Disfluency.
• Studio di Ablazione: La rimozione degli archi contestuali ($E_c$) ha causato la caduta della F1 della Typical Disfluency da 0.386 a 0.287, confermando la necessità del contesto linguistico per identificare le revisioni evolutive. La rimozione dell'attenzione frame-to-word ha ridotto la F1 della Core Stutter a 0.213, provando la sua importanza per localizzare anomalie acustiche a livello micro.

Significatività e Rivendicazioni
L'articolo sostiene che Paediatric-HGNN offra uno strumento più robusto e interpretabile per l'intervento clinico precoce, riuscendo a disaccoppiare il balbuzziazione patologica dalle revisioni evolutive attraverso interazioni gerarchiche lessico-acustiche. Gli autori sottolineano che, mentre i modelli SOTA addestrati su corpora per adulti ottengono alte prestazioni nei compiti di disfluenza cronica, essi sono fondamentalmente inadatti al parlato pediatrico. La ricerca evidenzia la necessità critica di corpora pediatrici specializzati e di architetture consapevoli del contesto per supportare diagnosi oggettive e di intervento precoce nella logopedia. La natura "white-box" del framework CaPIN è presentata come essenziale per l'adozione clinica, fornendo la trasparenza necessaria affinché i clinici possano fidarsi delle predizioni automatizzate.