Paediatric-HGNN: A Hybrid Heterogeneous Graph Neural Network for Detecting Disfluency in Children's Speech via Multiscale Acoustic Fusion

Resumo Técnico: Paediatric-HGNN

Declaração do Problema
Os sistemas de Detecção Automatizada de Gaguez (ASD) enfrentam desafios significativos quando aplicados à fala pediátrica. Os modelos existentes, predominantemente otimizados em conjuntos de dados de adultos (ex: SEP-28k), falham em generalizar para crianças devido à alta variabilidade acústica das vozes em desenvolvimento e às distinções sutis, muitas vezes sobrepostas, entre a gaguez patológica e as disfluências típicas do desenvolvimento. As abordagens convencionais de "caixa-preta" de aprendizagem profunda carecem da interpretabilidade necessária para a adoção clínica e têm dificuldade em diferenciar a gaguez central (ex: bloqueios patológicos) de disfluências típicas (ex: repetições de palavras inteiras e revisões do desenvolvimento). Além disso, as assinaturas acústicas das disfluências pediátricas diferem fundamentalmente das patologias de fala motora de adultos, levando a quedas catastróficas de desempenho quando modelos treinados em adultos são aplicados a crianças.

Metodologia
Os autores propõem o Paediatric-HGNN, um framework construído sobre uma Rede de Interação Parte-Todo Sensível ao Contexto (CaPIN). Diferente da modelagem de sinal 1D convencional, esta abordagem constró de um grafo heterogêneo para capturar relações hierárquicas entre dois tipos distintos de nós:

• Nós de Palavra: Representando a intenção lexical (palavras reais).
• Nós de Frame: Representando segmentos acústicos de granularidade fina.

Componentes Técnicos Principais:

1. Dataset: O modelo é treinado exclusivamente em um corpus consolidado de fala espontânea pediátrica, combinando UCLASS e o subconjunto FluencyBank-CWS. Amostras de adultos e gravações não anotadas foram estritamente excluídas.
2. Extração de Características: Um vetor híbrido de 945 dimensões é gerado para cada nó de palavra, integrando:
   • Embeddings auto-supervisionados profundos do Wav2Vec2-base-960h.
   • Texturas de espectrograma Mel (via pooling global).
   • Características acústicas manuais tradicionais (MFCCs, taxas de cruzamento zero).
   • Proxies de física temporal (instabilidade de energia, estabilidade de pitch via YIN, autocorrelação) e métricas de duração contextual.
3. Construção do Grafo: O grafo ($G = (V, E)$) inclui:
   • Arestas Hierárquicas ($E_h$): Conectando nós de frame aos seus nós de palavra pai com base no alinhamento temporal.
   • Arestas Sequenciais ($E_s$): Conectando palavras adjacentes para modelar o fluxo da fala.
   • Arestas Contextuais ($E_c$): Fornecendo uma janela de contexto de $\pm 2$ palavras para agregação linguística local.
4. Arquitetura do Modelo:
   • Atenção Cross-Modal Hierárquica: Nós de palavra (Queries) atendem seletivamente a artefatos acústicos relevantes em seus frames constituintes (Keys/Values).
   • Convoluções de Grafo Relacionais: Duas etapas de GATv2Conv operam através de arestas sequenciais e contextuais para capturar padrões de disfluência locais e de vizinhança.
   • Integração Temporal: Uma BiGRU de 2 camadas modela o ritmo global da fala.
   • Fusão com Portão (Gated Fusion): Um portão aprendível pondera dinamicamente as características espaciais da GNN em relação às características temporais da RNN ($H = g \cdot H_{RNN} + (1-g) \cdot H_{GNN}$) antes da classificação.
5. Estratégia de Treinamento: A rede utiliza otimização AdamW e Focal Loss ($\gamma=2$) com pesos específicos por classe ($\alpha = [1, 3, 3]$) para abordar o desequilíbrio de classes. A aumentação de dados inclui transformações físicas (repetição de segmento, oscilação de pitch) e queda sintética de silêncio/energia, seguidas de sobreamostragem seletiva (8$\times$ para Gaguez Central, 4$\times$ para Disfluência Típica).
6. Avaliação: Um protocolo rigoroso de validação cruzada de 5 dobras independente de locutor é empregado para evitar vazamento de informação, garantindo que todas as gravações de um locutor específico permaneçam dentro de uma única dobra.

Principais Contribuições

1. Especialização Exclusiva para Pediatria: O framework aborda o deslocamento de domínio de conjuntos de dados de adultos ao treinar exclusivamente em corpora pediátricos curados (UCLASS e FluencyBank-CWS).
2. Integração Lexical Baseada em Grafo: Ao fundamentar a detecção na "palavra real", o modelo aborda a ambiguidade semântica na fala infantil. Isso permite a diferenciação entre a gaguez central e as disfluências do desenvolvimento, uma tarefa na qual os modelos acústicos tradicionais frequentemente falham.
3. Interpretabilidade: A introdução de um mecanismo de atenção hierárquica fornece transparência clínica, permitindo que Fonoaudiólogos (SLPs) inspecionem os pesos de atenção para compreender a razão por trás dos diagnósticos automatizados.

Resultados
Avaliado em uma taxonomia clínica de 3 classes (Fluente, Gaguez Central, Disfluência Típica), o Paediatric-HGNN alcançou:

• Acurácia Ponderada: 82.4% $\pm$ 2.7%.
• F1 de Fala Fluente: 0.904 $\pm$ 0.02.
• F1 de Disfluência Típica: 0.386 $\pm$ 0.05 (atingindo pico de 0.43 em dobras específicas).
• F1 de Gaguez Central: 0.280 $\pm$ 0.06.

Análise Comparativa:

• Falha de Transfer Learning de Adultos: Um modelo baseline pré-treinado no conjunto de dados adulto SEP-28k e ajustado para dados pediátricos sofreu uma "queda catastrófica", com o escore F1 de Disfluência Típica despencando para 0.08. Isso destaca as diferenças fundamentais de acústica e linguística entre a fala de adultos e de crianças.
• Benchmarking SOTA: O Paediatric-HGNN superou arquiteturas estabelecidas (ResNet+BiLSTM, StutterNet, Atrous-CNN, Whister) no conjunto de dados UCLASS, particularmente na classe de Disfluência Típica.
• Estudo de Ablação: Remover as arestas contextuais ($E_c$) fez o F1 de Disfluência Típica cair de 0.386 para 0.287, confirmando a necessidade de contexto linguístico para identificar revisões do desenvolvimento. Remover a atenção frame-para-palavra reduziu o F1 de Gaguez Central para 0.213, provando sua importância para localizar anomalias acústicas em nível micro.

Significância e Alegações
O artigo afirma que o Paediatric-HGNN oferece uma ferramenta mais robusta e interpretável para intervenção clínica precoce, ao separar com sucesso as gaguez patológicas das revisões do desenvolvimento através de interações léxico-acústicas hierárquicas. Os autores enfatizam que, embora os modelos SOTA treinados em corpora de adultos alcancem alto desempenho em tarefas de disfluência crônica, eles são fundamentalmente inadequados para a fala pediátrica. A pesquisa ressalta a necessidade crítica de corpora pediátricos especializados e arquiteturas sensíveis ao contexto para apoiar diagnósticos objetivos de intervenção precoce na fonoaudiologia. A natureza "caixa-branca" do framework CaPIN é apresentada como essencial para a adoção clínica, fornecendo a transparência necessária para que clínicos confiem nas previsões automatizadas.