Paediatric-HGNN: A Hybrid Heterogeneous Graph Neural Network for Detecting Disfluency in Children's Speech via Multiscale Acoustic Fusion

Resumen Técnico: Paediatric-HGNN

Planteamiento del Problema
Los sistemas de Detección Automatizada de Tartamudez (ASD, por sus siglas en inglés) enfrentan actualmente desafíos significativos cuando se aplican al habla pediátrica. Los modelos existentes, optimizados predominantemente en conjuntos de datos de adultos (p. ej., SEP-28k), no logran generalizarse a los niños debido a la alta variabilidad acústica de las voces en desarrollo y a las distinciones sutiles y a menudo superpuestas entre la tartamudez patológica y las disfluencias típicas del desarrollo. Los enfoques convencionales de aprendizaje profundo de "caja negra" suelen carecer de la interpretabilidad requerida para la adopción clínica y tienen dificultades para diferenciar la tartamudez central (p. ej., bloqueos patológicos) de las disfluencias típicas (p. ej., repeticiones de palabras completas y revisiones del desarrollo). Además, las firmas acústicas de las disfluencias pediátricas difieren fundamentalmente de las patologías del habla motoras de los adultos, lo que provoca caídas catastróficas en el rendimiento cuando se aplican modelos entrenados en adultos a niños.

Metodología
Los autores proponen Paediatric-HGNN, un marco construido sobre una Red de Interacción Parte-Todo Sensible al Contexto (CaPIN). A diferencia del modelado de señal 1D convencional, este enfoque construye un grafo heterogéneo para capturar las relaciones jerárquicas entre dos tipos de nodos distintos:

• Nodos de Palabra: Que representan la intención léxica (palabras reales).
• Nodos de Cuadro (Frame): Que representan segmentos acústicos de grano fino.

Componentes Técnicos Clave:

1. Conjunto de Datos: El modelo se entrena exclusivamente en un corpus consolidado de habla espontánea pediátrica, combinando UCLASS y un subconjunto de FluencyBank-CWS. Las muestras de adultos y las grabaciones no anotadas fueron estrictamente excluidas.
2. Extracción de Características: Se genera un vector híbrido de 945 dimensiones para cada nodo de palabra, integrando:
   • Embeddings profundos autosupervisados de Wav2Vec2-base-960h.
   • Texturas de espectrogramas Mel (mediante pooling global).
   • Características acústicas tradicionales hechas a mano (MFCCs, tasas de cruce por cero).
   • Proxies de física temporal (inestabilidad de energía, estabilidad de tono vía YIN, autocorrelación) y métricas de duración contextual.
3. Construcción del Grafo: El grafo ($G = (V, E)$) incluye:
   • Aristas Jerárquicas ($E_h$): Conectando los nodos de cuadro con sus nodos de palabra padre basándose en la alineación temporal.
   • Aristas Secuenciales ($E_s$): Conectando palabras adyacentes para modelar el flujo del habla.
   • Aristas Contextuales ($E_c$): Proporcionando una ventana de contexto de $\pm 2$ palabras para la agregación lingüística local.
4. Arquitectura del Modelo:
   • Atención Transmodal Jerárquica: Los nodos de palabra (Queries) atienden selectivamente a artefactos acústicos relevantes en sus cuadros constituyentes (Keys/Values).
   • Convoluciones de Grafo Relacionales: Dos etapas de GATv2Conv operan a través de aristas secuenciales y contextuales para capturar patrones de disfluencia local y de vecindad.
   • Integración Temporal: Un GRU bidireccional de 2 capas modela el ritmo global del habla.
   • Fusión con Compuerta (Gated Fusion): Una compuerta aprendible pondera dinámicamente las características espaciales de la GNN frente a las características temporales de la RNN ($H = g \cdot H_{RNN} + (1-g) \cdot H_{GNN}$) antes de la clasificación.
5. Estrategia de Entrenamiento: La red utiliza optimización AdamW y Pérdida Focal ($\gamma=2$) con pesos específicos de clase ($\alpha = [1, 3, 3]$) para abordar el desequilibrio de clases. La aumentación de datos incluye transformaciones físicas (repetición de segmentos, oscilación de tono) y caídas sintéticas de silencio/energía, seguidas de un sobremuestreo selectivo (8$\times$ para Tartamudez Central, 4$\times$ para Disfluencia Típica).
6. Evaluación: Se emplea un riguroso protocolo de validación cruzada de 5 pliegues independiente del hablante para evitar la fuga de información, asegurando que todas las grabaciones de un hablante específico permanezcan dentro de un mismo pliegue.

Contribuciones Clave

1. Especialización Exclusiva Pediátrica: El marco aborda el cambio de dominio de los conjuntos de datos de adultos al entrenarse exclusivamente en corpora pediátricos curados (UCLASS y FluencyBank-CWS).
2. Integración Léxica Basada en Grafos: Al fundamentar la detección en la "palabra real", el modelo aborda la ambigüedad semántica en el habla infantil. Esto permite la diferenciación de la tartamudez central de las disfluencias del desarrollo, una tarea en la que los modelos acústicos tradicionales fallan frecuentemente.
3. Interpretabilidad: La introducción de un mecanismo de atención jerárquica proporciona transparencia clínica, permitiendo a los especialistas en logopedia (SLPs) inspeccionar los pesos de atención para comprender la razón detrás de los diagnósticos automatizados.

Resultados
Evaluado en una taxonomía clínica de 3 clases (Fluido, Tartamudez Central, Disfluencia Típica), Paediatric-HGNN logró:

• Exactitud Ponderada: 82.4% $\pm$ 2.7%.
• F1 de Habla Fluida: 0.904 $\pm$ 0.02.
• F1 de Disfluencia Típica: 0.386 $\pm$ 0.05 (alcanzando un máximo de 0.43 en pliegues específicos).
• F1 de Tartamudez Central: 0.280 $\pm$ 0.06.

Análisis Comparativo:

• Fallo de Transferencia de Aprendizaje de Adultos: Un modelo base preentrenado en el conjunto de datos de adultos SEP-28k y ajustado con datos pediátricos sufrió una "caída catastrófica", con la puntuación F1 de Disfluencia Típica cayendo a 0.08. Esto resalta las diferencias acústicas y lingüísticas fundamentales entre el habla de adultos y la pediátrica.
• Benchmarking SOTA: Paediatric-HGNN superó a arquitecturas establecidas (ResNet+BiLSTM, StutterNet, Atrous-CNN, Whister) en el conjunto de datos UCLASS, particularmente en la clase de Disfluencia Típica.
• Estudio de Ablación: Eliminar las aristas contextuales ($E_c$) causó que el F1 de Disfluencia Típica cayera de 0.386 a 0.287, confirmando la necesidad del contexto lingüístico para identificar las revisiones del desarrollo. Eliminar la atención de cuadro a palabra redujo el F1 de Tartamudez Central a 0.213, demostrando su importancia para localizar anomalías acústicas a micro-nivel.

Significancia y Reivindicaciones
El artículo afirma que Paediatric-HGNN ofrece una herramienta más robusta e interpretable para la intervención clínica temprana al lograr desacoplar las tartamudeces patológicas de las revisiones del desarrollo mediante interacciones jerárquicas léxico-acústicas. Los autores enfatizan que, si bien los modelos SOTA entrenados en corpora de adultos logran un alto rendimiento en tareas de disfluencia crónica, son fundamentalmente inadecuados para el habla pediátrica. La investigación subraya la necesidad crítica de corpora pediátricos especializados y arquitecturas sensibles al contexto para apoyar diagnósticos objetivos de intervención temprana en la logopedia. La naturaleza de "caja blanca" del marco CaPIN se presenta como esencial para la adopción clínica, proporcionando la transparencia requerida para que los clínicos confíen en las predicciones automatizadas.