Paediatric-HGNN: A Hybrid Heterogeneous Graph Neural Network for Detecting Disfluency in Children's Speech via Multiscale Acoustic Fusion

기술 요약: Paediatric-HGNN

문제 정의
자동 말더듬 탐지(Automated Stuttering Detection, ASD) 시스템은 현재 소아 음성에 적용할 때 상당한 어려움에 직면해 있다. 주로 성인 데이터셋(예: SEP-28k)에 최적화된 기존 모델들은 발달 중인 목소리의 높은 음향적 가변성과 병리적 말더듬과 일반적인 발달적 비유창성 사이의 미묘하고 종종 중첩되는 차이로 인해 소아 데이터로 일반화하는 데 실패한다. 표준적인 "블랙박스"형 딥러닝 접근 방식은 임상적 채택에 필요한 해석 가능성이 부족하며, 핵심적인 말더듬(예: 병리적 블록)과 일반적인 비유창성(예: 발달적 전체 단어 반복 및 수정)을 구별하는 데 어려움을 겪는다. 또한, 소아의 비유창성은 성인의 운동-음성 병리와 근본적으로 다른 음향적 특징을 가지므로, 성인 학습 모델을 아동에게 적용할 경우 치명적인 성능 저하가 발생한다.

방법론
저자들은 **문맥 인지 부분-전체 상호작용 네트워크(Context-aware Part-whole Interaction Network, CaPIN)**를 기반으로 구축된 Paediatric-HGNN 프레임워크를 제안한다. 기존의 1D 신호 모델링과 달리, 이 접근 방식은 두 가지 구별되는 노드 유형 간의 계층적 관계를 포착하기 위해 **이종 그래프(heterogeneous graph)**를 구성한다:

• 단어 노드(Word Nodes): 어휘적 의도(실제 단어)를 나타냄.
• 프레임 노드(Frame Nodes): 미세한 음향 세그먼트를 나타냄.

주요 기술 구성 요소:

1. 데이터셋: 이 모델은 UCLASS와 FluencyBank-CWS의 하위 집합을 결합한 소아 자발 음성 코퍼스만을 사용하여 학습되었다. 성인 샘플과 주석이 없는 녹음은 엄격히 제외되었다.
2. 특징 추출: 각 단어 노드에 대해 다음을 통합한 945차원의 하이브드 벡터가 생성된다:
   • Wav2Vec2-base-960h로부터 추출된 심층 자기지도 임베딩.
   • 멜-스펙트로그램 텍스처(글로벌 풀링을 통해 추출).
   • 전통적인 수작업 음향 특징(MFCC, zero-crossing rate).
   • 시간적 물리 프록시(에너지 불안정성, YIN을 통한 피치 안정성, 자기상관 함수) 및 문맥적 지속 시간 지표.
3. 그래프 구성 ($G = (V, E)$):
   • 계층적 엣지 ($E_h$): 시간적 정렬을 기반으로 프레임 노드를 부모 단어 노드에 연결.
   • 순차적 엣지 ($E_s$): 음성 흐름을 모델링하기 위해 인접한 단어들을 연결.
   • 문맥적 엣지 ($E_c$): 국소적 언어적 집합을 위해 $\pm 2$ 단어의 문맥 창을 제공.
4. 모델 아키텍처:
   • 계층적 교차 모달 어텐션(Hierarchical Cross-Modal Attention): 단어 노드(Query)는 구성 프레임의 관련 음향적 아티팩트(Key/Value)에 선택적으로 주의를 기울인다.
   • 관계형 그래프 컨볼루션(Relational Graph Convolutions): 두 단계의 GATv2Conv가 순차적 및 문맥적 엣지를 가로질러 작동하여 국소적 및 이웃 비유창성 패턴을 포착한다.
   • 시간적 통합(Temporal Integration): 2층 양방향 GRU가 전역적 음성 리듬을 모델링한다.
   • 게이트 퓨전(Gated Fusion): 학습 가능한 게이트가 분류 전 공간적 GNN 특징과 시간적 RNN 특징의 가중치를 동적으로 조절한다 ($H = g \cdot H_{RNN} + (1-g) \cdot H_{GNN}$).
5. 학습 전략: 네트워크는 AdamW 최적화와 클래스별 가중치($\alpha = [1, 3, 3]$)를 가진 Focal Loss($\gamma=2$)를 사용한다. 데이터 증강에는 물리적 변환(세그먼트 반복, 피치 흔들림)과 합성 침묵/에너지 저하가 포함되며, 이후 선택적 오버샘플링(핵심 말더듬 8배, 일반적 비유창성 4배)이 수행된다.
6. 평가: 정보 누출을 방방지하기 위해 특정 화자의 모든 녹음이 단일 폴드 내에 머물도록 하는 엄격한 화자 독립 5-겹 교차 검증(speaker-independent 5-fold cross-validation) 프로토콜이 적용되었다.

주요 기여

1. 소아 전용 특화: 이 프레임워크는 엄선된 소아 코퍼스(UCLASS 및 FluencyBank-CWS)만을 학습함으로써 성인 데이터셋으로부터의 도메인 시프트를 해결한다.
2. 그래프 기반 어휘 통합: "실제 단어"에 탐지를 근거를 둠으로써, 모델은 의미론적 모호성을 해결한다. 이를 통해 전통적인 음향 모델이 자주 실패하는 작업인 핵심 말더듬과 일반적 비유창성의 구분이 가능하다.
3. 해석 가능성: 계층적 어텐션 메커니즘의 도입은 임상적 투명성을 제공하여, 언어치료사(SLP)가 어텐션 가중치를 검사하여 자동 진단의 근거를 이해할 수 있게 한다.

결과
3-클래스 임상 분류 체계(유창함, 핵심 말더듬, 일반적 비유창성)에 대해 평가한 결과, Paediatric-HGNN은 다음과 같은 성과를 달성했다:

• 가중 정확도(Weighted Accuracy): 82.4% $\pm$ 2.7%.
• 유창한 음성 F1: 0.904 $\pm$ 0.02.
• 일반적 비유창성 F1: 0.386 $\pm$ 0.05 (특정 폴드에서 0.43까지 상승).
• 핵심 말더듬 F1: 0.280 $\pm$ 0.06.

비교 분석:

• 성인 전이 학습의 실패: 성인 SEP-28k 데이터셋으로 사전 학습된 후 소아 데이터로 미세 조정된 베이스라인 모델은 "치명적 하락"을 겪었으며, 일반적 비유창성 F1 점수가 0.08로 급락했다. 이는 성인과 소아 음생 사이의 근본적인 음향적, 언어적 차이를 강조한다.
• SOTA 벤치마킹: Paediatric-HGNN은 UCLASS 데이터셋에서 기존 아키텍처(ResNet+BiLSTM, StutterNet, Atrous-CNN, Whister)를 능가했으며, 특히 일반적 비유창성 클래스에서 우수한 성능을 보였다.
• 절제 연구(Ablation Study): 문맥적 엣지($E_c$)를 제거했을 때 일반적 비유창성 F1이 0.386에서 0.287로 감소하여, 발달적 수정을 식별하는 데 있어 언어적 문맥의 필요성을 확인했다. 프레임-단어 어텐션을 제거하면 핵심 말더듬 F1이 0.213으로 감소하여, 미세 수준의 음향적 이상을 국소화하는 데 있어 그 중요성을 입증했다.

의의 및 주장
본 논문은 Paediatric-HGNN이 계층적 어휘-음향 상호작용을 통해 핵심 말더듬과 발달적 수정을 성공적으로 분리함으로써, 조기 임상 개입을 위한 더 강력하고 해석 가능한 도구를 제공한다고 주장한다. 저자들은 성인 코퍼스로 학습된 SOTA 모델들이 만성 비유창성 작업에서는 높은 성능을 달성하지만, 소아 음성에는 근본적으로 부적합하다는 점을 강조한다. 본 연구는 언어병리학 분야에서 객관적인 조기 개입 진단을 지원하기 위해 특화된 소아 코퍼스와 문맥 인지 아키텍처가 필수적임을 역설한다. CaPIN 프레임워크의 "화이트 박스" 특성은 자동화된 예측을 신뢰하기 위해 임상의에게 요구되는 투명성을 제공함으로써 임상적 채택을 위한 필수 요소로 제시된다.