Phoneme-Level Mispronunciation Screening in Polish-Speaking Children with an Explainable Assistant

기술 요약: 설명 가능한 어시스턴트를 활용한 폴란드어 구사 아동의 음소 수준 발음 스크리닝

문제 정의

언어 발달 초기 단계에서 음성 산출 장애(SSD)는 흔히 나타나지만, 전문적인 평가를 받기 위한 적시에 접근하는 것은 제한된 인력과 긴 대기 시간으로 인해 종종 제약을 받습니다. 이러한 격차는 임상 환경 외에서도 사용할 수 있는 경량화된 스크리닝 도구 개발의 필요성을 불러일으킵니다. 그러나 표준 자동 음성 인식(ASR)을 아동 음성에 적용하는 것은 아동의 음향적 차이(짧은 성도, 높은 포먼트), 높은 화자 내 변동성, 그리고 정상적인 발달 과정의 일부인 체계적인 비정형 실현(non-canonical realizations)의 존재로 인해 문제가 됩니다. 더욱이, 엔드 투 엔드(end-to-end) ASR 시스템은 강력한 언어 모델 사전 확률(language model priors)에 의존하여 특이한 실현을 가능성 높은 단어로 "정규화"하는 경향이 있으며, 이는 발음 오류를 탐지하는 데 필수적인 최소 대립(minimal-contrast) 오류를 가릴 수 있습니다.

폴란드어는 조밀한 자음 목록과 빈번한 자음군, 특히 치찰음(sibilants)과 관련하여 특별한 과제를 제시합니다. 폴란드 임상 현장에서 치찰음은 세 가지 계열(syczący, ciszący, szumiący)로 분류되며, 여기서 발생하는 대치(예: /u/ → [s])와 왜곡은 별도의 임상적 처리가 필요합니다. 본 연구의 목표는 일반적인 전사 시스템을 구축하는 것이 아니라, 보호자의 가이드가 있는 연습을 위해 오류를 식별하고 이를 토큰 수준에서 국지화할 수 있는 민감하고 해석 가능한 메커즘을 만드는 것입니다.

방법론

저자들은 음향 인식기, 정렬 기반 스크리닝 모듈, 템플릿 기반 어시스턴트로 구성된 스크리닝 파이프라인을 제안합니다.

1. 음향 모델 및 토큰 표현
시스템은 jonatasgrosman/wav2vec2-large-xlsr-53-polish 체크포인트에서 초기화된 wav2vec2 기반 인코더를 사용합니다. 치찰음이 많은 구간에서의 안정성을 높이고 작업 특화된 문맥을 제공하기 위해, 포스트 인코더(post-encoder)로 6개 층의 트랜스포머(Transformer)를 추가했습니다. 모델은 연결주의 시간적 분류(CTC)를 사용하여 학습됩니다.

• 토큰 목록: 발음은 공백으로 구분된 IPA 유사 토큰으로 표현됩니다. 결정적으로, 전문가가 판단한 대치 결과(예: [s], [u])를 나타내기 위해 대괄호가 있는 IPA 토큰을 사용하여 어휘를 확장했습니다. 이 대괄호 토근은 편차에 대한 명시적인 증거 역할을 합니다.
• 적응(Adaptation): 모델은 PEFT(Parameter-Efficient Fine-Tuning)를 사용하여 아동 음성과 확장된 어휘에 적응됩니다. 구체적으로, 어텐션 프로젝션과 피드 포워드 서브레이어에 LoRA 모듈(rank $r=32$, $\alpha=64$)을 주입하고, 마지막 6개의 인코더 레이어를 언프리즈(unfreeze)했습니다. 그 결과 33.3%의 학습 가능한 파라미터가 생성되었습니다.

2. 정렬 기반 스크리닝
시스템은 프롬프트된 정형 시퀀스($y_{ref}$)와 인식된 생성 시퀀스($\hat{y}$) 사이의 최소 편집(Levenshtein) 정렬을 수행합니다.

• 오류 유형화: 정렬 연산(Match, Substitution, Insertion, Deletion)이 해석됩니다. 치찰음/파찰음 타겟의 경우, 대치는 해석 가능한 범주(예: 조음 위치 이동, 유성음 교체 또는 방식 불일치)로 매핑됩니다.
• 신뢰도: 신뢰도 점수($c_i$)는 greedy CTC collapse에 의해 할당된 프레임에 대한 인식된 토큰의 평균 사후 확률로 계산됩니다. 이 점수는 보정된 확률이라기보다 엄격하게 억제 신호(예: 신뢰도가 낮을 경우 재녹음 요청)로 사용됩니다.

3. 설명 가능한 어시스턴트
스크리닝 벡터(타겟, 실현, 유형, 위치, 신뢰도)는 보호자용 어시스턴트에 입력됩니다.

• 템플릿 기반 구현: 피드백은 임상가가 작성한 고정된 검토 가능 인벤토리의 템플릿으로부터 생성됩니다.
• 안전 경계: 시스템은 명시적으로 임상 진단을 피합니다. 불확실성에 대한 거부 규칙을 포함하며 의료적 주장을 하지 않습니다. 신뢰도가 낮거나 증거가 일치하지 않는 경우, 상세한 조언을 제공하는 대신 재녹음을 요청합니다.

주요 기여

1. 대치 인식 가능 토큰 인식기: 대괄호가 있는 대치 표식을 포함한 확장된 토큰 인벤토리를 사용하여 폴란드어 아동 음성에 맞춰 미세 조정된, 6개 층의 컴팩트한 트랜스포머 포스트 인코더를 갖춘 wav2vec2 기반 모델입니다.
2. 스크리닝 지향 평가: 타겟 치찰음 불일치에 대한 인식 품질과 보수적인 스크리닝 프록시 성능을 모두 보고하는 미학습 아동 10명에 대한 평가를 수행했습니다.
3. 템플릿 기반 어시스턴트 설계: 명시적인 안전 경계를 가진, 토큰 수준의 스크리닝을 보호자 친화적인 피드백으로 변환하는 시스템 아키텍처입니다.

결과

시스템은 고정된 진단 프롬프트 세트를 사용하여 홀드아웃 테스트 세트(미학습 아동 10명, 559개 발화)에서 평가되었습니다.

• 인식 성능: 인식기는 88.7%의 정확한 시퀀스 일치(496/559 발화)와 95.0%의 토큰 정확도를 달로했습니다. 단어 오류율(WER)은 5.95%, 문자 오류율(CER)은 4.09%였습니다.
• 절제 연구(Ablation Studies): 포스트 인코더를 제거했을 때 정확한 시퀀스 일치는 84.5%로 감소했습니다. Wav2vec2 대신 WavLM-Base를 사용했을 때는 78.6%의 더 낮은 정확한 일치율을 보였습니다.
• 스크리닝 프록시 성능: 타겟 위치에 대괄호 토큰이 존재하는 것을 불일치 플래그로 사용할 때, 시스템은 다음과 같은 성과를 냈습니다:
  • 정밀도(Precision): 72.9%
  • 재현율(Recall): 61.4%
  • F1 점수: 0.67
  • 오탐률(FPR): 타겟 정답 항목에 대해 2.7%
• 오류 분석: 정확한 발화가 아닌 것들 중 92.1%는 정확히 하나의 단위 수준 대치를 포함했습니다. 이 중 60.3%는 정형(canonical)-대괄호 혼동이었으며, 이는 시스템이 편차를 감지하지만 정형 레이블과 대괄호 레이블 사이의 정밀한 범주화에는 어려움을 겪고 있음을 나타냅니다.

의의 및 주장

본 논문은 SSL 기반 토큰 인식이 폴란드어의 보호자 지향적 스크리닝을 위한 실용적인 백본이 될 수 있다고 주장합니다. 프롬프트된 대립을 중심으로 하고 정형 타겟에 정렬함으로써, 시스템은 최소 대립 오류를 가리는 언어 모델 사전 확률의 함정을 피합니다. 높은 정확한 일치율은 안정적인 다운스트림 정렬과 오류 유형화를 뒷받침합니다.

저자들은 이 시스템이 진단 도구가 아닌 스크리닝 도구임을 강조합니다. 의의는 일반적인 전사 품질보다 음성적 민감도와 설명 가능성을 우선시하는 "보수적인 스크리닝 프록시" 설계에 있습니다. 시스템은 낮은 오탐률(2.7%)로 잠재적 오류를 성공적으로 식별하여, 불필요한 불안감을 최소화하는 것이 중요한 가정 내 사용에 적합함을 보여줍니다.

결론적으로, 현재의 결과는 유망하지만, 배포 전 연령, 심각도 및 녹음 조건 전반에 걸친 광범서한 평가가 필요합니다. 향후 과제로는 대치 이상의 범위를 커버하도록 확장하고, 임상 결과에 대한 진단적 유용성을 검증하며, 어시스턴트의 피드백에 대한 안전성과 명확성을 평가하기 위한 사용자 연구를 수행하는 것이 포함됩니다.