技術要約：韓国語幼児の発話における自動発音評価

問題提起

韓国における小児コミュニケーション障害の約44%は、構音障害（SSD）に起因しています。これらの障害の蔓延にもかかわらず、韓国語の幼児の発話に特化した自動評価ツールは未だ十分に開発されていません。既存のソリューションには、主に3つの制限事項があります。

1. 言語および年齢の特殊性： ほとんどの自動化モデルは、制御された条件下での英語を話す成人を対象に学習されており、韓国語の音韻論や2〜5歳児の音響特性に一般化することができません。
2. 音響的な混同： 韓国の家庭内録音環境では、養育者（多くの場合、若い女性）が愛情表現として「アエギョ（愛嬌）」と呼ばれる、高音で誇張された話し方を用いることが頻繁にあります。アエギョの音響プロファイル（高い基本周波数、高い変動性）は幼児の発話と酷似しているため、従来の話者ダイアリゼーション・システムでは、子供と養育者を分離することに失敗します。
3. 手動によるボトルネック： 「ウリマル構音検査（UTAP）」やデジタルツール「ヒ・ドンドン（Hi-DongDong）」のような標準化された評価は、手動によるスコアリングに依存しており、多大な時間を要し、評価者間のばらつきが生じやすいという課題があります。

手法

著者らは、ニューラル・ダイアリゼーションと自己教師あり学習（SSL）を統合した、エンドツーエンドの自動化パイプラインを提案しています。

1. データセットの構築

本研究では、韓国語を話す子供（2〜5歳）とその養育者の53件の録音からなる、IRB（機関倫理委員会）の承認を受けた新しいコーパスを導入しています。

• プロトコル： 録音は「ヒ・ドンドン」の促しによる反復プロトコルに従っており、養育者がターゲットとなる単語のモデルを示し、子供がそれを繰り返します。
• 条件： データは、スマートフォンのような個人用デバイスを使用し、マイクの品質や背景ノイズの変動性を含む、自然な家庭環境で収集されました。
• アノテーション： 34名の被験者（マルチスピーカー録音を含む）のサブセットに対し、3名の独立したレビューアーがアノテーションを行いました。これにより、1,190個の子音および748個の母音の単語レベルの二値正誤ラベルが得られました。ラベルは、クォーラム投票（多数決）によって決定されました。

2. 話者ダイアリゼーション

子供の発話セグメントを分離するために、著者らは3つの学習済みダイアリゼーション・モデルを評価しました。

• Pyannote.audio： スピーカー・エンベディングとクラスタリングを用いたニューラル・セグメンテーション。
• SpeechBrain： x-vector エンベディングとスペクトル・クラスタリングを利用。
• NeMo SortFormer： **到着時刻ソート（ATS）**メカニッチを採用したエンコーダーベースのトランスフォーマー。このアーキテクチャは、スピーカー・トークンを最初の出現に基づいてソートすることで、マルチスピーカー設定における置換問題を解決し、モデルにスピーカー・ラベルと共に時間的順序を学習させます。

性能は、**ダイアリゼーション誤り率（DER）**および話者数精度を用いて測定されました。

3. 発音スコアリング（自己教師あり学習）

孤立させた子供の発話セグメントに対し、2段階のアプローチを用いて子音および母音の正誤を評価します。

• 特徴量抽出： 固定されたSSLバックボーンが、単語レベルのオーディオ・セグメントをフレームレベルのエンベディングにエンコードします。3つのバックボーンがテストされました。
  • wav2vec2-large-xlsr-korean: 韓国語に特化してファインチューニングされたモデル。
  • HuBERT-large: マスクされた離散ユニット予測を用いた、英語LibriSpeechで事前学習されたモデル。
  • WavLM-large: マスクされた音声デノイジング目的を用いて、多様な英語音声で事前学習されたモデル。
• プーリング戦略： エンベディングは、平均（Mean）、アテンション（Attention）、統計（Statistics）、およびマルチレイヤー固定重み（Multi-layer Fixed-Weight）プーリングを用いて集約されます。
• 分類： 集約されたベクトルは、L2正則化を伴うロジスティック回帰分類器に入力され、二値の正誤を予測します。
• アンサンブル戦略： 著者らは、すべてのモデルを平均化するのではなく、子音予測にはそのタスクに最適なモデルを、母音予測にはそのタスクに最適なモデルをルーティングするクロスモデル・アンサンブルを採用しました。

主な結果

ダイアリゼーションの性能

• NeMo SortFormer は他のモデルを大幅に上回り、88.69% の話者数精度と 33.04% の DER を達成しました。
• Pyannote と SpeechBrain は、アエギョと幼児の発話の間の音響的な類似性により、子供と養育者のセグメントを適切に分離できず、失敗しました（DER > 136%）。
• NeMo SortFormer に残るエラーは、重複する高音に起因しており、これが後続の分類にノイズをもたらしています。

発音スコアリングの性能

• モデル比較：
  • 韓国語特化型の wav2vec2 モデルは、平均バランス精度（BA）が 0.531 と低迷しました。これは、そのASRファインチューニングが、一般的なSSLモデルほど幼児の発話における微細な音響的ニュアンスを効果的に捉えられなかったことを示唆しています。
  • WavLM-large は、デノイジング事前学習の目的によりスペクトル包絡の特徴が保持されているため、母音認識において優れた性能を発揮しました（BA = 0.831）。
  • HuBERT-large は、離散ユニット予測が調音パターンを捉えているため、子音認識において優れていました（BA = 0.720）。
• プーリング： 統計プーリングおよびマルチレイヤー固定重みプーリングが、概して最良の結果をもたらしました。
• アンサンブル性能： クロスモデル・アンサンブル（子音に HuBERT、母音に WavLM）は、平均バランス精度 0.782（子音 BA: 0.720、母音 BA: 0.845）を達成しました。

重要性と貢献

本論文は、主に3つの貢献を主張しています。

1. データセット： 独立したレビューアーによってアノテーションされた、単語レベルの二値正誤ラベルを持つ、新しいIRB承認済みの韓国語幼児発話データセットの作成。
2. ベンチマーキング： 韓国語の幼児と養育者の録音におけるダイアリゼーション・システムの体系的な評価を行い、アエギョの特有の課題を浮き彫りにし、この文脈における到着時刻ソート型トランスフォーマー・アーキテクチャの優位性を実証したこと。
3. パイプライン： 手動のセグメンテーションを不要にする、自動化されたエンドツーエンドの発音スコアリング・パイプライン。本研究は、成人の英語音声で事前学習されたSSLモデルが、ドメイン固有のファインチューニングなしに、韓国語の幼児評価へ意味のある転移が可能であることを示しています。

著者らは、残存するダイアリゼーション・エラーがノイズを導入するものの、このパイプラインがセグメンテーションとスコアリングのプロセスを正常に自動化しており、手動の臨床評価に代わるスケーラブルな選択肢を提供することを強調しています。WavLM（母音）と HuBERT（子音）の相補的な性質は、低リソースの小児発話評価における堅牢な「分割統治（divide-and-conquer）」戦略を示唆しています。