Self-supervised Speech Comparison for L2 Phone, Rhythm, and Intonation Scoring

技術要約：L2の音素、リズム、およびイントネーション・スコアリングのための自己教師あり学習を用いた音声比較

問題提起
自動的な第二言語（L2）音声評価は、歴史的に分節的特徴（音素）を優先してきた一方で、リズムやイントネーションといった超分節的特徴を軽視してきました。さらに、既存の評価手法は大量のラベル付きL2データで訓練された音響モデルに依存することが多く、リソースの乏しい言語設定への適用が困難です。本論文は、大規模なL2訓練データや音素インベントリを必要とせずに、音素の正確性、リズム、およびイントネーションを同時に評価できる、テキストフリーかつ低リソースなフレームワークの必要性に対処しています。

手法
著者らは、自己教師あり学習（SSL）表現と動的時間伸縮法（DTW）を活用したテンプレートベースのアプローチを提案しています。コアとなるワークフローは、L2学習者の音声のSSL表現をネイティブスピーカーのテンプレートと整列させ、3つの次元にわたる差異を特定することです。

1. 特徴抽出: システムは、ラベルなし音声で事前学習された自己教師ありモデルであるWavLM-Largeの最終層からの表現を利用します。
2. 整列（アライメント）: DTWを用いて、学習者の発話とネイティブのテンプレートを時間的に整列させ、整列されたフレーム間のコサイン距離の総和を最小化します。
3. スコアリングの次元:
   • 音素スコアリング: 最適な整列パスに沿った正規化累積DTW距離（コサイン距離）を算出します。
   • リズム・スコアリング: DTWのワーピングパスから導出される2つの新しい指標を導入します。
     • テンポの不規則性（Tempo Irregularity）: 発話の平均からの瞬時な「ワープ角（ペース比）」の分散を測定し、音声速度の局所的な偏差を捉えます。
     • 区間歪み（Interval Distortion）: フレームを無音、母音、子音に分類し（TIMITを用いたロジスティック回帰を使用）、これら区間の学習者トラックとネイティブトラックの間の持続時間の対数比を比較します。
   • イントネーション・スコアリング: k-means残差をプロソディ信号として使用することを提案しています。元のSSLフレームから最も近いクラスター中心を差し引くことで、話者固有の情報とプロソディ情報を分離します。システムは、これらのz正規化された残差とその標準偏差（$\sigma_{res}$）に対してDTW距離を計算します。
4. アンサンブル戦略: 個々の手法による生のスコアは、複数のネイティブテンプレートにわたって平均化されます。さらに、異なる手法（例：リズムおよびイントネーションの特徴）からの生のスコアを組み合わせ、人間による評価との相関を最大化するために、線形回帰アンサンブルが訓練されます。

主な貢献

• 新規のDTWベースの超分節的指標: 明示的なピッチ追跡や音素整列に頼ることなく、リズム（ワープパス解析経由）およびイントネーション（SSL k-means残差経由）を定量化するための特定の手法を導入しました。
• 低リソースへの適合性: 本フレームワークは、対象となるコンテンツに対してわずかなネイティブテンプレートのみを必要とするため、スコア付きのL2データが乏しい言語にも適用可能です。
• 包括的な評価: 本研究は、英語と日本語の両方において、分節的および超分節的特徴に関するテンプレートベースの評価手法を、人間の評価者間一致度と比較した初の研究です。
• オープンソース: 著者らは、受理された際に手法および評価コードを公開することを約束しています。

結果
システムは、ERJ（日本人学生による英語）およびJRF（外国人学生による日本語）の2つのデータセットを用いて、話者分離された5分割交差検証により評価されました。性能は、ピアソン相関係数（$r$）、スペアマン順位相関係数（$\rho$）、二次加重カッパ（QWK）、および平均絶対誤差（MAE）を用いて、人間の評価者と比較されました。

• 音素スコアリング: SSL特徴量を用いたDTWベースのアプローチは、文レベルの音素スコアリングにおいて、人間の評価者間一致度を大幅に上回りました（人間が$53.6$に対し、$r=57.6$）。単語レベルでは、SSL表現のためのコンテキストが減少するため、性能が低下しました。
• リズム・スコアリング: 提案されたリズム指標は、人間レベルの性能に迫りました。文のリズム（$r=44.9$）および単語アクセント（$r=42.2$）に対する最良のアンサンブル手法は、人間の一致度と統計的に区別がつかず、発話速度（$R_{dur}$）やnPVIVといった従来のベースラインを大幅に上回りました。
• イントネーション・スコアリング: これが最も困難な課題として残りました。提案されたSSL残差手法は、音響ベースライン（F0および強度）よりも優れた性能を示しましたが、人間の一致度には及びませんでした（英語の文において、人間が$45.3$に対し、$r=32.9$）。著者らは、ピッチベースの特徴も現在のSSLプロソディ残差も、専門の評価者が用いる知覚的次元を完全には捉えきれていないと指摘しています。
• テンプレートの効率性: 本研究では、5つ以下のネイティブテンプレートを使用することで、ほとんどのタスクにおいてフルテンプレートの一致度の95%以上を回復できることが示されました。

意義と主張
本論文は、自己教師あり学習表現とDTWの組み合わせが、マルチアスペクトの音声評価のための有望なテキストフリーの基盤を提供すると主張しています。著者らは、自らのリズム指標が現在、比較リズム評価において最高レベルであり、人間と同等の性能に達していると断言しています。しかし、イントネーションについては謙虚な姿勢を保っており、提案手法は音響ベースラインをわずかに上回る「控えめな信号」を提供しているに過ぎず、人間の専門家の判断に一致させるためには、SSL表現からのプロソディ情報のより良い分離が必要であると認めています。本研究は、超分節的特徴がSSLを通じてアクセス可能であるだけでなく、従来の音響モデリングのような重いデータ要件なしに、L2評価のために効果的に定量化できることを実証しています。