技術概要：WorldSpeech 世界の多言語音声コーパス

問題提起

自動音声認識（ASR）システムは、現在、豊富な音声・転写ペアデータを有する高リソース言語において堅牢に機能しています。しかし、公開されている人間によるアライメントデータの不足により、世界の大多数の言語では精度が急激に低下します。既存の解決策には重大な限界があります：Common Voice などのクラウドソーシング・コーパスは広範なカバレッジを提供しますが、言語あたりの録音時間が限られています；オーディオブック・コレクションはボリュームを提供しますが、対象言語は少数です；MOSEL や YODAS などの大規模データセットは、人間による正解データではなく ASR によって生成された疑似ラベルに依存しています。さらに、議会記録を活用する既存のアプローチ（VoxPopuli、EuroSpeech など）は、他の地域におけるデータアクセス制限と、低リソース言語に対する初期 ASR モデルの性能不足によるアライメント・パイプラインの失敗により、主にヨーロッパに限定されており、正解転写の回復を阻害しています。

手法

著者らは、議会のアライメント手法を国際放送局、国営公共放送局、パブリックドメインのオーディオブックアーカイブに拡張することで構築された多言語音声コーパス「WORLDSPEECH」を提案します。

データ収集と標準化

本コーパスは、議会審議、国際放送（VOA、RFA、RFE/RL など）、パブリックドメインのオーディオブック（LibriVox、Aozora など）を含む、82 カ国の 79 の異なるソースからデータを集約しています。パイプラインには以下の処理が含まれます：

• フォーマットの標準化： 多様な音声フォーマット（MP4、MP3、HLS ストリーム）をモノラル 24 kHz に、転写データ（HTML、XML、DOCX、PDF、SRT）をプレーンテキストに変換します。
• 堅牢なテキスト抽出： 画像レンダリングとカラム切り出しを通じて、複雑な PDF レイアウト（2 カラム形式の Hansard 文書など）を処理します。標準的な抽出が失敗するスクリプト（ナスターリク文字のウルドゥー語、ビルマ語など）の場合、Tesseract および Surya ニューラル OCR エンジンを使用した OCR フォールバックを採用します。
• 正規化： アラビア語のハラカート（母音記号）の除去、広東語のトーンマークの正規化、多言語議会のコードスイッチングに対する言語検出による処理など、言語固有のクリーニングを適用します。

アライメント・パイプライン

手法の中核は、EuroSpeech から適応された 2 段階の粗いアライメントから細かいアライメントへの戦略です：

1. セグメンテーション： Silero VAD を使用して、長尺の音声を 3〜30 秒の発話単位にセグメント化します。
2. ASR の選択： 10 時間のサンプルにおいて、文字誤り率（CER）が 0.3 未満の閾値を通過するセグメントの割合を最大化する ASR モデル（Whisper-large-v3-turbo、アダプター付き MMS-1B、コミュニティ微調整モデルなど）を、各言語ごとにアブレーション研究を通じて選択します。
3. CER ベースのマッチング： システムは、ASR 仮説と人間による転写の候補スパンとの間の CER を計算します。最小 CER が 0.3 未満の場合にのみセグメントを保持します。ASR 出力は検索目的のみに使用され、正解データとしては使用されません。

反復的アライメント改善

初期 ASR の性能が低いためにアライメントが不可能になる「コールドスタート」問題に対処するため、著者らは反復的改善スキームを提案します：

1. パス 1： 初期 ASR モデルを使用して音声と転写をアライメントします。
2. 微調整： パス 1 で正常にアライメントされたセグメントに基づいて ASR モデルを微調整します。
3. パス 2： 微調整済みモデルを使用して、残りの未アライメント音声を再アライメントします。
   このプロセスにより、ハルシネーションやスクリプトエラーにより当初ミスマッチしていたセグメントを回復し、新たなデータ収集なしでアライメントされた時間を増加させます。著者らは、3 番目のパスが 2 番目のパスと比較して限界効果（+0.2% から +8.8%）しかもたらさないことを発見しました。

主要な貢献

1. WORLDSPEECH コーパス： 76 言語にわたるアライメント済み音声・転写データ 64,970 時間を含む公開コーパス。広範なカバレッジと重要な深さを兼ね備えた初の公開コーパスであり、以下の特徴を有します：
   • 1,000 時間を超える 24 言語。
   • 500 時間を超える 28 言語。
   • 200 時間を超える 37 言語。
   • 既存データセットでしばしば欠落している地域的・方言的変種（ケベック・フランス語、オーストリア・ドイツ語、バーレーン・アラビア語など）のカバレッジ。
2. 反復的改善技術： 言語ごとにアライメント・ASR を反復的に微調整することで、アライメント済みデータ量を 19.5% から 201.1% 増加させる手法。特に初期 ASR 性能が弱い言語（ビルマ語、ラオス語、クメール語など）に恩恵をもたらします。
3. 性能向上： 多様な言語類型にわたる WORLDSPEECH 上で既存の多言語 ASR バックボーンを微調整することで、単語誤り率（WER）が大幅に低下することを示しました。

結果

著者らは、WORLDSPEECH 訓練分割データ上で Whisper-large-v3-turbo を微調整し、公開ベンチマーク（FLEURS）またはホールドアウトテストセットでテストすることで、本コーパスを評価しました。

• WER 削減： 11 の多様な言語類型において、微調整により平均相対 WER が 63.5% 削減されました。
• 低リソースへの影響： ゼロショットベースライン WER が 1.0 を超える（参照単語数以上の誤りを示す）言語で最も顕著な改善が見られました。例えば：
  • サモア語： WER が 4.72 から 0.39 に減少（-91.7%）。
  • ラオス語： WER が 2.47 から 0.76 に減少（-69.4%）。
  • ロマンシュ語： WER が 1.31 から 0.17 に減少（-87.5%）。
• データスケーリング： アブレーション研究により、WER は利用可能な時間数とともに単調に減少することが示されました。最も急激な改善は最初の 200 時間で発生し、500 時間を超えると限界効果が見られました。

意義

本論文は、低リソース言語向けの高精度 ASR モデルの訓練に必要な量と、現在公開されているアライメント済みデータとのギャップを埋めるための重要なリソースとして WORLDSPEECH を位置づけています。言語ごとの深さ（人間によるラベル付けデータが 1,000 時間を超える 24 言語）と広範なグローバル・カバレッジ（76 言語）を兼ね備えた初の公開コーパスを提供することで、WORLDSPEECH はこれまで十分にサービスされていなかった言語や方言に対する ASR システムの訓練と評価を可能にします。さらに、反復的改善戦略は、追加のデータ収集努力を必要とせずに既存の公開アーカイブの有用性を最大化するためのスケーラブルな手法を提供します。