技術概要：Bangla-WhisperDiar

問題定義

本論文は、長編音声の文脈に特化した、バングラ語（ベンガル語）の音声言語理解における 2 つの重要な課題に取り組んでいます。

1. バングラ語長編自動音声認識（ASR）： 拡張された自発的かつ複数話者のバングラ語録音テキストへの書き起こし。このタスクは、方言の差異、会話的な発話パターン、環境ノイズ、バングラ文字の形態論的複雑さによって困難を極めます。
2. 話者分離（Diarization）： 重なり合う発話や変化する音響条件を含むことが多い長編録音において、「誰がいつ話したか」を特定すること。

2 億 3 千万人以上の話者を持つバングラ語は世界的に普及しているにもかかわらず、音声技術の分野では依然としてリソースが不足しています。最先端のシステムは通常、英語などの高リソース言語向けに最適化されており、特に多様な実世界の音響環境において、バングラ語に対する性能は最適化されていません。

手法

著者らは、事前学習済みモデルのファインチューニングと、広範なデータ拡張およびドメイン固有の前処理を活用した、両タスク向けの完全なパイプラインを提案します。

1. バングラ語長編 ASR パイプライン

ASR システムは、ベンガル語の地域発話で事前学習された tugstugi_bengaliai-regional-asr_whisper-medium 変種であるWhisper-Mediumアーキテクチャを基盤として構築されています。

• データ前処理とチャンキング： 1 時間以上の長編音声は、Whisper エンコーダーの実用的な制限である 25 秒の非重複チャンクに分割されます。これらのチャンクに対する正解ラベルを生成するため、著者らは逐次ファジーアライメントアルゴリズムを実装しました。これは双方向検索ウィンドウと RapidFuzz 比率スコアリングを用いて、完全な正解転写を ASR 仮説とアライメントし、読み順序を維持しつつ、わずかな挿入や削除に対応します。
• テキスト正規化： バングラ語固有の正規化パイプラインが一貫性を確保します。これには、英語の数字をバングラ語の単語に変換すること（1000 年から 2099 年の暦年を処理）、非ベンガル語の Unicode 文字を削除すること、および空白文字を圧縮することが含まれます。
• 音声拡張： 頑健性を向上させるため、訓練クリップの 30% に確率的な拡張パイプラインを適用します。これには以下が含まれます。
  • ノイズ注入（ピンクノイズ/ホワイトノイズ）。
  • マルチタップエコーと室内残響（合成の Room Impulse Response 畳み込みによる）。
  • クリッピング歪み、バンドパスフィルタリング（電話音声をシミュレート）、ピッチシフト、時間伸縮。
• 訓練戦略： モデルは VRAM 制約を管理するために 8 ビット AdamW オプティマイザを使用して全重みファインチューニング（LoRA のようなパラメータ効率型適応ではなく）を受けます。訓練には混合精度（fp16）、コサイン学習率スケジューラ、および勾配チェックポイントが利用されます。
• 推論と後処理： 推論には静的 KV キャッシュを備えたビームサーチを使用します。後処理には、Unicode 正規化、ゼロ幅文字の削除、およびハルシネーションによる反復（多単語句、単一単語、n-gram）を除去するための反復的正則表現ベースの重複除去プロセスが含まれます。

2. 話者分離パイプライン

話者分離システムは、特に pyannote/segmentation-3.0 モデルを用いたPyAnnote.Audioフレームワークを利用します。

• アーキテクチャ： パイプラインは 3 つの段階で構成されます。セグメンテーション（話者ターンを検出）、話者埋め込み（話者表現を抽出）、クラスタリング（セグメントをアイデンティティ別にグループ化）。
• ファインチューニング戦略： 著者らはセグメンテーションスワップアプローチを採用します。PyTorch Lightning を使用して、コンペティションの注釈付きデータセット上でセグメンテーションコンポーネント（PyanNet バックボーン）のみをファインチューニングします。事前学習済みの話者埋め込みとクラスタリングコンポーネントは変更なしに保持されます。
• データ準備： 注釈は標準的な PyAnnote 形式（RTTM、UEM、LST）に変換されます。訓練セットは 10 件の手動注釈付き録音で構成され、最後の 2 件は検証用に予約されます。
• 後処理： ノイズの誤分類によって引き起こされる可能性のある不自然な超短セグメントを除去するため、最小持続時間フィルタ（0.3 秒）が適用されます。

主要な貢献

1. 包括的なデータパイプライン： ファジーマッチングによる ASR 誘導正解アライメントとバングラ語固有のテキスト正規化を特徴とする、バングラ語長編音声の自動前処理パイプラインの開発。
2. 頑健な拡張戦略： 実世界の音響劣化に対するモデルの耐性を向上させるためにカスタマイズされた、多様な音声拡張スイート（ノイズ、残響、エコー、歪み、ピッチ/時間摂動）の実装。
3. ファインチューニングプロトコル：
   • 8 ビットオプティマイザを使用したコンシューマー向け GPU での実現可能性を証明する、ASR 向け Whisper-Medium の全重みファインチューニング。
   • 話者分離向けにパイプラインスワップ戦略を介して統合された、PyAnnote セグメンテーションモデルのドメイン適応型ファインチューニング。
4. 後処理技術： 出力品質を向上させるための、ASR におけるハルシネーション除去と、話者分離における短セグメントフィルタリングの導入。

結果

提案されたシステムは、DL Sprint 4.0 ベンチマーク（BengaliLoop データセット）で評価されました。

• ASR パフォーマンス： 微調整されたシステムは、テストセットで**単語誤り率（WER）24.41%**を達成しました。これは、事前学習済みの Tugstugi ベースライン（34.07%）に対して大幅な改善であり、ベースラインに対して 28.4% の相対的削減を意味します。後処理により、25.76% から 24.41% へのさらなる削減が達成されました。
• 話者分離パフォーマンス： システムは**話者分離誤り率（DER）23.92%**を達成し、事前学習済みの PyAnnote ベースライン（40.08%）に対して 40.3% の相対的削減となりました。これは、古典的な VAD ベースのアプローチと事前学習済みのニューラルベースラインの両方を上回りました。
• 効率性： ASR システムは、単一の T4 GPU で 3 時間 38 分の録音をリアルタイムファクター（RTF）0.1659 で処理し、デュアル GPU 最適化により 0.0190 に改善しました。話者分離モジュールは、同じデータを RTF 0.1054 で処理しました。
• コンペティションスコア： プライベートテストセットにおいて、システムは WER 24.75%、DER 26.13% を達成しました。

意義と主張

本論文は、その主な意義が、強力な多言語事前学習モデルから出発した場合でも、バングラ語のような低リソース言語にとってドメイン適応が極めて重要であることを実証している点にあると主張しています。

• ファインチューニングの有効性： 結果は、ドメイン固有のデータ（会話的なバングラ語）でのファインチューニングが、一般的な事前学習モデルと特定のアプリケーションのニーズとの間のギャップを大幅に埋めることを実証しています。
• 戦略的効率性： 著者らは、話者埋め込みコンポーネントが言語間でよく一般化するため、選択的なファインチューニング（話者分離ではセグメンテーションコンポーネントのみ）が、性能向上と計算効率のバランスを取る効果的な戦略であると強調しています。
• データの質： 本作業は、バングラ語固有のテキスト正規化と厳格なデータアライメントが、訓練ノイズを削減しラベルの一貫性を向上させるために不可欠であることを強調しています。
• 頑健性： この研究は、広範なデータ拡張が実世界の音響条件を効果的にシミュレートし、長編録音に見られるノイズや歪みに対してモデルを頑健にすることを示しています。

著者らは、計算制約と注釈付きデータの不足が依然として課題である一方で、彼らのアプローチがバングラ語音声処理のための堅牢でスケーラブルな基盤を提供すると結論付けています。今後の研究としては、結合型 ASR-話者分離アーキテクチャの探求と、エッジ展開のためのモデル圧縮が計画されています。