技術要約：Omnilingual ASR（オムニリンガル ASR）

問題提起

高リソース言語における自動音声認識（ASR）は著しい進歩を遂げているものの、確立された表記体系を持つ4,000以上の言語が依然としてサポートされていない。現在の手法は、主に2つの障壁に直面している：

1. スケーラビリティとコスト： 相対的に小さなトレーニングデータセットに対して、エンジニアリングやデータ収集の労力を要するため、数千の言語へと範囲を広げることは、極めて高コストであると見なされている。
2. アーキテクチャの限界： 既存のシステムは固定された言語セットに依存することが多く、専門家によるファインチューニングなしに新しい言語を追加することが困難であり、このプロセスは多くのコミュニティにとって手の届かないものである。
3. 倫理的懸念： 慎重な調整や現地の主体性なしに、リソースの乏しいコミュニティへ技術を導入することは、それらのコミュニティの力を削ぐリスクがある。

手法

データ構築

著者らは、これまでで最も言語学的に多様なASRコーパスを構築した。これは主に以下の2つの要素で構成される：

• ラベルなし事前学習データ： 1,239言語にわたる380万時間の音声（および言語識別なしの46万時間）を使用し、自己教師あり事前学習を行う。
• アノテーション済みファインチューニングデータ： 1,690言語にわたる、音声と文字起こしがペアになった177,700時間の音声。

アノテーション済みデータには以下が含まれる：

• 公開データセット： LibriSpeech、Common Voice、VoxPopuli、FLEURS、MLSなどのソースからの約15,000時間。
• 内部およびライセンス取得データ： 内部コレクションおよび商用ライセンス（例：IARPA Babel）からの約150,000時間。
• コミュニティ提供および委託データ： 現地の組織（African Next Voices、Lanrica/Naijavoicesなど）とのパートナーシップを含む重要な要素、および「Language Technology Partner Program (LTPP)」。これには、Omnilingual ASR Corpus (OASRC) が含まれる。OASRCは348言語にわたる3,350時間のカスタムコレクションである。既存の多くのデータセットとは異なり、OASRCは、文化的関連性と関与を確保するために、調査形式のプロンプトを通じて引き出された、自然な非流暢性を伴う自発的な発話に重点を置いている。

モデリング・アーキテクチャ

Omnilingual ASRは、ゼロショット汎化のために設計されたエンコーダー・デコーダー・アーキテクチャを利用している：

• エンコーダー： 自己教師あり事前学習を通じて、堅牢でクロスリンガルな音声表現を抽出するためにスケールアップされた、70億パラメータを持つ大規模なTransformerネットワーク。
• デコーダー： 2つのバリアントが提案されている：
  1. CTCモデル： 線形層を使用して、Connectionist Temporal Classification (CTC) 損失を用いてエンコードされたフレームを文字確率にマッピングする。
  2. LLM-ASRモデル： 大規模言語モデル（LLM）に着想を得たデコーダーと、クロスエントロピー損失を使用する。このバリアントは、推論時に言語コードを指定することで、低リソース設定における一般的な失敗モードであるスクリプト（表記体系）の曖昧さを解消できる。

ゼロショット能力

ラベル付きデータが存在しない言語に対処するため、LLM-ASRモデルはゼロショット推論へと拡張されている。推論時に新しい言語からの少数のインコンテキスト例（音声と文字起こしのペア）を提供することで、モデルは追加の学習なしに、未学習の言語に対してASRを実行できる。

モデルファミリー

多様な展開制約に対応するため、モデルは以下の範囲のファミリーとしてリリースされる：

• コンパクト・バリアント： 低電力デバイスに適した3億パラメータ。
• ラージ・バリアント： 最大限の精度に最適化された70億パラメータ。

主な結果

サポートされている言語の性能

• 規模： 本システムは、これまでどのASRシステムによっても提供されてこなかった500以上の言語を含む、1,660以上の言語をサポートしている。
• 精度：
  • 高リソースおよび中リソースカテゴリ（データ量10時間超）：90%の言語が5以下の文字エラー率（CER）を達成。
  • 低リソースカテゴリ（データ量10時間未満）：34〜36%の言語がCER < 10の閾値を満たす。
  • 7B LLM-ASRモデルは、評価された1,570の言語全体で平均7.1のCERを達成し、**78%**の言語がCER ≤ 10を達成している。
• 比較： Omnilingual ASRは、複数のベンチマーク（FLEURS-102、MLS、MMS-Lab）において、Whisper (large-v3)、Universal Speech Model (USM)、Massively Multilingual Speech (MMS) を含む強力なベースラインを上回る。特筆すべきは、300MのCTCバリアントが、平均CERにおいてWhisper-large-v3を上回っている点である。

ゼロショット性能

• 未知の言語において、ゼロショットLLM-ASRモデル（10個のコンテキスト例を使用）は、平均CERをベースラインのCTCの**26.3%から14.4%**へと減少させた。
• ゼロショットモデルはスクリプトの混乱エラーを大幅に減少させ、スクリプトの誤認識が蔓延しているFLEURS-102やCV22などのデータセットにおいて、非ゼロショットのベースラインを上回る性能を示した。

ファインチューニングの効率性

• 低リソース言語（5〜10時間のデータ）に対する300Mおよび1Bモデルの言語固有のファインチューニングは、7B OmniASRモデルに匹敵するCERを実現し、しばしばCER < 5を達成する。
• OmniASRのCTCチェックポイントを用いてファインチューニングを開始することは、標準的なw2v2チェックポイントを使用する場合よりも効率的であり、収束までに必要なステップ数が少ない（30kに対し5k）。

重要性と主張

論文は、Omnilingual ASRを、固定された専門家主導のシステムからコミュニティ主導の拡張性へと移行させる、音声技術におけるパラダイムシフトとして位置づけている。

1. アクセスの民主化： データを第三者に譲渡したり膨大な計算資源を必要としたりすることなく、わずか10個のペアとなる音声・テキストサンプルで言語を追加することを可能にすることで、本システムは、サービスを受けてこなかったコミュニティへの障壁を下げている。
2. 科学的貢献： 大規模で多様なデータセット（1,600以上の言語）でトレーニングすることで、モデルが広範な汎化に十分な堅牢な表現を学習できることを実証しており、低リソース言語には完全に独立したリソース集約的な開発パイプラインが必要であるという概念に異を唱えている。
3. オープンソースとコラボレーション： モデル、トレーニングパイプライン、およびコーパスをオープンソースの成果物として公開することは、単なる透明性のためのものではなく、イノベーションの力を再分配し、現地の適応と制御を可能にするための介入として位置づけられている。
4. 実用的な展開： 7Bおよび300Mの両方のバリアントが利用可能であることにより、高計算リソースのクラウド環境と、低電力のオフラインデバイスの両方への展開が可能となり、ASRの適用範囲を研究からコミュニティ主導のアーカイブやアクセシビリティツールへと広げている。

著者らは、ハイステークスな文脈では性能の格差が存続し、人間のレビューが必要であるものの、Omnilingual ASRは言語の記録、保存、および世界の言語的多様性のための音声駆動型インターフェースの開発のための、スケーラブルな基盤を提供するものであると結論づけている。