WARDEN: Endangered Indigenous Language Transcription and Translation with 6 Hours of Training Data

技術的概要：WARDEN – 6 時間のトレーニングデータを用いた、危機に瀕する先住民族言語の文字起こしと翻訳

問題定義
ウォードマン語（2025 年時点で完全な話者が 2 人しかいないオーストラリアの先住民族言語）のような危機に瀕する言語の記録は、言語学者が手動で時間軸整合の取れた文字起こしと翻訳を作成する必要がある、労働集約的なプロセスです。自動音声認識（ASR）と機械翻訳（MT）が加速の潜在的可能性を提供する一方で、標準的な深層学習アプローチは、このような低リソースなシナリオでは実行不可能です。既存のモデルは通常、許容可能な性能を達成するために数十から数百時間の注釈付きデータを必要としますが、利用可能なウォードマン語データセットは、時間軸整合の取れた音声・文字起こし・翻訳のペアが 6 時間のみで構成されています。さらに、文字起こしと翻訳の両方を同時に実行しようとする統合モデルは、十分なトレーニングシグナルの欠如により、極端にデータが少ない領域ではしばしば失敗します。

手法
著者は、文字起こしと翻訳を分離し、最小限のデータで効果的な学習を可能にする 2 段階フレームワークであるWARDEN（Wardaman Decoding ENgine）を提案します。

1. 文字起こし段階（ASR）:

   • モデル: システムは Whisper-large-v3 モデルを微調整します。
   • 言語間初期化: ウォードマン語データの不足に対処するため、著者はモデルの言語トークンを初期化するために、音韻的に類似した「プロキシ」言語を特定します。PHOIBLE データベースを用いて、ウォードマン語の音素体系と 6 つの候補言語（スンダ語、ウズベク語、ハウサ語、クロアチア語、オック語、英語）の間のハミング距離を計算しました。
   • 選択: スンダ語が最小の音素距離を持つと特定されました。モデルは、6 時間のウォードマン語データで微調整する前に、スンダ語の言語トークン（<su>）を使用して初期化されます。この戦略は、音韻知識を転移し、収束を加速することを目指しています。

2. 翻訳段階（MT）:

   • 課題: 大規模言語モデル（LLM）や ASR ベースの翻訳者を 6 時間のデータで直接微調整すると、過学習とドメイン固有知識の欠如により、結果が不良になります。
   • 辞書拡張ワークフロー: 著者は、専門家の注釈からウォードマン語 - 英語辞書（約 2,300 項目）を編纂しました。
   • 辞書マッチャー: 翻訳前に、ルールベースのマッチャーが ASR 文字起こし内の単語に関連する辞書項目を取得します。マッチングは以下の方法で行われます:
     • 文字誤り率（CER）: 文字誤り率の閾値（$\tau = 0.2$）を用いて、文字起こしの単語を辞書項目とマッチングします。
     • 接辞マッチング: 派生形を処理するために、接頭辞と接尾辞の位置マッチングを行います。
   • LLM 統合: 取得された辞書項目（単語、CER、品詞、意味説明としてフォーマットされたもの）は、ASR 文字起こしと連結され、LLM（具体的には Qwen3-8B）に入力されます。
   • トレーニング: LLM は低ランク適応（LoRA）を使用して微調整されます。入力には文字起こしとマッチングされた辞書の手がかりが含まれ、LLM を純粋なデータ駆動型の翻訳者ではなく、知識に根ざした解釈者へと変換します。
   • データ拡張: トレーニングデータは、短い発話を長いシーケンスに連結すること、および Whisper 自身のノイズの混じった文字起こし出力を入力として使用して現実世界の ASR エラーをシミュレートすることによって拡張されます。

主要な貢献

• 2 段階アーキテクチャ: この論文は、極端にリソースが限られた環境（6 時間のデータ）において、文字起こしと翻訳を分離することが、統合アプローチよりも優れていることを実証しています。
• 音韻プロキシ初期化: データ不足を克服するために、音韻的に類似した言語（スンダ語）のトークンを用いて ASR モデルを初期化するという導入。
• 辞書に根ざした翻訳: 専門家が編纂した辞書を LLM の推論と微調整プロセスに直接統合する新しいパイプライン。これにより、モデルは内部パラメータのみに依存するのではなく、外部知識を活用できるようになります。
• ベースラインの確立: 注釈付きデータ 6 時間のみを使用してウォードマン語処理のための強力なベースラインを構築し、より大規模なオープンソースおよびプロプライエタリモデルを上回る性能を示しました。

実験結果

• 文字起こし: WARDEN システム（スンダ語初期化で微調整された Whisper）は、単語誤り率（WER）で0.52を達成しました。これは、標準的な Whisper 微調整（0.64）およびゼロショットベースライン（1.62）を上回ります。スンダ語トークンの使用は、標準的な微調整と比較して WER を 0.12 削減しました。
• 翻訳: 辞書条件付けと微調整を備えた Qwen3-8B モデルを使用し、WARDEN は BLEU-4 スコアで12.40を達成しました。
  • これは、最高の GPT-5 の結果（7.54）および他の微調整ベースラインを大幅に上回りました。
  • アブレーション研究により、辞書または微調整のいずれかを除去すると、BLEU スコアがそれぞれ 6.28 および 9.57 減少することが示されました。
  • システムはまた、ノイズの混じった ASR 出力を入力としても性能を維持する堅牢性を示しました。

意義と主張
この論文は、WARDEN が既存のシステムを阻害する「データ不足の呪い」から成功裏に脱却したと主張しています。言語学的洞察（音韻的類似性）と専門家の知識（辞書）を活用することで、システムは通常必要とされるデータの断片で高い性能を達成します。著者は、WARDEN を言語学者の代替手段ではなく、音声記録の処理時間を数日から数時間に短縮し、記録プロセスを加速するツールとして位置づけています。この作業は、そのようなツールが、データ所有権と発話コミュニティの好みを尊重して開発される限り、コミュニティ主導の言語再生を支援し得ることを強調しています。著者は明示的に、この設計の有効性は、この特定の低リソース環境において、より大規模でデータを必要とするモデルを上回る能力によって検証されていると述べています。