Embedding Initialization for Unseen Low-resource Languages in Multilingual NMT: A Case Study on Limbum-English Translation

技術要約：多言語NMTにおける未学習の低リソース言語のための埋め込み初期化

問題提起
MetaのNLLB-200のような多言語ニューラル機械翻訳（NMT）モデルは、200の言語をサポートしているが、カメルーンのグラスフィールズ・バントゥー諸語を含む、数千の未サポート言語を残している。研究者がこれらのモデルを未学習の言語に対してファインチューニングしようとする際、モデルにその新しい言語の特定の言語トークンが存在しないという、実用上の重大な障壁に直面する。標準的な回避策は、型論的に関連する「プロキシ（代理）」言語のトークンを再利用することであるが、最適なプロキシを選択するための原理的な手法はなく、選択戦略の系統的な比較も存在しない。このギャップにより、実務者は最適ではない可能性のあるヒューリスティックな選択に頼らざるを得なくなっている。

手法
著者らは、単一のプロキシ言語を選択する必要を排除する埋め込み初期化戦略を提案している。新しい言語を既存のトークンの一つにマッピングする代わりに、この手法では、新しい言語トークンの埋め込みを、モデル内に既に存在する$k$個の型論的に関連する言語の埋め込みの算術平均として初期化する。

• 手順: 事前学習済みモデル$M$、言語トークン集合$L$、および$L \notin L$である未学習言語$L_{new}$が与えられたとき、新しい埋め込み$e_{L_{new}}$は次のように計算される：
  $$e_{L_{new}} = \frac{1}{k} \sum_{i=1}^{k} e_{P_i}$$
  ここで、$P_i$は同じ言語族に属する$k$個のプロキシ言語である。モデルのアーキテクチャは、新しいトークンを語彙に追加し、埋め込み行列のサイズを変更することによってのみ変更される。
• ケーススタディ: 本手法は、計算リソース（ツリーバンク、単語埋め込み、または並列コーパス）が全く存在しないグラスフィールズ・バントゥー諸語の一つであるリムブム語（ISO 639-3: 'lmp'）を用いて評価された。
• プロキシ選択: リムブム語に対して、著者らはNLLB-200に含まれる3つのバントゥー諸語、すなわちスワヒリ語（swh）、ルガンダ語（lug）、リンガラ語（lin）を選択した。特筆すべきは、これらはグラスフィールズ・サブグループ内の近縁種ではないが、より広いバントゥー語族のメンバーシップを共有している点である。
• トレーニング・プロトコル: 著者らは、平均化された埋め込みモデル（S2b）に対して、新しい埋め込みとクロスアテンション層以外のすべてのパラメータを凍結するウォームアップフェーズと、フルファインチューニングからなる2フェーズ・スケジュールを用いて、NLLB-200-distilled-600Mをファインチューニングした。
• データ: 本研究では、リムブム・ニューテストメント（7,380ペア）とリムブブ・英語辞書（1,457ペア）から派生した、計8,837文対からなる最初のリムブム・英語並列コーパスを利用した。

実験設定およびベースライン
本研究では、以下の4つのシステムを比較した：

1. S0 (Zero-shot): ファインチューニングを行わないNLLB-200。リムブムの入力をスワヒリ語のトークンにマッピングする。
2. S1 (From Scratch): リムブム・英語コーパスを用いてスクラッチから学習されたTransformer。
3. S2a (Single Proxy): スワヒリ語を唯一のプロキシ・トークンとして使用してファインチューニングされたNLLB-200。
4. S2b (Averaged Initialization): スワヒリ語、ルガンダ語、リンガラ語の埋め込みの平均によって新しいリムブム・トークンを初期化した、NLLB-200の平均化初期化モデル。

主要な結果

• 多言語転移の優位性: 最も重要な発見は、スクラッチからのモデル（S1, chrF2++ = 14.5）と、ファインチューニングされたNLLB-200のバリアント（S2a/S2b, chrF2++ $\approx$ 47）との間の性能差である。多言語転移は32ポイントの改善をもたらしたが、初期化戦略の選択（単一プロキシ vs. 平均化）による差は1ポイント未満であった。
• 戦略の等価性: 平均化初期化（S2b）はchrF2++ = 46.7を達成し、単一プロキシのスワヒリ語アプローチ（S2a, chrF2++ = 47.3）と統計的に同等であった。95%信頼区間は大きく重なっていた。
• データ効率: 学習曲線は収穫逓減を示した。訓練データのわずか25%（1,768ペア）を使用した場合でも、S2bはchrF2++ = 32.12を達成し、スクラッチからのベースラインのほぼ2倍の性能を示した。
• 語彙的カバー率: 辞書データを削除したアブレーション研究（ニューテストメントのテキストのみを残す）では、辞書ドメインのテスト項目に対する性能が劇的に低下した（chrF2++ = 25.48から15.30へ）。これは、補助的な語彙リソースがドメイン外のカバー率にとって極めて重要であることを裏付けている。
• トーンに関するシステム的失敗: ファインチューニングされたモデルを含むすべてのシステムにおいて、声調ダイアクリティカルマーク（声調記号）の保持精度は**0.0%**であった。chrF2++スコアは高かったものの、モデルはリムブム語において意味の明瞭さに不可欠な、対照的な声調表記（例：「来る」と「ある」の区別）を再現することに失敗した。

意義および貢献
本論文の主な貢献は以下の5点である：

1. リソースの創出: リムブム・英語の最初の並列コーパス（8,837ペア）および、この低リソース言語のNLP研究を支援するための関連コードの公開。
2. 実証的検証: 極めて低リソースなバントゥー諸語に対して、最小限のデータ（7,070ペア）を用い、コンシューマーグレードのハードウェア（Google Colab T4 GPU）上で、高い性能（chrF2++ $\approx$ 47）が得られることを示したこと。
3. 手法の革新: 単一プロキシのファインチューニングと同等の性能を実現しつつ、ヒューリスティックなプロキシ選択の必要性を排除する埋め込み平均化法を提案したこと。これは、未学習の言語を扱う研究者にとっての「安全なデフォルト」を提供する。
4. アブレーション分析: 低リソース設定におけるデータ分量の寄与と、補助的な語彙リソース（辞書）の具体的な価値を定量化したこと。
5. 未解決の課題の提示: 現在のNMTシステムが声調ダイアクリティカルマークを保持することに完全に失敗していることを文書化し、標準的な指標であるchrF2++やBLEUが、欠落した声調マークによる意味的な曖昧さを十分にペナルティ化できないという、声調を持つアフリカ諸語における決定的なギャップを特定したこと。

結論
本研究は、極めて低リソースなバントゥー語の翻訳において、多言語転移が性能の支配的な要因であり、特定の初期化戦略（平均化 vs. 単一プロキシ）の選択は二次的なものであると結論付けている。平均化手法は、プロキシ選択の必要性を排除しつつ、原理的で堅牢な代替案を提供し、アーキテクチャの複雑化なしに効果的な適応を可能にする。しかし、これらのモデルが声調ダイアクリティカルマークを扱えないという問題は、声調言語におけるNMTの重要な未解決課題として残っている。