技術要約：事前学習済み言語モデルを用いたモジュール型単一言語適応

問題提起

事前学習済み多言語言語モデル（PMLM）を低リソース言語に適応させる手法として、通常は対象言語でのフルファインチューニングが行われる。しかし、このアプローチは低リソースの設定において、以下のような重大な課題に直面する：

1. 過学習： 全パラメータ空間、特に（全パラメータの約25%を占める）巨大な埋め込み行列を限られたデータで学習すると、しばしば過学習を引き起こす。
2. 多言語性の呪い： 固定容量の多言語モデルでは、高リソース言語がパラメータ空間を支配し、その結果、十分に代表されていない言語の性能を制限する可能性がある。
3. 非効率性： フルファインチューニングは計算コストが高く、多大なVRAMと学習時間を必要とする。
4. 語彙の不一致： 未知の言語に対して多言語トークナイザーを再利用すると、トークン分裂率（単語が多くのサブワードに分割される割合）が高くなり、計算コストの増大と効率の低下を招く。

言語適応ファインチューニング（LAFT）や語彙拡張といった技術が存在するものの、著者らは、フルモデルのチューニングは必ずしも必要ではなく、よりモジュール的なアプローチの方が少ないリソースでより良い結果をもたらす可能性があると仮定している。

手法

著者らは、トークナイザーと埋め込みをトランスフォーマー層から切り離すモジュール型単一言語適応フレームワークを提案している。その中核となる構成要素は以下の通りである：

1. カスタムトークナイゼーション： 対象言語のコーパスに対してWordPieceアルゴリズムを用いて特別に訓練された新しいトークナイザーを使用する。これにより、元の多言語トークナイザーを置き換え、語彙サイズを30kに維持する。
2. 埋め込みの置換と凍結：
   • PMLMの入力および出力の埋め込みを、カスタム語彙に対応する新しい行列に置き換える。
   • 凍結： これらの新しい埋め込み層は、学習中に凍結される。
   • 初期化戦略： 著者らは、以下の3つの初期化方法を実験的に検証している：
     • モデルベース： 元の語彙を再トークナイズし、新しいトークンを構成する元のトークンの重みを平均化する。
     • FastText： 対象コーパス上でFastTextを用いて静的埋め込みを訓練する。
     • ランダム： ランダム初期化。
3. 選択的パラメータ学習： 非埋め込みパラメータ（トランスフォーマー層およびLM Head）のみが、標準的なマスク言語モデル（MLM）目的関数を用いて更新される。
4. 実験設定：
   • 言語： スコットランド・ゲール語（gd）、アイルランド語（ga）、ケチュア語（qu）。ケチュア語は、約8.5kの訓練インスタンスしかない非常に低リソースな言語として言及されている。
   • モデル： BERT、Multilingual BERT (mBERT)、およびMultilingual ModernBERT (mmBERT)。
   • タスク： マスク充填（MLM）、命名エンティティ認識（NER）、および品詞（POS）タグ付け。
   • ベースライン： フルファインチューニング、埋め込みのみの学習、およびLow-Rank Adaptation (LoRA) と比較。

主な貢献

• モジュール型フレームワーク： トークナイザーを置き換え、埋め込みを凍結し、残りのパラメータのみを調整する新しい適応戦略。
• 包括的な分析： トークナイザー、埋め込み初期化戦略、およびモデルアーキテクチャ（BERT vs. mBERT vs. mmBERT）が単一言語適応に与える影響についての体系的な評価。
• 効率性の向上： ダウンストリームタスクの性能を維持または向上させつつ、学習パラメータ数を大幅に削減（例：mBERTで約50%削減）し、学習時間を短縮できることを実証。

結果

実験から以下の知見が得られた：

1. 非埋め込み学習 vs. フルチューニング：

   • **MLM（マスク充填）**タスクにおいて、提案された非埋め込み学習戦略は、すべての言語とモデルにおいてフルファインチューニングを一貫して上回った。著者らは、埋め込みを凍結することが正則化効果をもたらし、小さな訓練セットへの過学習を防いでいるためであるとしている。
   • **ダウンストリームタスク（NERおよびPOS）**において、非埋め込み学習はフルファインチューニングと同等の性能を示し、埋め込みのみの学習よりも有意に優れた性能を示した。これは、埋め込みが重要ではあるものの、埋め込み空間が固定されている場合でも、トランスフォーマー層がタスク固有の文脈表現を学習するのに十分であることを示唆している。

2. トークナイザーの影響：

   • カスタムトークナイザーの使用は、多言語トークナイザーの再利用を一貫して上回った。この改善は、トークン分裂率の低下と、対象言語に対するより優れたサブワード分割によるものである。
   • カスタム語彙の使用により、総モデルサイズと学習メモリ要件も削減された。

3. 埋め込み初期化：

   • 非埋め込み学習の設定では、埋め込み初期化の選択（モデルベース、FastText、またはランダム）が性能に与える影響は軽微であった。ランダムに初期化された埋め込みも事前学習済みのものとほぼ同等の性能を示しており、トランスフォーマー層が新しい語彙空間へ効果的に再整列できることを示唆している。
   • 対照的に、フルファインチューニングの下では、デフォルトの埋め込みが性能を阻害することがあった。これは、モデルが事前学習データからの無関係な表現を「忘却」しなければならなかったためと考えられる。

4. モデルアーキテクチャ：

   • **多言語モデル（mBERT, mmBERT）**は、一般的にモノリンガルBERTやランダム初期化されたトランスフォーマーよりも優れた性能を示した。これは、対象言語が事前学習データにわずかしか含まれていない場合でも、効果的なクロスリンガル知識転移が行われていることを示している。
   • mmBERTは、その容量の大きさからMLM性能において優れていたが、ダウンストリームタスクにおいては「破滅的な過学習（catastrophic overtraining）」の可能性により、mBERTと比較して性能が低下する場合があった。

5. 低リソースにおける性能：

   • **ケチュア語（qu）**において、カスタムトークナイザーを用いた非埋め込み戦略はフルチューニングを大幅に上回り、極めて低リソースなシナリオにおける本手法の妥当性を証明した。

6. LoRAとの比較：

   • 提案手法はすべてのタスクにおいてLoRA（Low-Rank Adaptation）を一貫して上回った。これは、これらの特定の環境において、低ランク制約がモデルの複雑なタスク学習能力を制限している可能性を示唆している。

意義と主張

本論文は、フルモデルのファインチューニングが常に最適な戦略であるとは限らないことを主張している。代わりに、カスタムトークナイゼーションと**選択的パラメータ学習（埋め込みの凍結）**を組み合わせたモジュール型のアプローチは、シンプルでパラメータ効率が高く、効果的な代替案となる。

著者らが強調する主なポイントは以下の通りである：

• 正則化： 埋め込みを凍結することは強力な正則化として機能し、データが乏しい環境における過学習を軽減する。
• トークナイゼーションの重要性： カスタムトークナイザーの選択は、埋め込みの初期化方法よりも大きな性能向上をもたらす。
• 効率性： このアプローチは学習パラメータを約半分に削減し、ダウンストリームタスクの性能を損なうことなく、収束の高速化、VRAM使用量の低減、および推論レイテンシの低減を実現する。
• 転移可能性： 事前学習データにおいて適切に表現されていない言語であっても、適切な適応戦略を用いれば、多言語事前学習モデルは依然として価値がある。

著者らは、この手法が、フルモデルチューニングに伴う計算コストや過学習のリスクを回避し、低リソース言語モデリングのための堅牢なベースラインを提供すると結論付けている。