LLiMba: Sardinian on a Single GPU -- Adapting a 3B Language Model to a Vanishing Romance Language

技術的概要：LLiMba — 30 億パラメータ言語モデルのサルデーニャ語への適応

問題定義
サルデーニャ語（sardu）は、約 100 万人によって話されるロマンス語派の言語ですが、現代の自然言語処理（NLP）においてほぼ完全に欠落しています。商用サービスはこれをサポートしておらず、既存の大規模言語モデル（LLM）はサルデーニャ語を信頼性高く生成できず、しばしばイタリア語、スペイン語、またはその他の主要なロマンス語にデフォルトしてしまいます。ウェブ規模のコーパスにおけるサルデーニャ語データの希少性が、標準的なオープンモデルの言語学習を阻害する一方、プロプライエタリなモデルはユーザーベースが小さすぎるためデータ収集を不要と判断しています。さらに、標準的な低リソースデータセット（例：OSCAR、Leipzig Corpora）には、実用的なサルデーニャ語テキストはほとんど含まれていません。課題は、最小限のデータと一般消費者向けのハードウェアを用いて、破滅的な忘却を回避し、事実の裏付けを確保しながら、事前学習済み多言語モデルを低リソースかつ密接に関連するロマンス語に適応させることです。

手法
著者は、Qwen2.5-3B-Instruct から適応された、サルデーニャ語対応の 30 億パラメータモデル「LLiMba」を提示します。適応パイプラインは、24GB の VRAM を搭載した単一の NVIDIA RTX 4090 上で、2 段階のプロセスを実行して実施されました。

1. 継続的事前学習（CPT）:

   • データ: LSC、ログドゥーレセ、カンピダネーゼの各変種にわたる約 1,150 万トークンのサルデーニャ語コーパスに、破滅的な忘却とレジスターの曖昧化を防ぐため、約 240 万トークンの関連するロマンス語テキスト（イタリア語、スペイン語、ポルトガル語、カタロニア語）を付加したデータ。
   • 手法: bfloat16 形式でのフルファインチューニング（全パラメータの更新）。著者は、ドメインシフト（新しい言語の学習）が大きいこと、および先行研究がターゲット分布が事前学習から遠い場合、LoRA はフルファインチューニングより性能が劣ることを示唆しているため、この段階ではパラメータ効率型アダプタではなくフルファインチューニングを選択しました。
   • ハードウェア制約: 30 億パラメータモデルを 24GB の VRAM に収めるため、著者はページングされた 8 ビット AdamW オプティマイザ、勾配チェックポイント、および勾配蓄積による実効バッチサイズ 16 を活用しました。異質なドキュメントタイプ間でのアテンション漏洩を防ぐため、シーケンスパッキングは無効化されました。

2. 教師あり微調整（SFT）:

   • データ: 機械翻訳された Capybara データ、並列翻訳ペア、ネイティブがキュレーションした合成指示、および歌に関連するクエリから導出された約 14,404 組の指示ペア。
   • 構成比較: 5 つの SFT 構成を、同一条件（同じデータ、ハードウェア、ハイパーパラメータ）で比較しました。
     • フルファインチューニング。
     • LoRA（ランク 64、$\alpha=128$）。
     • rsLoRA（ランク 128、$\alpha=128$、$\alpha/\sqrt{r}$ スケーリングを使用）。
     • rsLoRA（ランク 256、$\alpha=256$、$\alpha/\sqrt{r}$ スケーリングを使用）。
     • DoRA（ランク 256、$\alpha=256$、重みを大きさと方向に分解）。

主要な結果

• 翻訳性能: 継続的事前学習が性能向上の大部分を提供し、ベースモデルに対して BLEU スコアを 4〜7 倍改善しました。SFT は漸進的な改善をもたらしました。

  • 最高性能: ランク 256 の rsLoRA がサルデーニャ語への翻訳において最高スコアを達成しました（例：英語からサルデーニャ語への翻訳で 28.47 の BLEU。CPT 単独では 17.26、フルファインチューニングでは 21.04）。
  • ランクアブレーション: 翻訳指標における性能はランクに応じて滑らかにスケーリングしました：rsLoRA r256 > rsLoRA r128 > LoRA r64。
  • DoRA の性能不足: 最良の rsLoRA 構成と同じランク（256）を持っていたにもかかわらず、DoRA は 6 つの翻訳方向のうち 4 つで LoRA r64 よりも性能が劣り、フルファインチューニングの改善効果にも達しませんでした。

• 定性的知見と失敗モード:

  • 事実の裏付け: 翻訳指標（BLEU/chrF）は事実の正確性と相関しませんでした。rsLoRA r256 は検証可能で正確な伝記的・文化的事実を生成しました。対照的に、LoRA r64 は自信に満ちたが捏造された詳細を生成し、DoRA r256 はベースモデルの構造を維持するという設計前提に反して、最も攻撃的な捏造を生成しました。
  • 語彙忠実度: rsLoRA r256 は事実面で優れていましたが、長く開放的なプロンプトに対して「形態論的幻覚」を示し、音韻論的に妥当だが実証されていないサルデーニャ語の単語を生成しました。フルファインチューニングは実証された語彙に最も近接していました。
  • スクリプト漏洩: rsLoRA r128 構成は、他の変種では観察されなかった、非ラテン文字（中国語/英語）のトークンがサルデーニャ語の文に漏洩するという、独自の失敗モードを導入しました。

• 損失指標と現実の乖離: 訓練損失と評価損失は手法間で類似しており、事実性やスクリプト完全性の定性的な違いを予測しませんでした。論文は、非ラテン文字におけるバイトフォールバックトークン化によってパープレキシティ指標が人為的に低下する可能性があること（チベット語適応における既知の問題）に言及していますが、サルデーニャ語のラテン文字は、この特定のアーティファクトを回避しています。

意義と貢献
本論文は、30 億パラメータモデルを低リソースのロマンス語に適応させることが、フル CPT に続くパラメータ効率型 SFT という 2 段階パイプラインを用いれば、単一の一般消費者向け GPU で可能であることを確立しました。

主な貢献点は以下の通りです。

1. アダプタ容量に関する実証的証拠: この研究は、ロマンス語で事前学習されたベースを低リソースのロマンス語ターゲットに適応させる場合、アダプタのランクが特定のアダプタ変種よりも重要であることを実証しています。rsLoRA をランク 256 にスケーリングすると有意な改善が見られましたが、同じランクの DoRA は同等の結果をもたらせず、特定のパラメータ化（制約のない低ランク更新対大きさと方向の分解）がタスクと決定的に相互作用することを示唆しています。
2. 標準的指標の限界: 翻訳指標（BLEU/chrF）や損失曲線は、構成を滑らかに順序付ける一方で、事実の幻覚やスクリプト漏洩といった定性的な行動のカテゴリー的差異を隠蔽し得ることが浮き彫りになりました。
3. リソース効率: 大規模な計算クラスターを必要とせず、慎重なデータキュレーションとハードウェアを考慮した最適化（8 ビットオプティマイザ、勾配チェックポイント）に依存する、低リソース言語適応の再現可能なパイプラインを提供しています。

著者は、この特定の設定において翻訳と事実の裏付けに最適な構成は rsLoRA r256 である一方で、定量的指標と定量的現実の間の乖離が、損失ベースの指標が誤解を招くか不十分である可能性のある場合に、ネイティブ話者によるプローブと事実確認を含む評価戦略を必要とすることを結論付けています。