COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling

技術的サマリー（日本語）

本論文は、大規模言語モデル（LLM）の多言語適応における課題、特に低資源言語（LRL）におけるパフォーマンスの偏りと、単純な多言語ファインチューニングによる「負の干渉（negative interference）」を解決するための新しいデータ中心フレームワークCOMPASSを提案しています。

1. 背景と課題

LLM は英語に偏っており、トレーニングデータと実世界の使用パターン（ライブデータ）の分布が一致しない場合、多言語ファインチューニングはターゲット言語のパフォーマンスを低下させる傾向があります。

• 負の干渉: 異なる言語のデータがモデル容量を奪い合い、言語表現間の破壊的な干渉を引き起こす。
• 分布のミスマッチ: トレーニングデータが実世界のユーザーインタラクション（トピック、スタイル、文脈）を十分にカバーしていないため、モデルは不適切なパターンを学習してしまう。
• 既存手法の限界: 言語的類似性に基づくデータ選択や、全データを用いた単純な多言語学習では、これらの問題を十分に解決できない。

2. 提案手法：COMPASS

COMPASS（COntinual Multilingual PEFT with Adaptive Semantic Sampling）は、パラメータ効率の良いファインチューニング（PEFT）と、分布を考慮した適応的なセマンティックサンプリングを組み合わせたフレームワークです。

2.1 中核的なアイデア

ターゲット言語の「ライブ使用分布」に一致するよう、補助的な多言語データ（Aya データセットなど）から意味的に重要な部分集合を選択的にサンプリングし、ターゲット言語のトレーニングデータを補強します。

2.2 主要なコンポーネント

1. 埋め込みとクラスタリング:
   • 多言語埋め込みモデル（Jina-Embeddings-v3）を用いて、ターゲットデータ、評価データ（プロキシ）、および補助データプールをベクトル空間にマッピングします。
   • HDBScan などのアルゴリズムでデータを意味的なクラスタ（トピックや分野）に分割します。
2. 分布ミスマッチの定量化:
   • 各クラスタ $k$ において、評価データ（実使用分布の代理）とトレーニングデータ（ターゲット言語のみ）の密度比 $\rho_k$ を計算します。
   • $\rho_k > 1$ の場合、そのクラスタはトレーニングデータで不足している（「穴」がある）ことを示します。
3. 適応的サンプリング戦略:
   • クラスタレベルの重み付け: 不足しているクラスタ（$\rho_k$ が大きい）から補助データを優先的に選択します。
   • インスタンスレベルの重み付け:
     • 不足が深刻な初期段階では、クラスタの中心に近い「典型的（prototypical）」な例を優先し、学習の安定性を確保します。
     • サンプリングが進むにつれ、決定境界に近い「曖昧（ambiguous）」な例も徐々に取り入れ、モデルの頑健性を高めます。
   • 多様性の確保: 類似度が高い例の重複をペナルティとして減らし、多様なデータを選択します。
4. パラメータ効率型ファインチューニング:
   • 選択されたデータを用いて、ベースモデルを固定したまま、ターゲット言語専用の軽量アダプタ（DoRA: Weight-Decomposed Low-Rank Adaptation）をトレーニングします。
5. 継続的学習（COMPASS-ECDA）:
   • 実環境でのデータ分布のシフトを検知するために、Jensen-Shannon 発散を用いたトリガー機構を導入します。
   • 分布シフトが検知された際、新しいデータでアダプタを更新しますが、Elastic Consolidation and Distributional Anchoring (ECDA) 手法により、過去の知識の忘却（catastrophic forgetting）を防ぎます。
     • 過去の安定したクラスタの中心から「分布アンカー（prototypical examples）」をリプレイバッファとして保持し、EWC（Elastic Weight Consolidation）と組み合わせてパラメータの安定性を保ちます。

3. 主要な貢献

1. 分布意識型サンプリング戦略: 言語的類似性ではなく、ターゲット言語の使用分布とのギャップに基づいて多言語データを選択する新しい手法。
2. 多言語アダプタのトレーニング: 複数のアーキテクチャ（Phi-4-Mini, Llama-3.1-8B, Qwen2.5-7B）および多言語ベンチマーク（Global-MMLU, MMLU-ProX）において、ベースラインを凌駕する性能向上を実現。
3. 継続的適応フレームワーク: 実世界のデータ分布のシフトに対応し、モデルの陳腐化を防ぐための継続的学習メカニズム（COMPASS-ECDA）の提案。
4. 広範な実験と検証: 言語親和性、データ予算の最適化、長文脈タスク（OneRuler）、およびコンポーネントごとのアブレーション研究による手法の妥当性立証。

4. 実験結果

• 性能向上: COMPASS は、単言語ファインチューニング（Target）や、無作為サンプリング（Random）、言語的類似性に基づく選択（LangRank/LangSim）をすべて上回りました。特に低資源言語において、クロスリンガル転移の恩恵を最大限に引き出しました。
• モデル汎用性: Phi-4-Mini（3.8B）、Llama-3.1-8B、Qwen2.5-7B の 3 つの異なるモデルアーキテクチャで一貫した改善が見られました。
• 長文脈タスク: 短文脈データ（Aya）でファインチューニングされたモデルが、長文脈理解タスク（OneRuler）でも性能向上を示し、意味的アライメントの強化が長文脈能力の転移を促進したことが示唆されました。
• 継続的学習: COMPASS-ECDA は、新しい分布への適応と既存知識の保持のバランス（パレート最適）において、Naive Fine-tuning や EWC 単体などの既存手法を上回る性能を示しました。
• データ効率: 補助データの予算（ターゲットデータに対する比率）を 80% 程度に設定することで、過剰なデータ量なしに最適な性能を達成できることが示されました。

5. 意義と結論

COMPASS は、LLM の多言語化における「呪い（curse of multilinguality）」を克服するための実用的かつ効率的なソリューションです。

• データ中心アプローチ: 重み付けや勾配操作に依存するのではなく、データ選択そのものを最適化することで、計算コストを抑えつつ負の干渉を最小化します。
• 持続可能性: 継続的学習機能により、実環境でのデータ分布の変化に対応できるため、長期的なモデル維持に寄与します。
• 公平性と包摂性: 低資源言語のパフォーマンス向上を通じて、AI のデジタル包摂性を高め、文化的に適切な AI 応用の開発を可能にします。

本手法は、既存のデータエコシステムの制約内で最大限の性能を引き出すための重要なステップであり、将来的にはセマンティックスキルの組み合わせや、セキュリティ・プライバシー対策への応用も期待されます。