技術要約：大規模言語モデルにおける低リソース言語のための疎なサブネットワーク強化

問題提起

大規模言語モデル（LLM）は、高リソース言語と低リソース言語の間で顕著な性能格差を示します。学習データとモデルパラメータのスケールアップは多言語性能を向上させますが、数百の言語を対象とするリソース制約のあるシナリオにおいては、このアプローチはしばしば非現実的です。既存の適応戦略は、以下のような根本的なトレードオフに直面しています：

• フルファインチューニング（Full Fine-Tuning）： 一般的な汎用能力の破滅的忘却（catastrophic forgetting）を招くことが多く、膨大な計算リソースを必要とします。
• パラメータ効率の良いファインチューニング（PEFT）： LoRAやアダプターなどの手法は計算コストを削減しますが、知識がモデル内でどのように構成されているかを明示的に考慮せずに動作するため、異なる機能をエンコードするパラメータを無差別に変更してしまう可能性があります。
• ニューロンレベルのアプローチ： 先行研究では言語固有の構造を特定することに有望性を示していますが、その多くはタスク特化型の適応（例：機械翻訳）や解釈可能性に焦点を当てており、大規模な能力注入のための体系的かつ標的を絞ったファインチューニングには至っていません。

中心となる研究課題は、言語固有の処理をエンコードするニューロンの疎なサブセットのみを直接ファインチューニングすることで、既存の一般的能力を損なうことなく、新しい言語能力をLLMに注入できるか否かという点です。

手法

著者らは、フィードフォワードネットワーク（FFN）コンポーネント内の言語固有のサブネットワークを標的としたファインチューニングを通じて、単一言語能力を強化するフレームワークを提案しています。このアプローチは、主に2つの段階で構成されています。

1. LAPEによるニューロンの特定

本手法は、**言語活性化確率エントロピー（Language Activation Probability Entropy: LAPE）**という情報理論的な指標を用いて、言語固有の活性化パターンを示すニューロンを特定します。

• メカニズム： 層 $\ell$ における各ニューロン $i$ について、モノリンガルなコーパスを用いた入力下での言語 $k$ における活性化確率（$p^k_{\ell,i}$）を推定します。
• エントロピー計算： $K$ 個の言語にわたる確率を正規化して分布を形成します。LAPEスコアは、この分布のシャノンエントロピーとして計算されます。低いLAPEスコアは、特定の言語に対して選択的に活性化するニューロン（低エントロピー）であることを示し、高いスコアは言語に依存しないニューロン（高エントロピー）であることを示します。
• 選択基準： LAPEスコアの下位 $\rho$ パーセンタイル（5%に設定）にあるニューロンを選択しますが、一様に活動していないニューロンを排除するために活性化閾値（$\tau_{act}$）を適用します。一つのニューロンが複数の言語に対して閾値を超える場合、複数のサブネットワークに属することができるこれは、共有された言語的特徴を反映しています。
• 焦点： 本研究では、トランスフォーマーにおいて事実的および言語的な知識の主要な格納場所であるとされるFFNコンポーネントに焦点を当てています。

2. 疎なサブネットワークのファインチューニング

ターゲット言語 $k$ のための言語固有サブネットワーク $S_k$ が特定された後、これらのニューロンに関連する重みのみを更新することでモデルをファインチューニングします。

• パラメータの範囲： GLUベースのFFNブロックを持つトランスフォーマーの場合、選択されたニューロン $i$ に対する学習パラメータには、対応するゲートおよびアッププロジェクション行列の行（$W_{gate}[i, :], W_{up}[i, :]$）と、ダウンプロジェクション行列の列（$W_{down}[:, i]$）が含まれます。
• 最適化： モデルは、他のすべてのパラメータを凍結したまま、ターゲット言語のデータに対する言語モデリング損失を最小化します。
• 効率性： このアプローチは、全モデルパラメータのわずか 0.2%から1% のみを更新します。

主な貢献

1. 体系的なフレームワーク： 疎なサブネットワークのファインチューニングを通じて、パラメータの1%未満を更新することで言語能力を注入できることを示し、低リソース言語を強化するためのフレーム 데フレームワークを導入しました。
2. 実証的検証： 3つのモデル（LLAMA-3.1-8B, MISTRAL-NEMO-12B, AYA-EXPANSE-8B）と12の中・低リソース言語にわたる広範な実験を行いました。本手法は、ターゲット言語のタスクにおいて、フルファインチューニング、FFNのみのファインチューニング、LoRA、IA3、およびランダムサブセットのベースラインを一貫して上回り、かつ既存の一般的能力を完全に維持しました。
3. メカニズム的洞察：
   • 重みの変化の非対称性： 分析により、後半の層におけるダウンプロジェクションの重みが、ゲートやアッププロジェクションと比較して大幅に大きな更新（3〜5倍）を受けていることが明らかになりました。これは、ダウンプロジェクションが言語的な再配線（re-wiring）の主要な部位であることを示唆しています。
   • 言語間アライメント： 疎なファインチューニングは、密なファインチューニングよりも効果的にクロスリンガル・アライメント（残差ストリームの活性化のコサイン類似度で測定）を改善し、後半の層においてより言語に依存しない表現を生み出します。
4. リソースの公開： 100以上の言語に関する言語固有のニューロン特定結果と適応パイプラインを公開し、コミュニティに実用的なリソースを提供します。

実験結果

• ターゲット言語の性能： 疎なサブネットワーク・アプローチは、翻訳（FLORES-200, OPUS-100）および読解・分類（BELEBELE, SIB-200）のベンチマークにおいて、最も高い平均改善を達成しました。例えば、FLORESにおいて、ターゲットされたサブネットワークはベースラインモデルに対して平均最大5 BLEUポイントの改善を達成し、性能低下を招くことが多いフルファインチューニングを凌駕しました。
• 一般的能力の保持： フルファインチューニングやFFNのみのファインチューニングが破滅的忘却（例：MMLUスコアが約58から約22へ低下）を引き起こしたのに対し、疎な手法は一般的能力を維持しました（MMLUスコアはベースラインに近いレベル、約57.5対58.1を維持）。
• PEFTとの比較： IA3は一般的能力を保持しましたが、ターゲット言語のタスクにおける利得は一貫して疎なサブネットワーク法よりも小さくなりました。LoRAとランダムサブセットのベースラインは中間的な性能を示しましたが、顕著な一般的能力の低下を伴いました。
• データの効率性： 本手法はベースラインよりも速く収束し、より低い検証損失に到達します。学習データサイズを増やすこと（最大2億トークン）は一般に性能を向上させますが、特定の言語（リトアニア語、マルタ語など）では飽和またはわずかな低下が見られ、サブネットワークの容量限界を示唆しています。

意義と主張

本論文は、言語固有のニューロンに対する疎で標的を絞ったファインチューニングが、能力レベルの言語適応のための実行可能なメカニズムであることを主張しています。本研究の意義は以下の通りです：

• アクセスの民主化： フルリトレーニングの計算負荷や破滅的忘却のリスクを負うことなく、LLMを低リソース言語へと拡張するための、コスト効率の高い経路を提供します。
• 実行可能な解釈可能性： メカニズム的な洞察（LAPEによる特定ニューロンの特定）が、事後分析を超えて、直接的なモデル強化の指針となり得ることを実証し、実用的な最適化へと導きます。
• スケーラビリティ： パラメータの1%未満を更新することで言語能力を注入できることを証明しており、著者らはこれがこれほどの規模ではこれまで実証されていなかった点であると述べています。

著者らは、このフレームワークが、他のモダリティへの拡張や、言語類型論に基づくサブネットワークサイズの適応的な決定といった可能性を秘めた、低リソース言語のためのLLM研究の基礎となる実用的な基盤を提供するものであると結論付けています。