技術概要：HELLoRA

問題定義

低ランク適応（LoRA）は、密な大規模言語モデル（LLM）のパラメータ効率化ファインチューニング（PEFT）の標準となっているが、その混合エキスパート（MoE）モデルへの適用には固有の課題が存在する。MoE モデルは、各トークンに対してスパースなサブセットのエキスパートのみを活性化することで、パラメータ容量を拡張しつつ、トークンあたりの計算量をほぼ一定に保つ。しかし、MoE モデルのすべてのエキスパートに LoRA を単純に適用すると、特定の下游タスクに対してほとんど活性化されないエキスパートにアダプターが接続されるため、メモリ使用量とスループットのオーバーヘッドが大幅に増大する。さらに、これらの「コールド」なエキスパートを適応させることは、専門的な事前学習知識を保持するパラメータに勾配ノイズを注入し、エキスパートの専門性を乱し、性能を低下させる可能性がある。

手法

本論文は、MoE 活性化パターンの本質的なスパース性を利用してアダプターの配置を最適化する手法、HELLoRA（Hot Experts Layer-Level Low-Rank Adaptation）を提案する。

中核メカニズム

HELLoRA は、特定のタスクにおいて各レイヤー内のエキスパート活性化が極めて偏っているという観察に基づいて動作する。すなわち、少数の「ホット」なエキスパートがトークン処理の大部分を担い、長いテールを形成する「コールド」なエキスパートはほとんど使用されない。この手法は 2 つの段階で進行する。

1. 軽量プロファイリング（ウォームアップ）: 完全なファインチューニングに先立ち、標準的な LoRA を用いてモデルを短いウォームアップ段階（デフォルトではトレーニングデータの 10%）にさらす。この段階において、システムは各 MoE レイヤーにおけるすべてのエキスパートの活性化頻度を記録する。
2. 選択的アダプター接続: プロファイリング統計に基づき、HELLoRA は各レイヤーで最も頻繁に活性化される上位 k 個のエキスパート（「ホットエキスパート」）を特定する。LoRA アダプターは、これらのホットエキスパートおよびアテンション投影とゲーティングネットワークに対してのみ接続される。すべての「コールド」なエキスパートは完全に凍結されたままとなる。

HELLoRI 変種

極端なパラメータ制約に対処するため、著者は HELLoRA をLoRI（スパース更新を伴う LoRA）と組み合わせる。この変種はHELLoRIと呼ばれ、ホットエキスパートアダプター内のアップ投影行列（A）を凍結し、ダウン投影行列（B）内の上位 10% のエントリのみを更新する。これにより、学習可能なパラメータがさらに削減される。

理論的根拠

著者は、このアプローチが以下の 2 つの相補的な利点をもたらすと仮定している。

• 効率性: コールドなエキスパートからアダプターを完全に除去することで、HELLoRA はそれらの順方向および逆方向パスの計算を排除する。パラメータを計算グラフ内に保持するマスキングベースの手法（例：LoRI）とは異なり、HELLoRA は実際の FLOPs とメモリトラフィックを削減する。
• 正則化: コールドなエキスパートを凍結することで、その事前学習された専門性を維持する。代表性に欠けるトークン部分集合を用いてコールドなエキスパートを適応させることは、学習された能力を攪乱するノイズの多い勾配を導入する可能性がある。適応をホットなエキスパートに制限することは、構造化された正則化の一形態として機能する。

主要な貢献

1. 二重スパース性の特定: 著者は、MoE ファインチューニングが、スパースなエキスパート活性化と LoRA 更新の低ランク構造という、相乗効果を伴う二重スパース性から恩恵を受けることを特定した。
2. HELLoRA フレームワーク: トレーニング前に単純なワンショットプロファイリング段階のみを必要とする、レイヤーレベルのホットエキスパートアダプター配置戦略を提案する。
3. 包括的評価: この手法は、3 つの異なる MoE バックボーン（OlMoE-1B-7B、Mixtral-8×7B、DeepSeekMoE）と 3 つのタスクファミリー（数学的推論、コード生成、安全性アライメント）において評価された。
4. 同時最適化: 本論文は、HELLoRA が下游タスクの精度、パラメータ効率、アダプター起因の FLOPs、およびウォールクロックトレーニングスループットを同時に改善することを示している。これは、従来のマスキングベースまたは密なアダプター手法では達成されなかった組み合わせである。

実験結果

評価は、標準的な PEFT ベースライン（LoRA、DoRA、LoRI）および MoE 固有の手法（LoRAMoE）に対する一貫した改善を浮き彫りにしている。

• パラメータ効率: HELLoRA は、フル LoRA の性能に匹敵、あるいは上回る性能を維持しながら、はるかに少ない学習可能パラメータを使用する。
  • OlMoE-1B-7Bにおいて、HELLoRA はパラメータのわずか0.7%（LoRA の約 6 分の 1）を使用しながら、GSM8K（29.49 対 26.37）および HumanEval において高い精度を達成した。
  • Mixtral-8×7Bでは、パラメータの0.31%（LoRA の予算の 30%）を使用し、精度が向上した。
  • DeepSeekMoEでは、パラメータの0.82%（LoRA の予算の 23%）を使用し、同等またはそれ以上の性能を示した。
• スループットと FLOPs: HELLoRA は LoRA のトレーニングスループットの約1.9 倍を達成し、バックボーン全体でアダプター起因の FLOPs を**33–39%**削減した。この速度向上は、計算グラフからコールドなエキスパートアダプターカーネルを完全に除去したことに起因する。
• アブレーション研究:
  • 選択戦略: レイヤーレベルのホット選択は、モデルレベル（グローバル）選択、ランダム選択、コールドエキスパート選択を上回った。ランダム選択でさえフル LoRA をわずかに上回っており、範囲の制限自体が正則化を提供することを示唆している。
  • ウォームアップ: データの 10% をプロファイリングに使用することで、フルデータプロファイリングによって特定されたホットエキスパートの 87.5% を回復し、トレーニング時間のオーバーヘッドは 9.2% のみであった。
  • タスク間保存: 特定のタスクでのファインチューニングは、非ターゲットタスクにおける性能を大幅に維持しており、HELLoRA の逐次的またはマルチタスクシナリオでの使用を支持している。

意義と主張

本論文は、活性化を考慮したアダプター配置が、大規模 MoE 言語モデルへの PEFT のスケーリングにとって実用的かつ効果的な原則であると主張している。適応容量をモデルのネイティブな計算分布と整合させることで、HELLoRA は未使用パラメータの適応に伴う非効率性と、事前学習知識を攪乱するリスクを解決する。

著者は、HELLoRA が、学習可能なパラメータを削減し、FLOPs を低下させ、トレーニングスループットを増加させ、かつ MoE モデルの下游精度を向上させる最初の手法であると強調している。また、この手法はウォームアップデータの代表性に依存するが、複雑なアーキテクチャ変更やオンラインランク調整を必要とせず、リソース制約のあるファインチューニングに対する堅牢な解決策を提供すると指摘している。この研究は、標準的な MoE アーキテクチャにおいて、ホットエキスパートの数（k）をステップごとのルーティング予算に一致させることが信頼できる出発点であることを示唆しており、共有エキスパートを含むアーキテクチャについては調整が必要であるとしている。