技術要約: HYPER-ES

問題提起

進化戦略（ES）は、大規模言語モデル（LLM）の勾配ベースの微調整に代わる、有望かつメモリ効率の高い選択肢を提供します。特に、バックプロパゲーション（誤差逆伝播法）が極めて高コストとなるリソース制約のあるシナリオにおいて重要です。しかし、高次元のESを推論タスクに対して直接適用することは、非常に効果的ではありません。本論文は、高次元ESにおける2つの根本的な幾何学的失敗を特定しています。

1. 方向発見の失敗（Directional Discovery Failure）: 高次元空間では、ランダムな摂動は有用な降下方向に対してほぼ直交します。パラメータ次元 $d$ が増加するにつれ、ランダムな摂動が最適な勾配と整列する確率は消失し、集団による方向性のシグナルが弱くなります。
2. 直交ランダムウォーク（Orthogonal Random Walk）: 個々の更新が損失減少に関して情報を持っていなくても、繰り返されるESの更新はパラメータ空間内で蓄積されます。これにより、モデルは意味のある進展なしに事前学習の初期値から離れてドリフト（ランダムウォーク）し、最適化の不安定化を招きます。

GRPO（Group Relative Policy Optimization）のような既存の勾配ベースの手法は、強力な推論性能を実現しますが、バックプロパゲーションによるメモリ消費と計算時間の増大という課題があります。対照的に、直接的なESはバックプロパゲーションを回避できますが、全パラメータ空間における効果的な収束に失敗します。

手法: HYPER-ES

著者らは、更新方向の発見と微分フリー（勾配を用いない）最適化プロセスを分離した、サブスペースベースの進化戦略フレームワークである HYPER-ES を提案します。HYPER-ESは、ESの探索範囲を、降下方向から構築されたコンパクトでタスクに整合したサブスペースに限定します。

この手法は、以下の2つのステージで動作します。

1. スタートアップ: 降下方向の準備

HYPER-ESは、少数の低コストな勾配ベースの更新を用いて、タスクに関連する降下方向（$\Delta\theta$）のプールを構築することから始まります。

• トレーニングデータを $N$ 個のサブセットに分割します。
• 各サブセットに対して、短時間の、数ショットのLoRAベースのGRPO更新（通常は7ステップ）を実行します。
• これらの短時間の実行は、単体で高性能なモデルを生成することを目的とするのではなく、タスク固有のシグナルを含む LoRAデルタ（$\Delta\theta_i$）を安価に抽出することを目的としています。
• これらのデルタは「方向プール」 $P = \{\Delta\theta_i\}$ を形成し、これがその後の探索の基底となります。

2. 方向に対するHyper-ES探索

方向プールが固定された後、HYPER-ESは、モデルの重みそのものではなく、これらの方向の 結合係数（merging coefficients） を最適化するために、共分散行列適応進化戦略（CMA-ES）を採用します。

• 探索変数: 最適化変数 $z$ は、キャッシュされたLoRA方向の組み合わせ方を決定するレイヤーごとの係数で構成されます。具体的には、各レイヤーグループについて以下を制御します：
  • ドロップレート・ロジット（Drop-rate logits）: 干渉を減らすためのDARE（Drop and Add Randomly）スパース化を制御します。
  • 混合重み・ロジット（Mixing-weight logits）: 各方向の寄与強度を決定します。
• 結合プロセス: 探索変数は、DARE–TIES（TIES-Merging）手順を用いて、マージされたモデルへとデコードされます：
  • 方向はドロップレートに基づいてスパース化されます。
  • 符号の衝突はTIES（符号選挙および非連結マージ）によって解決されます。
  • グローバルスケール $\gamma$ が適用されます。
• 最適化: CMA-ESは、検証精度を最大化するように結合係数 $z$ を最適化します。これにより、最適化問題は、数百万または数十億の重みを探索することから、サイズ $L \times 2N$（例：0.5Bモデルに対して960パラメータ）の低次元空間の探索へと変換されます。

主な貢献

1. HYPER-ESフレームワーク: タスクに関連するLoRA更新上の、コンパクトなレイヤーごとの係数探索へとフルパラメータ探索を変換する、新しいESフレームワーク。これは、ESの役割を「方向の発見」から、事前に特定された降下方向の「選択」および「結合」へとシフトさせます。
2. 数ショットによる方向構築: 数ショットのGRPO更新を利用して情報量の多い降下方向を構築することで、高次元のランダム探索を回避しつつ、ESのメモリ軽量かつ並列化可能な性質を維持します。
3. 実証的検証: 3つのLLMバックボーン（Qwen2.5-0.5B, Qwen2.5-1.5B, DeepSeek-R1-Distill-1.5B）および6つの数学的推論ベンチマークにわたる広範な評価により、HYPER-ESがモデルマージのベースラインを一貫して上回り、わずかに、しかし一貫して 単一ステージのGRPOを上回ることを示しています。

結果

本論文は以下の主要な知見を報告しています。

• 性能: HYPER-ESは、算術および難解な数学的推論データセット（例：GSM8K, MATH-500, AMC2023）において、GRPO-LoRAベースラインに対し 最大1% の性能向上を達成しました（例：Qwen2.5-1.5Bでは0.58%の向上）。
• 効率性: 本手法は、標準的なGRPO-LoRAと比較して、10%少ない メモリ消費的な勾配更新を必要とします。
• メモリ: ESステージ中にフルバックプロパゲーションを回避し、並列化された数ショットの方向生成を利用することで、HYPER-ESは単一のGRPO実行と同等のメモリフットプリントを維持しながら、実時間（wall-clock time）を大幅に削減します（0.5Bの実験では並列化により約24%削減）。
• アブレーション解析: CMA-ESステージを除去するか、GRPO由来の方向ではなくランダムな方向を使用した場合には、大幅な性能低下が見られました。これにより、得られた利得が、低次元空間における「意味のある」降下方向の探索に由来することが確認されました。

意義と主張

本論文は、HYPER-ESが高次元空間における直接的なESの根本的な限界、すなわち有用な方向を見つけることができないという問題に対処していると主張しています。勾配ベースの短い実行を利用して「タスクに整合した多様体」を定義することで、微分フリー最適化が最も効果的に機能する領域での動作を可能にします。

著者らは、HYPER-ESをリソース制約のある微調整手法として位置づけており、それは実用的なトレードオフを提供します。すなわち、ESのメモリ効率を維持しながら、勾配ベースの強化学習手法と同等、あるいはそれをわずかに上回る性能を実現します。本研究は、短い勾配ベースの実行が、直接的な学習だけでなく、その後の微分フリー最適化のための有用な低次元サブスペースを定義するという二重の目的を果たし得ることを示唆しています。

なお、本論文はスコープに関して控えめな姿勢を保っており、現在は方向の提供者としてGRPOに焦点を当てていること、また、将来的には他の初期勾配手法（例：SFT, OPD）やオンラインでの動的な方向獲得の探索が可能であることを述べています。