Black-Box Optimization of Mixed Binary-Continuous Variables: Challenges and Opportunities in Evolutionary Model Merging

技術的概要：進化モデルマージにおける混合二値・連続変数のブラックボックス最適化

問題定義
本論文は、データフロー空間（DFS） における進化モデルマージに固有の最適化課題に取り組む。モデルマージは、ゼロから大規模言語モデル（LLM）を訓練するコスト効果の高い代替手段を提供するが、進化アルゴリズムを用いた最適なマージ構成の自動探索は未だ十分に理解されていない。著者らは、DFS マージが以下の複雑な探索空間を含むことを特定している：

1. 混合二値・連続変数：本問題は、離散的な決定（どの層を含めるか、二値ベクトル $z$ で表される）と連続パラメータ（選択された層のスケーリング重み、ベクトル $x$ で表される）を同時に最適化する必要がある。
2. 高次元性：現代の LLM は複数のモデルにわたって数百の層を含むため、数千次元の探索空間が生まれる。
3. 条件付き依存関係（タイプ I 相互作用）：連続変数の有効次元が二値構成に完全に依存するという構造的な重大課題。ある層が選択されない場合（$z_{i,j}=0$）、対応するスケーリング重み（$x_{i,j}$）は目的関数に対して無関係となる。

本論文は、CMA-ES などの標準的なブラックボックス最適化手法が、主に連続変数向けに設計されており、これらの混合変数相互作用と条件付き依存関係を考慮していないため、本問題には不適切であると主張している。

手法と定式化
著者らは、DFS マージ問題を、混合二値・連続変数を有するブラックボックス最適化問題として形式的に特徴づける。目的は、ターゲットタスクにおけるマージモデルのパフォーマンスを表す関数 $f(x, z)$ を最小化することであり、以下の制約条件の下で行われる：

• $z \in \{0, 1\}^m$（二値層選択）
• $x \in \mathbb{R}^n$（連続スケーリング重み）

この定式化は、アクティブな連続次元が二値ベクトルに条件付けられるタイプ I 相互作用（Akimoto ら [11] によって定義されたもの）を明示的に強調している。本論文は、2 つのアプローチを対比している：

• 非構造化 DFS：選択状態に関わらずすべてのパラメータ群を最適化する汎用的なブラックボックス探索として問題を扱い、無関係な次元に対する評価を浪費する。
• 構造化 DFS：まずアクティブな層を選択（$z$ の最適化）し、その後、選択された層のスケーリング重み（$x|z$ の最適化）のみを最適化することで、条件付き依存関係を尊重する。

主要な貢献

1. 構造化された調査：本論文は、既存の進化モデルマージ手法を、パラメータ空間（PS）マージ、データフロー空間（DFS）マージ、およびハイブリッドアプローチの 3 つの明確なグループに分類している。
2. 形式的な特徴付け：標準的なソルバーを阻害する条件付き依存関係を明示的に特定し、DFS マージ問題を混合二値・連続ブラックボックス最適化問題として初めて形式的に定義している。
3. コミュニティの架け橋：モデルマージコミュニティを、より広範な進化計算およびブラックボックス最適化の文献と結びつけており、特に同様の相互作用課題に対処するCatCMAやICatCMAなどのアルゴリズムのモデルマージ文脈における関連性を浮き彫りにしている。

実験結果
著者らは、15 問のベンチマークにおいて、2 つの事前学習済みモデル（google/flan-t5-small および declare-lab/flan-alpaca-large）を用いて予備的な実証検証を行った。10 反復にわたり、非構造化 DFS アプローチと構造化 DFS アプローチを比較した：

• 精度：構造化 DFSアプローチは26.7%の精度を達成し、ベースライン（モデル A 単体）と一致したが、非構造化 DFSアプローチは20.0%まで低下した。これは非構造化手法に対して6.7%の改善を表す。
• 探索効率：構造化アプローチは有効探索空間を 51.4% 削減した。非構造化手法はすべての 192 のパラメータ群を毎反復変更していたのに対し、構造化手法は平均して 93.3 層に動的に焦点を当てた。
• 動的次元性：実験により、アクティブな層の数が反復を通じて 53 から 125 の間で動的に変化することが確認され、有効な連続次元が二値構成に基づいて変化するという仮説が裏付けられた。

意義と主張
本論文は、特定された最適化課題、特に条件付き依存関係を伴う混合二値・連続構造は、モデルマージに固有のものではなく、ブラックボックス設定において組み合わせ変数と連続変数の同時最適化を必要とするあらゆる分野（例：ニューラルアーキテクチャ探索、創薬）で生じると主張している。

著者らは、自らの研究を以下のための基礎的なステップとして位置づけている：

• 現在の進化モデルマージアプローチ（これらの構造的性質を無視することが多い）が非効率的または最適でない理由を説明する。
• 高度な混合変数オプティマイザ（ウォームスタートやハイパー表現技法を備えた ICatCMA など）をモデルマージに応用することを促す。
• 層選択への CatCMA の適応、混合変数 DFS 探索のための理論的収束保証の確立、およびサロゲート支援探索を用いた大規模モデル（例：7B パラメータ）へのこれらの手法のスケーリングなど、将来の研究方向を提案する。

著者らは現在の知見について謙虚であり、本研究は予備的なものであり、小規模なモデル（76M〜247M パラメータ）を使用し、完全な進化アルゴリズムではなくランダムサンプリングに依存していることを認めている。彼らは、結果を理論的定式化の実証的検証として位置づけ、大規模な将来の研究を動機づけている。