Beyond Numerical Features: CNN-Driven Algorithm Selection via Contour Plots for Continuous Black-Box Optimization

技術的サマリー：コンタープロットによる CNN 駆動のアルゴリズム選択

問題定義
連続ブラックボックス最適化（BBO）は、勾配情報が利用できず、関数評価のみに依存して目的関数の最小化または最大化を行うことを含む。微分フリーソルバ（CMA-ES 変種など）は良好に機能するが、「ノー・フリー・ランチ」定理は、すべての問題インスタンスにおいて単一のアルゴリズムが他を普遍的に凌駕しないことを示している。したがって、自動化されたアルゴリズム選択（AAS）は、特定の問題インスタンスに対して、固定されたポートフォリオから最も適切なソルバを選択することを目的としている。

既存の連続 BBO における AAS 手法は、主にプローブされた評価から数値的特徴ベクトル（曲率、分離性など）を構築する「探査的景観分析（ELA）」、または事前学習済みトランスフォーマーから学習された埋め込みを使用する「Deep-ELA」に依存している。著者らは、これらの数値記述子が可視化された景観に見られる空間構造を捉え損ねる可能性があると主張している。CNN ベースの AAS は、直接インスタンス符号化を用いた離散ドメインで検討されてきたが、プローブを通じて表現を構築しなければならない連続 BBO への応用は、未だ十分に検討されていない。

手法
本論文は、プローブされた景観を数値ベクトルではなく画像として扱う、表現駆動型の AAS 手法を提案する。

1. インスタンス表現（コンタープロット）:

   • 単一目的最適化（SOO）: 各問題インスタンスは、固定された$300 \times 300$グリッド上で目的関数を評価することで、2 次元グレースケールコンターマップとしてレンダリングされる。次元$d > 2$の場合、BBOB の対称ドメインを活用し、2 つの座標をランダムに選択して部分空間を spanning し、他の座標をゼロに固定することで 2 次元スライスを作成する。
   • 多目的最適化（MOO）: 二目的問題（$d=2, m=2$）に対しては、サブコンターサンプリング戦略が用いられる。各目的関数に対してドメイン内で 5 つの軸平行長方形ウィンドウをサンプリングし、単一のグローバルレンダリングへの依存を軽減するために複数のビューを生成する。
   • 入力バリエーション: 入力忠実度を検討するため、プロットは解像度$r \in \{64, 128, 300\}$にリサイズされる。

2. CNN アーキテクチャ:
   ポートフォリオ内のアルゴリズムの相対的性能（SOO については期待実行時間、MOO については相対ハイパボリューム）を予測するために、2 つのモデル変種が提案される。

   • 結合モデル: 5 つのインスタンス固有のビュー（またはウィンドウサンプル）をチャネル次元に沿ってスタックし、CNN エンコーダに直接入力する。
   • 分離モデル: 各ビューを重み共有エンコーダで個別に処理し、生成された特徴ベクトルを連結した後、回帰ヘッドに渡す。
   • SOO アーキテクチャ: 3 層の CNN エンコーダ。
   • MOO アーキテクチャ: 高い表現要件に応えるため、ResNet-18 エンコーダを使用。

3. 選択メカニズム:
   モデルはポートフォリオ内の各アルゴリズムに対して性能指標（例：相対 ERT）を予測する。予測値が最良（最小 ERT または最大 HV）のソルバが選択される。

主な貢献

1. プローブベースの画像表現: 著者らは、プローブされた景観のコンターマップレンダリングをインスタンス表現として使用する、連続 BBO 向けの新たな AAS 定式化を導入し、手作りの ELA 特徴の必要性を排除した。
2. 実証的評価: 標準的な BBOB 2009 単一目的ベンチマークおよび Deep-ELA プロトコルに従った二目的設定において包括的な分析を提供した。ビュー集約（結合対分離）および入力解像度の影響を分析した。
3. 性能ベンチマーク: 輪郭に基づく選択を、確立された特徴ベースのベースライン（MLP/RF を用いた ELA および Deep-ELA 変種）と比較した。

実験結果

• 単一目的最適化（SOO）:
  • BBOB 2009 ベンチマーク（96 設定）において、$300 \times 300$入力解像度の結合 CNNは、最良単一ソルバ（SBS）を大幅に凌駕し、平均相対 ERT を30.37（SBS）から5.60に削減した。
  • CNN 手法は、最強の特徴ベースベースライン（ELA-MLP: 5.72; Deep-ELA Medium-kNN: 6.04）と競争力があった。
  • 性能は一般的に入力解像度が高いほど（$r=300$）向上したが、これによりトレーニングコストが増大した。
  • 本手法は関数群 F1–F19 で顕著な改善を示したが、最も困難なグループ（F20–F24）における性能は、特徴ベース手法と比較してばらつきがあった。
• 多目的最適化（MOO）:
  • Deep-ELA 評価設定下において、CNN ベースのセレクタは Deep-ELA ベースラインと競争力があった。
  • 分離 CNNは、最高の平均相対 HV スコア（0.971–0.974）を達成し、Deep-ELA 変種（0.904）を上回った。
  • 本手法は ZDT インスタンセで特に効果的（ほぼ完璧なスコアを達成）であったが、DTLZ および MMF に関する結果は強力であったものの、最良の Deep-ELA 設定をわずかに下回った。

意義と主張
本論文は、単純なビジョンモデルが、手作りの ELA 特徴に依存することなく、アルゴリズム選択のためにプローブされた景観の空間構造を利用できると主張している。結果は、コンタープロット可視化が連続 BBO における効果的な AAS を駆動するのに十分なシグナルを含んでおり、数値記述子に対する補完的な表現を提供することを示唆している。

限界と範囲
著者らは明示的にいくつかの限界を指摘している。

• プローブ予算: 現在の手法は、設定あたり 5 つの$300 \times 300$マップという相当なプローブ予算を必要とするため、オフライン分析には適しているが、厳密な低予算のオンライン展開には適していない。
• 高次元表現: $d > 2$の場合、2 次元スライス表現は景観の一部のビューに過ぎず、これが最も困難な関数群における性能低下に寄与している可能性がある。
• 固定プロトコル: 評価は特定のポートフォリオおよびプロトコル（MOO におけるウィンドウサンプリングを含む）に紐付いており、MOO 研究は$d=2, m=2$に限定されている。

本作業は、画像ベース表現の実現可能性を実証する概念実証として提示されており、今後の方向性としては、コスト感受性プローブ、マルチビュー設計、およびハイブリッド視覚数値特徴が示されている。