WASHH: An Anchor-Aware Whale-Guided Selection Hyper-Heuristic for Continuous Optimization and SVC Configuration

技術概要：WASHH – アンカー認識型クジラ誘導選択ハイパーヒューリスティック

問題定義
本論文は、アルゴリズム設定、ハイパーパラメータ最適化、シミュレーションベース設計において一般的な、厳格な評価予算下における連続ブラックボックス最適化の課題に取り組む。これらの設定では、評価前に探索ランドスケープが不明であることが多く、ある段階で有効な探索行動が別の段階では無効となる可能性がある。単一のメタヒューリスティック（例えば、クジラ最適化アルゴリズムや粒子群最適化）に依存することは信頼性が低く、異なる問題段階では、利用、記憶、多様性、局所 refinement に対する異なるバランスが必要となるからである。さらに、学習支援アルゴリズム設計（LEAD）の設定では、オフライン訓練データが限られている可能性があり、重い学習コンポーネントで予算を消費することなくオンライン観測に基づいて適応するオプティマイザが必要となる。

手法：WASHH
著者らは、WASHH（クジラ誘導適応選択ハイパーヒューリスティック）を提案する。これは、相互排他的なオプティマイザとしてではなく、単一の適応コントローラ内で選択可能な行動として、さまざまな探索メカニズムを扱うフレームワークである。

1. オペレータポートフォリオ：WASHH の核心は、探索行動の異種ポートフォリオである。

   • WOA 誘導移動：利用のための incumbent 中心の囲み探索と螺旋探索を提供する。
   • PSO 型記憶：個人およびグローバルベスト情報を再利用する。
   • GWO 型リーダー平均化：上位 3 個体の平均を用いて更新方向を安定化させる。
   • DE 型変異：集団の多様性のために差分変異を導入する。
   • 局所座標探索：局所 refinement を実行する。
   • アンカー誘導 refinement：ボックス中心、デフォルトハイパーパラメータ、または歴史的に有効な設定などの低コスト参照設定（アンカー）を利用する新規コンポーネント。

2. 適応選択コントローラ：オンライン報酬コントローラが、これらの行動間で評価予算を割り当てる。観測された改善に基づいて正規化された報酬スコアから導出されたスコアに基づいてオペレータをサンプリングする。スコアは、いかなる行動も永続的に破棄されないよう、小さな探索フロアで指数平滑化される。

3. アンカー誘導 refinement：このメカニズムは、ブラックボックス評価を迂回することなく探索を誘導するために、参照設定の集合（$A$）を使用する。提案される解は $x' = a + \gamma(x^* - a) + \epsilon$ の形式に従う。ここで、$a$ はアンカー、$x^*$ は現在のグローバル incumbent、$\epsilon$ は局所摂動である。重要なのは、アンカーから導出されたものを含むすべての提案解が、元のブラックボックス目的関数によって評価されることである。予算の終了間近では、アルゴリズムは決定論的アンカー近傍および座標探索のために評価の一部を予約する。

主な貢献

• アルゴリズム設計：WOA 誘導利用とオンライン行動選択およびアンカーベース refinement を統合する適応選択ハイパーヒューリスティックの導入。
• ベンチマーキング：10 個の 30 次元ベンチマーク関数（単峰、多峰、欺瞞的、および不良条件のランドスケープを網羅）に対する WOA、GWO、PSO、DE、LWOA（WOA の変種）、および RandomHH との再現可能な比較。
• 応用例研究：固定された 300 回評価の予算下で乳がん診断のためのサポートベクター分類器（SVC）ハイパーパラメータを設定する WASHH の実証。

実験結果

• ベンチマーク性能：12,000 回評価と 10 回の独立実行を有する 10 個の 30 次元関数において、WASHH は平均順位 1.10 を達成した。それは 10 個の関数すべてにおいて最善、または最善と並んだ。
  • Sphere、Bent Cigar、Zakharov、Rosenbrock、Ackley、Schwefel、Levy、Michalewicz の 8 つの関数において、ベース WOA を厳密に改善した。
  • Rastrigin と Griewank では、数値的最適解（平均ゼロ）で WOA と同率であった。
  • 複雑なランドスケープ（例えば、Zakharov の平均目的関数値を $3.73 \times 10^2$ から $0.00$ に削減）において顕著な改善が観測された。
• アブレーション研究：アンカー refinementを除去すると、最も顕著な性能低下が生じた（平均順位が 2.10 から 3.50 に上昇し、最善/同率数が 10 から 3 に減少）。これは、決定論的ベンチマークにおける性能の支配的な寄与者であることを示している。適応選択を除去すると影響は较小であったが、メモリベースの行動を選択することがデフォルトの WOA パスよりも優れていた Michalewicz などの関数において性能が低下した。
• SVC 設定：乳がん診断タスクにおいて、WASHH は他のすべてのオプティマイザ（例：WOA: 0.077961、PSO: 0.076361）と比較して、最低の平均検証対数損失（0.076273）を達成し、10 個のシード全体で安定性を示した。

意義と主張
本論文は、WASHH が LEAD システムに対する実用的で軽量な方向性を表すと主張する。その意義は以下の点にある。

1. 重厚な学習なしの適応性：複雑なサロゲートモデルの訓練コストを回避し、オンライン報酬に基づいて既存の探索行動間で試行を再割り当てることで適応性を達成する。
2. 事前知識の活用：「アンカー認識」コンポーネントは、デフォルト設定などの低コスト参照点を効果的に活用して探索の集中を誘導しつつ、ブラックボックス評価ループの完全性を維持する。
3. 頑健性：複数の相補的バイアス（利用、記憶、変異、refinement）を組み合わせることで、WASHH は単一の固定更新ルールにコミットすることの落とし穴を回避し、単一手法ベースラインよりも多様なランドスケープタイプに対してより頑健である。

著者らは、現在の評価は制御されたもの（決定論的ベンチマークと特定の HPO ケース）であるが、結果は事前設定が利用可能だがタスク固有の最適化を必要とする場合に、アンカー認識型選択ハイパーヒューリスティックが viable な戦略であることを示唆すると結論づけている。今後の研究として、ノイズのある、制約付き、および回転されたランドスケープにおける手法の評価が提案されている。