技術的サマリー：高次元測度空間における品質多様性最適化のための割引モデル探索

問題定義

品質多様性（QD）最適化は、ユーザーが指定したベクトル値の測度関数 $m$ によって定義される多様な出力範囲を網羅しつつ、目的関数 $f$ を最大化する解の集合を発見することを目指します。$m$ の像は測度空間 $S$ を構成します。現代の QD アルゴリズム、特に共分散行列適応 MAP-Annealing（CMA-MAE）のような最先端手法における重大な限界は、高次元の測度空間への効果的なスケーリングが不可能であることです。

高次元空間において、アルゴリズムは歪み（distortion）に苦しみます。これは、解空間の広大な領域が測度空間の小さな領域に写像される現象です。CMA-MAE は、「アーカイブの改善」として定義される $\Delta(\theta) = f(\theta) - f_A(m(\theta))$ を最大化することで QD 目的に対処します。ここで、$f_A$ は割引関数です。CMA-MAE は $f_A$ を離散的なヒストグラム（セルの分割）として表現します。高次元の設定では、歪みにより多くの異なる解が同じヒストグラムセルに属し、同一の割引値が割り当てられます。その結果、アルゴリズムは類似した測度を持つ解を区別できず、不正確な改善シグナルと探索の停滞を引き起こします。さらに、複雑なドメイン（例えば、「ハイカーがどこにいるか」を指定するなど）に対して低次元の測度関数を設計することは、往々にして退屈で直感的ではありません。

手法：割引モデル探索（DMS）

これらの限界に対処するため、著者は割引モデル探索（DMS）を提案します。離散的なヒストグラムを使用する代わりに、DMS はニューラルネットワークを用いて割引関数 $f_A$ の滑らかで連続的な表現を学習します。

中核コンポーネント

1. 割引モデル（$\hat{f}_A$）：パラメータ $\psi$ によってパラメータ化されたニューラルネットワークであり、測度値 $s = m(\theta)$ を入力として受け取り、スカラーの割引値を出力します。アーキテクチャは柔軟です：低次元のベクトル測度には多層パーセプトロン（MLP）が使用され、画像などの高次元データには畳み込みネットワークやトランスフォーマーが適しています。
2. アーカイブとエミッター：DMS は、発見された最良の解を格納する MAP-Elites スタイルのアーカイブを維持します。ガウス分布から解をサンプリングする CMA-ES ベースのエミッターを利用します。CMA-MAE と異なり、アーカイブは離散的な割引値を格納するのではなく、改善値 $\Delta_i = f(\theta_i) - \hat{f}_A(m(\theta_i))$ を計算するために割引モデルをクエリします。
3. 割引モデルの学習：モデルは、CMA-MAE で使用される閾値更新ルールを近似するように学習されます。学習データセット $D_A$ は 2 つのソースで構成されます：
   • エミッターサンプル：各サンプリングされた解 $\theta$ に対して、ターゲット割引値 $t_A$ は、その解の目的 $f(\theta)$ が現在のモデルの予測 $\hat{f}_A(s)$ を超えるかどうかに基づいて更新されます。$f(\theta) > \hat{f}_A(s)$ の場合、ターゲットは目的関数と現在の割引の線形結合となり、アーカイブ学習率 $\alpha$ によって制御されます。
   • 空の点：モデルが測度空間の未探索領域に任意の高い値を割り当てるのを防ぐため、アルゴリズムは占有されていないアーカイブセルの中心をサンプリングし、それらに $f_{min}$（最小目的値）をターゲット値として割り当てます。これにより、モデルは未探索領域で「抑え込まれ」、エミッターが新しい領域を探索するように誘導されます。

理論的洞察

離散的なヒストグラムを連続関数に置き換えることで、DMS は、高次元空間において類似した測度に写像される解であっても、それらに固有の割引値を割り当てることができます。これにより、アルゴリズムは改善シグナルの勾配を維持でき、ヒストグラムベースの手法が失敗するはずの長期的な停滞を防ぎ、探索を継続可能にします。

主要な貢献

1. 割引モデル探索（DMS）：歪んだ高次元の測度空間における探索を誘導する、滑らかで連続的な割引モデルを利用する新しい QD アルゴリズム。
2. 測度のデータセットを用いた品質多様性（QDDM）：著者は、ユーザーが手動で測度関数を設計するのではなく、データセット（例えば画像のコレクション）を通じて望ましい測度を指定する新しい設定を導入しました。これにより、データセットの高次元空間（例えば画像の空間）が測度空間として扱われます。
3. 新しいドメイン：2 つの QDDM ドメインが提案され、評価されました：
   • 三角形配置（TA）：MNIST または Fashion MNIST の画像に一致するように三角形を配置するタスク。
   • 潜在空間照明（LSI）（ハイカー）：StyleGAN3 を使用して多様な風景の中を歩くハイカーの顔画像を生成するタスク。ここで測度空間は風景画像の空間です。
4. 実証的検証：標準的なベンチマークおよび新しい QDDM ドメイン全体において、DMS が CMA-MAE、DDS、MAP-Elites 変種を上回ることを示す広範なベンチマーク。

実験結果

著者は、DMS を 9 つの標準ベンチマーク（線形射影や腕のレパートリを含む）および 3 つの QDDM ドメインで評価しました。

• ベンチマークドメイン：DMS は、ほとんどの高次元設定（10 次元、20 次元、50 次元の LP ベンチマークなど）において、QD スコア（アーカイブ内の目的値の合計）とカバレッジ（埋められたアーカイブセルの割合）の両方で、すべてのベースラインを大幅に上回りました。特に、10 次元 LP（球）ベンチマークでは、CMA-MAE のカバレッジは 6.95% に低下しましたが、DMS は 89.21% を達成しました。
• QDDM ドメイン：
  • TA（F-MNIST）では、DMS は両方の指標においてすべてのベースラインを大幅に上回りました。
  • TA（MNIST）では、DMS はカバレッジにおいて CMA-MAE と同等でしたが、QD スコアにおいて MAP-Elites 変種を大幅に上回りました。著者は、ここで DMS が QD スコアにおいて CMA-MAE を大幅に上回らなかったと指摘し、ニューラルネットワーク近似によって導入されるノイズが、歪みが少なく高精度が要求されるタスクにおいて微細な目的最適化を妨げている可能性を推測しています。
  • LSI（ハイカー）では、DMS は CMA-MAE を大幅に上回り、QD スコアは 14.61 に対して 214.91、カバレッジは 3.77%（377 枚のユニークなハイカー画像）を達成しました。著者は、MAP-Elites 変種は高いカバレッジを達成しましたが、生成器のトレーニング分布外を生成したため、大きな負の QD スコアとなったと指摘しています。
• 計算コスト：割引モデルの学習に伴うため、DMS は特に低次元ベンチマークにおいて CMA-MAE よりも高い計算コストを伴います。ただし、画像生成がボトルネックとなる QDDM ドメインでは、このオーバーヘッドは目立ちません。

意義と主張

本論文は、DMS が 2 つの主要な利点を提供すると主張しています：

1. 性能の向上：DMS は、高次元の測度空間を悩ませる歪みの効果を克服することで、現在の QD 応用における性能を向上させ、最先端のブラックボックスアルゴリズムを上回ります。
2. アクセシビリティと新しい応用：QDDM 設定を導入することで、DMS は QD をよりアクセスしやすいものにします。手動による測度関数の設計の必要性を軽減し、ユーザーは単にデータセットを提供するだけで多様性の目標を指定できます。これにより、低次元ベクトルで表現することが困難な複雑で高次元の測度（視覚的スタイルや意味的な位置など）の指定が可能になります。

著者は、機械学習におけるデータセットの普遍性を踏まえ、問題を QDDM として定式化し、DMS で解決することが有望な方向であると結論付けています。また、モデルの学習に伴う計算オーバーヘッドや、近似ノイズが微細な最適化に影響を与える可能性といった限界を認め、より高度なモデルアーキテクチャや代替の学習ターゲットに関する将来の作業を提案しています。