技術的サマリー：DEI – 品質多様性探索における進化推論の多様性

1. 問題定義

進化アルゴリズムは伝統的に、解空間を探索するために突然変異演算子に依存してきた。大規模言語モデル（LLM）は、意味的突然変異やプログラム生成を可能にする効果的な創造的演算子として登場したが、LLM ベースの探索に対する既存の分散アプローチは、スケーリングを認知的な問題ではなく、純粋に計算上の問題として扱う傾向がある。

FunSearch などの現在の手法は、通常、複数のワーカーが同一の LLM モデルを呼び出す均質なアンサンブルを展開する。これらの設定では、多様性は単一の帰納的バイアス内での確率的サンプリングにのみ由来する。その結果、モデルの生成分布における「盲点」は、探索アーカイブにおける永続的なギャップとなる。さらに、デジタル・レッド・クイーン（DRQ）のような既存のフレームワークは対立的な圧力を導入するが、多くの場合、単一ノード・単一モデルの文脈内で動作する。本論文が扱う課題は、同期のボトルネックなしにシステムレベルの異種遅延を管理しつつ、均質な並列処理よりも効果的に品質多様性（QD）探索を推進するために、異種 LLM の固有の帰納的バイアスをどのように活用するかである。

2. 手法

2.1. コアフレームワーク：DEI

著者は、ピアノード間で異種 LLM を突然変異演算子として割り当てる分散型 QD 探索フレームワークである**DEI（Diversity in Evolutionary Inference）**を提案する。均質な並列探索とは異なり、DEI は各 LLM の固有のトレーニングデータとアライメントを、行動的新規性の補完的な源として扱う。

このシステムは、LLM を MAP-Elites（代表的な QD アルゴリズム）に統合する**デジタル・レッド・クイーン（DRQ）**フレームワークを拡張する。DRQ において、「レッド・クイーン」の圧力は、ラウンドチャンピオン（最高適合度の解）を次のラウンドの対戦相手として使用することで生成され、共進化的な軍拡競争を生み出す。DEI はこれを以下のように適応させる：

1. 異種割り当て：分散グラフ内の各ノードに、異なる LLM（例：GPT-5.4-mini、Claude Sonnet 4.6 など）が割り当てられる。
2. クロスモデル対立的圧力：ノードはローカルチャンピオンをピアと共有する。これらのチャンピオンは他のノードの対戦相手として機能し、特定のモデルが内部的に生成することのない戦略を導入する。
3. アーカイブシード：受け取ったチャンピオンは、以前空だった行動セルを占有する場合、ローカルアーカイブにシードされ、ニッチの交配を促進する。

2.2. システムアーキテクチャと非同期通信

重要なシステム貢献は、異種遅延の処理にある。ノードは、ローカルのオープンウェイトモデル（例：Apple Silicon 上の Qwen-35B）から最先端のクラウドモデルまで多岐にわたり、呼び出し遅延が 1 桁以上異なる可能性がある。

最も遅いノードの速度に合わせてアンサンブル全体をスロットリングしないよう、DEI は完全非同期の集合通信レイヤーを採用する：

• 非ブロッキングゴシップ：ノードは完了次第、即座にラウンドチャンピオンをピアに公開する。
• 独立した進行：ピアは受け取ったチャンピオンを各自のペースで消費する。
• 同期バリアなし：グローバルなバリアは存在しない。ノードは独立して進行し、受信バッファを空にすることでローカル対戦相手プールとアーカイブを更新する。

2.3. 実験設定

このフレームワークは、Redcode アセンブリで書かれた「ウォリアー」プログラムがシミュレートされたメモリ配列（MARS）で戦う競争プログラミングベンチマークであるCore Warで評価された。

• 行動特性（BC）：探索空間は、時間・空間積（コード長 $\times$ 寿命）とメモリカバレッジ（コアに触れた割合）を使用して離散化される。
• 適合度：人間が作成したウォリアーやラウンドチャンピオンを含む対戦相手のプールに対して評価される。
• 条件：
  • ソロ：単一ノード DRQ ベースライン。
  • 均質アンサンブル：4 つのノードが同一の LLM を実行。
  • 多様アンサンブル：4 つのノードが異なる LLM（GPT-5.4-mini、Claude Sonnet 4.6、GPT-5.2、Claude Haiku 4.5）を実行。
• 制御：すべての条件は、LLM 呼び出しの総数を等しく厳密に予算化されている（例：4 ノード $\times$ 62 反復 $\approx$ 1 ノード $\times$ 250 反復）。

3. 主要な貢献

1. DEI フレームワーク：異種 LLM アンサンブルを明示的に突然変異演算子として利用する分散型 QD 探索システム。行動カバレッジを最大化するために、異なるノードに異なるモデルを割り当てる。
2. 非同期ゴシップ統合：同期バリアなしで異種ハードウェアの参加を可能にする通信プロトコル。同期アプローチよりも高いスループットを達成する。
3. 多様性の経験的隔離：総計算予算を一定に保つことで、著者は性能向上が追加計算ではなくモデル多様性に起因することを実証する。
4. クロスモデル対立的圧力：異なるモデルファミリーからのチャンピオンを対戦相手として導入し、モデル内自己対戦を超えた堅牢性を促進する。

4. 結果

Core War ドメインで評価したところ、異種アンサンブルは単一ノードベースラインおよび均質アンサンブルの両方を大幅に上回った：

• QD スコア：多様アンサンブルは、単一ノードベースラインと比較して、マージドアーカイブの QD スコアが**+124% 高い**（20.46 対 45.90）を達成した。
• カバレッジ：多様アンサンブルは、ベースラインよりも行動空間の**+28% 多いセル**（63.0% 対 80.6%）をカバレッジした。
• 一般性：テストされた 4 つのモデルファミリー全体において、多様コラボレーションは均質コラボレーションやソロ運用よりも高い一般性（保持された人間ウォリアーのセットに対する性能）を達成した。
• ニッチ新規性：以前空だったセルに到達した受け取ったチャンピオンの割合を表す指標 $\eta$ は、多様アンサンブルで有意に高く、ピアが個々のモデルでは到達できないギャップを埋めていることを確認した。
• 均質アンサンブルとの比較：多様アンサンブルは、QD スコア、カバレッジ、一般性のすべてにおいて、同等予算の均質アンサンブルを上回った。特に、均質アンサンブルは時として特定のニッチに集中することでセルごとの適合度を高く達成することがあったが、多様アンサンブルは解空間の最も広範なカバレッジを提供した。

5. 意義と主張

本論文は、分散型 LLM ベースの QD 探索における利益の主要な駆動力が、単なる並列性ではなくモデル多様性であることを示す最初の経験的証拠を提供すると主張する。

• 認知的スケーリング：著者は、LLM 探索のスケーリングを「並列認知」として見るべきであると論じる。異なるノードに異なる帰納的バイアスを割り当てることで、システムは単一のモデルが単独で到達できるよりも広い行動空間をカバレッジする。
• 堅牢性：クロスモデル対立的圧力は、単一モデルのバイアスが探索を支配する際に発生しうる停滞を防ぎ、より堅牢な進化的プロセスを創出する。
• 民主化：非同期アーキテクチャにより、限られたリソースを持つ研究者（例：ローカルオープンウェイトモデルを実行）は、遅延の違いによるボトルネックを受けることなく、最先端モデルと並行して協調的探索に貢献できる。

著者は、理論的直感が他のドメインへの適用性を示唆しているものの、経験的結果は厳密に Core War ドメインに限定されていると指摘し、発見の範囲について謙虚さを保っている。将来の課題として、適応的トポロジー、ノードごとの異種行動軸、マルチエージェント協調タスクへの拡張を特定している。