🤖 AI

LEVI: Stronger Search Architectures Can Substitute for Larger LLMs in Evolutionary Search

本論文は、より大きな大規模言語モデルに依存する既存の手法に比べて計算コストを大幅に抑えつつ、システム研究およびプロンプト最適化において最先端の結果を達成するために、改良された解の多様性、インテリジェントな突然変異ルーティング、および効率的なプロキシベンチマークを活用するオープンソースの進化探索フレームワーク「LEVI」を導入するものである。

原著者： Temoor Tanveer

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Temoor Tanveer

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

複雑な料理、例えば完璧なスフレを作るための絶対的な最高レシピを見つけようとしていると想像してください。過去には、研究者たちはこの問題を解決するために、世界で最も有名な超高額なセレブシェフ（「最先端」の大規模言語モデル）を雇い、すべてのバリエーションを味見させ、微細な調整を提案させていました。これは機能しましたが、塩をひとつかみ加えるたびに、セレブシェフにスプーン一杯のスープを味見させるために支払うようなもので、信じられないほど高額でした。

この論文は、LEVIという新しいアプローチを紹介しています。その主張はこうです：「より優れたキッチン管理システムがあれば、すべての工程にセレブシェフは必要ありません。」

LEVI の仕組みは、以下の 3 つの簡単なアイデアに分解されます。

1. 「多様な種苗の庭」（単一の種ではなく）

従来の方法： ほとんどのシステムは、たった一つのアイデア（一つの種レシピ）から始めて、それを改善しようとします。その一つのアイデアが「悪い地域」（局所的な罠）に閉じ込められている場合、システムはそこから抜け出すために多くの資金を浪費し、しばしば強制的な変化を促すために高価なセレブシェフを雇います。

LEVI の方法： LEVI は、最初から非常に多様な種苗を庭全体に蒔くところから始めます。それらの一部はひどいレシピかもしれませんが、互いに「異なる」ものです。

アナロジー： 森を抜ける最良の道を探している状況を想像してください。一つの場所から出発して出口を見つけようとするのではなく、LEVI は即座に 50 人の異なるハイカーを 50 箇所の異なる開けた場所（クリアリング）に降ろします。
メリット： 庭が非常に多様であるため、システムは行き詰まりません。システムは「CVT-MAP-Elites アーカイブ」と呼ばれる地図を維持し、新しいアイデアのそれぞれがユニークな場所に配置されることを保証します。これにより、グループ全体が固まって同じ過ちを繰り返すのを防ぎます。

2. 「賢明なキッチンスタッフ」（小規模 vs 大規模なシェフ）

従来の方法： 変更が必要になるたびに、システムは高価なセレブシェフを呼び出します。それは「砂糖を蜂蜜に交換する」や「塩をひとつかみ加える」といった小さな作業であっても同様です。これは、ミシュラン星付きのシェフに玉ねぎを刻ませるようなものです。

LEVI の方法： LEVI は「役割認識型ルーター」を使用します。これは賢明なキッチンマネージャーのように機能します。

小規模なシェフ（安価なモデル）： 作業の 90% である、材料の微調整、小さなエラーの修正、あるいは微細な調整については、LEVI は高速で安価な地元の料理人（より小さな AI モデル）を使用します。彼らは定型業務に優れています。
セレブシェフ（高価なモデル）： 高価なシェフは、稀にしか呼び出されません。おそらく 10 段階に 1 回程度、「パラダイムシフト」のためにです。これは、マネージャーがセレブシェフにこう尋ねる時です。「私たちが持っているこれらの異なるレシピを見てみてください。私たちがまだ考えついたことのない、全く新しい調理スタイルを考案することはできますか？」
メリット： 大規模なシェフの創造性を、玉ねぎを刻む作業に彼らを支払うことなく手に入れることができます。

3. 「味見サンプル」（代理ベンチマーク）

従来の方法： 新しいレシピが良いかどうかを確認するために、一部のシステムは都市の「すべての顧客」（数千人）に味見をさせます。これは永遠に続き、莫大な費用がかかります。

LEVI の方法： LEVI は、レシピが良くなっているかどうかを知るために全員に尋ねる必要はないと理解しています。必要なのは、都市全体を代表する、慎重に選ばれた少数の味見グループだけです。

アナロジー： 1,000 人にスープが美味しいかどうかを尋ねる代わりに、LEVI は 30 人の「代理」グループを選びます。この特定のグループにとってスープが美味しいなら、それはおそらく全員にとって美味しいでしょう。
メリット： これにより、「味見テスト」（評価）の回数が半分以下に削減され、最高のレシピを見つけながら、莫大な時間と費用を節約できます。

結果：より少ないものでより多くを成し遂げる

この論文は、LEVI をデータセンター向けのコンピュータコードの最適化や、AI の質問応答の改善といった現実世界の課題でテストしました。

コスト： LEVI は、他のシステムと同じ（あるいはそれ以上の）結果を達成しながら、3 倍から 6 倍少ないコストで達成しました。ある特定のケースでは、最高の結果を35 倍少ないコストで達成しました。
速度： より優れた「キッチン管理」を使用するため、LEVI ははるかに早く最良の解決策を見つけました。他のシステムが数百回の試行でまだ苦労している間に、LEVI はしばしば最初の数十回の試行でトップスコアに到達しました。

結論

この論文の主な賭けは、**「より優れた組織が、より大きな脳に勝る」**という点です。多様性を管理し、仕事に適切なツールを使用し、効率的にテストするより賢明なシステムを構築することで、利用可能な最も高価な AI モデルを必要とせずに、難しい問題を解決できます。これは、単にお金をかけることではなく、より賢く働くことについてです。

技術的サマリー：LEVI 進化探索において、より強力な探索アーキテクチャはより大規模な LLM を代替し得る

1. 問題定義

LLM 誘導型進化手法（AlphaEvolve、FunSearch など）は、数学的発見、コード最適化、プロンプトエンジニアリングなどの分野で有効性を示してきた。しかし、これらのフレームワークは現在、すべての突然変異と評価ステップにおいて、高価な最先端大規模言語モデル（LLM）に大きく依存している。この依存関係は参入障壁を高くしており、個別の実行には最大 30 ドルもの費用がかかり、Claude Opus や Gemini Pro などのモデルへの数千回の呼び出しを必要とする。

著者らは、このコストが LLM 誘導型進化の本質的な要件ではなく、非効率的な探索アーキテクチャの産物であると主張する。既存のフレームワークはしばしば解の多様性を維持できず、局所最適解から脱出するために大規模モデルへの依存を強いる。また、すべての突然変異呼び出しを均一に扱い、小規模モデルでも処理可能な局所的な編集に最先端モデルの予算を費やしたり、ロールアウト中心の設定において冗長な評価にリソースを浪費したりしている。

2. 手法：LEVI フレームワーク

LEVI（Harness-First Evolutionary Framework）は、解のデータベース、突然変異のルーティング、評価戦略という 3 つの特定のコスト軸を最適化することで、探索性能をモデル規模から切り離すように設計されている。

2.1. 解のデータベース：ブートストラップ種子付けを備えた CVT-MAP-Elites

LEVI は、標準的なアーカイブをCVT-MAP-Elites（Centroidal Voronoi Tessellation MAP-Elites）アーカイブに置き換える。

多様性の維持: 通常のグリッド MAP-Elites と異なり、CVT-MAP-Elites は、細胞数が指数関数的に増加することなく、高次元の記述子空間に柔軟にスケーリングする。これは、入力側（例：循環複雑度などの AST 特徴）と出力側（例：ランタイムプロファイル）の記述子のタプルに基づいて、候補を行動細胞にマッピングする。
ブートストラップ初期化: 単一の種子から開始するのではなく、LEVI は事前に「シードパス」を実行し、LLM が構造的に多様な解のシーケンスを生成する。これらの種子は、たとえスコアが低くても、アーカイブの記述子範囲を較正（z スコア正規化およびシグモイド変換を介して）し、初期細胞を埋めるために使用される。
行動次元: アーカイブは、異なるアルゴリズム的アイデンティティが異なる細胞を占有することを保証することで多様性を維持し、探索が単一の吸引 Basin に崩壊するのを防ぐ。

2.2. 役割認識型突然変異ルーティング

LEVI は、すべてのステップで単一の大型モデルを使用するのではなく、突然変異の特定の「役割」に基づいて突然変異タスクをモデルに割り当てるルーターを導入する。

微細化ルート（呼び出しの約 90%）: 局所的な編集（定数の微調整、データ構造の入れ替えなど）は、小規模で安価なモデル（例：Qwen3-30B-A3B）にルーティングされる。アーカイブの堅牢な多様性は、小規模モデルに典型的なノイズや冗長性を吸収し、アーカイブのドリフトを防ぐ。
パラダイムシフトルート（呼び出しの約 10%）: 定期的に、または停滞時に、より大型のモデル（例：Gemini Flash 3）がトリガーされる。単一の親を突然変異させるのではなく、この大型モデルは、明確に分離された異なるアーカイブ細胞からの代表者を受け取り、新しいアルゴリズムファミリーに属する候補を提案するよう指示される。これは局所的な微細化ではなく、構造的な書き換えを目的とする。

2.3. プロキシベンチマークの選択

評価がロールアウトに支配される設定（プロンプト最適化など）において、LEVI は完全な検証セットからプロキシベンチマーク（ $D_{proxy}$ ）を構築する。

順位保持: プロキシは、プロキシセット上の候補の順位と完全セット上の順位の相関を最大化するように、貪欲な前方選択によって選択される。
目的関数: 選択は、順位忠実度（候補の順序付けにおける合意）、分離（例の識別力）、および冗長性の最小化を最適化する。これにより、進化に必要な選択シグナルを維持しつつ、進化ループを 1 反復あたりのロールアウト数を大幅に減らして実行できる。

3. 主要な貢献

アーキテクチャ効率: LEVI は、探索アーキテクチャ（多様性維持、役割認識型ルーティング、プロキシ選択）への投資が、より大規模な LLM の使用を代替するか、あるいはそれを超えることを示している。
コスト削減: このフレームワークは、既存の最先端モデルベースラインのコストの何分の一かで、最先端または競争力のある結果を達成する。
オープンソース実装: LEVI はオープンソースフレームワークとしてリリースされ、Harness-First 進化探索のための再現可能なハニスを提供する。

4. 実験結果

著者らは、LEVI を 7 つのシステム研究ベンチマークと 4 つのプロンプト最適化ベンチマークで評価した。

4.1. システム研究ベンチマーク

性能対コスト: 7 つの問題のうち 6 つ（Cloudcast、EPLB、LLM-SQL、Prism、Txn Sched、Spot-M、Spot-S）において、LEVI は GEPA、OpenEvolve、ShinkaEvolve、AdaEvolve などのフレームワークの公表された最先端モデル実行と比較して、3.3〜6.7 倍小さい予算で最良のスコアを達成した。
具体的な成果: LLM-SQL 問題において、LEVI はわずか 0.50 ドルで主要なフレームワークを上回り、35 倍のコスト削減を実現した。
サンプル効率: 同じモデル（Qwen3-30B-A3B）と予算を使用した制御比較において、LEVI はベースラインよりも 15 倍速く（評価回数ベースで）高パフォーマンスに到達し、他者が停滞する中で改善を続けた。

4.2. プロンプト最適化

ロールアウト効率: 4 つのベンチマーク（HotpotQA、IFBench、Hover、PUPA）において、LEVI は GEPA の性能に匹敵するか凌駕しつつ、ロールアウト予算の半分以下（合計 2,191 対 4,985）で済ませた。
プロキシの有効性: プロキシベンチマークの選択は順位シグナルを適切に保持し、進化ループが完全セット評価を減らして収束することを可能にした。

4.3. 除去実験（アブレーションスタディ）

種子付け: ブートストラップ初期化を除去すると、性能が大幅に低下した（例：Spot Scheduling で 5 ポイント低下）。これは初期多様性の必要性を確認するものである。
多様性次元: より豊かな記述子は、複数のアルゴリズムファミリーを必要とする問題（Spot Scheduling）では決定的であったが、単一ファミリーに支配される問題（トランザクションスケジューリング）ではそれほど重要ではなかった。
モデルルーティング: 「パラダイムシフト」ルートは、構造的な飛躍を必要とする問題（EPLB）において決定的であり、大規模モデルを除去すると停滞した。逆に、局所的な微細化が中心のタスク（トランザクションスケジューリング）では、大規模モデルルートは時としてオーバヘッドであった。

5. 意義と主張

本論文は、LLM 誘導型進化探索の高コストは、パラダイムの根本的な限界ではなく、主に解決可能な工学的問題であると主張する。「より大きなモデル」から「より強力な探索アーキテクチャ」へと焦点を移すことで、LEVI は進化発見への参入障壁を下げている。

著者らは、LEVI をより強力な探索アーキテクチャがより大規模な LLM を代替し得るという概念実証として位置づけている。彼らは、このアプローチが安価なモデルと強力なアーキテクチャへの作業移行によってドルコストを削減する一方で、より多くの評価を必要とする可能性があり、評価が安い場合（コード実行など）には有利なトレードオフだが、評価が高い場合（モデル訓練など）にはそうではないと指摘している。この研究は、探索ハニスが十分に堅牢であれば、進化探索が完全に安価なオープンウェイトモデルに依存する将来の方向性を示唆している。