SQUEEZE EVOLVE: 検証器なし進化のための統一マルチモデルオーケストレーション

技術サマリー（日本語）

本論文は、大規模言語モデル（LLM）の推論コストを削減しつつ、検証器（Verifier）なしでの進化推論（Verifier-Free Evolution）の性能を最大化する新しいフレームワーク**「SQUEEZE EVOLVE」**を提案しています。

1. 背景と課題 (Problem)

近年、テストタイムスケール（推論時の計算資源投入）によるモデル性能向上が注目されていますが、特に「検証器なしの自己進化」アプローチには以下の 2 つの重大なボトルネックが存在します。

1. 多様性の崩壊（Diversity Collapse）: 外部の検証器がない場合、モデルは自身の出力を反復的に改善しようとしますが、容易に狭い解のモード（ナローモード）に収束してしまいます。これにより、解の多様性が失われ、最終的な性能の上限（Pass@K）が低下します。
2. 計算コストの非効率性: 進化のすべての段階で高コストな最先端モデル（Frontier Model）を使用すると、API 利用料が膨大になり、経済的に持続不可能になります。一方で、安価なモデルのみを使用すると、初期化や複雑な再結合（Recombination）の段階で性能が不足します。

既存の手法は単一のモデルを使用するか、検証器に依存するため、コストと性能のトレードオフを最適化できていません。

2. 提案手法：SQUEEZE EVOLVE (Methodology)

SQUEEZE EVOLVE は、**「限界効用が最も高い段階にモデルの能力を配分する」**という原則に基づいた、統一されたマルチモデルオーケストレーションフレームワークです。

核心的な仕組み

• 統一進化フレームワーク: 既存のテストタイムスケール手法（多数決、自己改善、再帰的自己集約など）を、選択（Selection）と再結合（Recombination）からなる単一の進化オペレータとして抽象化します。
• コンフィデンスに基づくルーティング（Confidence-Based Routing）:
  • 進化の各ループで、候補群（Group）の「難易度」を推定します。
  • 指標: トークンのログ確率（Group Confidence: GC）や、グループ内の回答の多様性（Diversity）を「適応度信号（Fitness Signal）」として利用します。これらは外部検証器を必要とせず、モデルが推論中に生成する情報から得られるためコストゼロです。
  • ルーティング戦略:
    • 高コストモデル（Model 2）: 初期化（Ancestor function）や、コンフィデンスが低く（難易度が高く）、多様性が失われやすい「困難な」候補群の再結合に使用します。
    • 低コストモデル（Model 1）: コンフィデンスが高く（容易な）候補群の再結合や、多様性が保たれている場合の集約に使用します。
    • 軽量集約（Lite）: 完全に一致した回答がある場合などは、LLM を使わず多数決などで処理します。
• システム実装の最適化:
  • 遅延整合型サービング: 高コストモデルと低コストモデルの GPU プールを、ループごとの処理時間がほぼ同じになるように調整し、ボトルネックを防止します。
  • カスタム・コンフィデンスエンジン: トークンレベルのログ確率全体を転送せず、GPU 上で直接スコアを計算してスカラー値のみを返す専用パスを実装し、スコアリング遅延を 4〜10 倍削減しました。

3. 主な貢献 (Key Contributions)

1. 統一フレームワークの確立: 多様なテストタイムスケール手法を単一の進化フレームワークとして再定義し、マルチモデルオーケストレーションの設計軸を明らかにしました。
2. 検証器なしでの多様性維持: 異なるモデル（異なる事前分布や失敗モードを持つ）を組み合わせることで、単一モデル進化で見られる多様性の崩壊を防ぎ、性能の上限を維持することを示しました。
3. 信頼性スコアリングの活用: 外部検証器なしでも、モデル自身のコンフィデンス信号が候補の品質を予測する有効な指標となり、コスト効率の良いルーティングが可能であることを実証しました。
4. システムとアルゴリズムの共設計: ルーティングアルゴリズムとサービングシステムを密接に連携させることで、オーケストレーションのオーバーヘッドを最小化（2.4〜4.3%）し、スループットを最大化しました。

4. 評価結果 (Results)

SQUEEZE EVOLVE は、数学（AIME 2025, HMMT 2025, GPQA-Diamond）、コーディング（LiveCodeBench V6）、視覚（MMMU-Pro, BabyVision）、視覚推論（ARC-AGI-V2）、科学的発見（Circle Packing）など、8 つのベンチマークで評価されました。

• コスト削減: API コストを1.3 倍〜3.3 倍削減しながら、単一モデル（高コストモデルのみ）の精度を維持、あるいは上回りました。
• スループット向上: 固定予算（GPU 数）条件下でのサービススループットを最大 10 倍向上させました。
• ARC-AGI-V2 での SOTA: 検証器なしで 97.5% の精度を達成し、1 タスクあたり$7.74（既存の SOTA 手法の約 1/3 のコスト）を実現しました。
• 科学的発見: 検証器なしの進化手法として初めて、AlphaEvolve（検証器あり）に匹敵する、あるいはそれを超える結果（Circle Packing 問題）を達成しました。
• マルチモーダルタスク: 画像処理が必要な初期段階のみ高価なビジョンモデルを使用し、その後の集約段階では安価なテキスト専用モデルを使用することで、2.3〜2.5 倍のコスト削減を実現しました。

5. 意義と将来展望 (Significance)

SQUEEZE EVOLVE は、LLM の推論コストを劇的に削減しつつ、高度な推論タスクや科学的発見を可能にする実用的なアプローチを提供します。

• 経済的持続可能性: 高価なモデルへの依存を減らし、オープンソースモデルと組み合わせてコスト効率を最大化する道筋を示しました。
• 検証器の不要化: 外部検証器が利用できない、あるいは高コストな分野（例：核融合シミュレーションなど）において、信頼性のある進化推論を可能にします。
• 汎用性: 数学、コード、視覚、科学など、多様なドメインで有効性を示しており、モデルの組み合わせやタスクに応じた柔軟なデプロイを可能にします。

本論文は、単に「より多くの計算資源を使う」ことではなく、「計算資源を賢く配分する」ことで、AI の能力とコストのフロンティアを左側（低コスト・高性能）へシフトさせる重要なステップです。