技術要約: MAGE – マルチコンポーネント・プロンプト最適化における安定性と性能のトレードオフの理解

1. 問題提起

本論文は、自動プロンプト最適化（APO）における根本的なギャップに対処している。GEPAのような最近の手法は、反射的なプロンプト進化が強化学習に匹敵することを実証したが、単一のシステム内における複数の最適化コンポーネント間の相互作用のダイナミクスについては、依然として理解が進んでいない。従来の多くの研究は、最適化を決定論的なものとして暗黙的に扱い、単一シードによるピーク性能を報告してきた。しかし、現実世界のパイプラインでは、メモリ、選択、および評価が反復ループの中で組み合わされており、平均性能と分散がコンポーネントの相互作用によって共同で決定される、結合された確率的システムを形成している。

著者らは、個々のコンポーネントを単独で分析することは、システム全体の挙動を予測できないと主張している。具体的には、複数の確率的な最適化信号（エピソード記憶、多目的選択、および適応的評価）を組み合わせることが、性能と安定性の両方にどのように影響するかを調査している。また、実用的な重要な問いも提起されている。すなわち、低データ環境において、最適化されたプロンプトは、強力で適切に設計された固定プロンプトを実際に上回るのか、それとも「スキャフォールド（足場となる構造）」が「オプティマイザ（最適化器）」よりも支配的なのか、という点である。

2. メソドロジー：MAGEフレームワーク

著者らは、MAGE（Memory-Augmented Goal-directed Prompt Evolution）を、絶対的な意味での優れたオプティマイザとしてではなく、コンポーネント間の相互作用を研究するための制御された分析フレームワークとして導入している。MAGEはGEPAのバックボーン（失敗に基づいたリフレクションを使用）に基づいて構築されており、その効果を分離するために3つの特定のメカニメントを統合している。

1. エピソード記憶 (Episodic Memory): タスクの埋め込み、最良のプロンプト、リフレクションの痕跡、およびスコアベクトルを格納する。新しいタスクに対しては、コサイン類似度を用いて上位$\kappa$のエントリを検索し、プロポーザー（提案者）にインコンテキストの例を提供することで、タスク間の正則化を導入する。
2. 多目的パレート選択 (Multi-objective Pareto Selection): スカラー目的関数を、精度、簡潔さ（負のトークン数）、および安全性に対して最適化する多目的アプローチに置き換える。システムは各イテレーションにおいて非劣フロントを維持する。著者らは、重要なパレート多様性閾値を特定した。候補プールサイズ（$n$）が3では有意義なパレート圧力を生むには不十分であるが、$n=5$では情報量の多いフロントが形成される。
3. アンサンブル・アンカー型適応評価器 (Ensemble-Anchored Adaptive Evaluator): イテレーション中の評価器のドリフトを防ぐため、指数減少アンカー（$\alpha_t$）を用いて、適応的評価器（$E_{adp}$）を固定評価器（$E_{fix}$）に対して較正する。これにより、バイアスの蓄積を制限しつつ、特定のタスクの細かなニュアンスへの適応を可能にする。

実験設定:

• ベンチマーク: GSM8K-Hard (80例、うち訓練用30/テスト用50) および BBH-Logic-Hard (80例、うち訓練用30/テスト用50)。
• モデル: 主要な実験は gpt-4o-mini で行い、検証は Llama 3.1 8B およびオンデバイスの deepseek-r1:1.5b で実施。
• ベースライン: OPRO (スコアのみ)、Self-Refine (抽象的な批判)、MIPROv2+CoT (スキャフォールド上のベイズ最適化)、および GEPA (失敗に基づいたリフレクション)。
• コントロール: スキャフォールドによる利得とオプティマイザによる利得を分離するため、固定プロンプトの上限（例：CoT-math）を評価。

3. 主な知見と貢献

プロンプト最適化結合効果 (The Prompt Optimization Coupling Effect: POCE)

中心的な発見は、プロンプト最適化結合効果 (POCE) である。複数の確率的な最適化信号が閉じた反射ループ内で動作する場合、それらは非加法的な方法で相互作用する。この相互作用は、性能を向上させると同時に、コンポーネントを単独で分析した場合には予測できない形で分散を増幅させる。

• 根拠: 候補プールを $n=3$ から $n=5$ に増やすことで、平均精度は +21.6% 向上したが、分散は 3.7倍 に増加した。
• 示唆: 分散は単なるノイズではない。それは結合されたシステムの構造的な特性である。平均精度のみを報告することは、系統的に誤解を招く恐れがある。

コンポーネントの必要性と失敗モード

• 失敗に基づいたリフレクションの不可欠性: スコアのみ（OPRO）や抽象的な批判（Self-Refine）に依存する方法は、プロンプトを改善できない。OPROはシードプロンプト付近で停滞し、Self-Refineは、根拠のない批判が有効な戦略を修正するのではなく上書きしてしまうため、性能を積極的に低下させる（GSM8K-Hardにおいて33.3%から16.7%へ低下）。
• スキャフォールドの支配力: 低データ環境（$N_{train}=30$）では、強力な固定プロンプト（例：CoT-mathの70.0%）がすべての反射的オプティマイザを上回る。CoTスキャフォールドの上に適用されたMIPROv2でさえ、-2.2% の退行を引き起こしており、これはこれらの設定においてはスキャフォールドの選択がオプティマイザの選択よりも重要であることを示している。
• ヘッドルームへの依存性: POCEは最適化のヘッドルームに条件付けられる。シード精度が既に高かった（約70%）Llama 3.1 8B では、分散の増幅は見られず、オプティマイザは同一のプロンプトへと収束した。

性能結果

• GSM8K-Hard: MAGE (フル) は 46.4% ± 7.3% を達成し、GEPAの 34.0% ± 7.0% を大幅に上回った（+12.4%, $P=0.998$）。
• BBH-Logic-Hard: MAGEの各バリアントは一貫してGEPAを上回り、特にMAGE-Eは 81.6%（GEPAの79.2%に対し）を達成し、MAGE構成の中で最も低い分散を示した。
• オンデバイス検証: ツール選択のための1.5Bモデルに適用したところ、MAGEは 2.0 ± 0.0 イテレーション（収束率100%）で収束し、0.95 ± 0.03 のツール選択精度を達成し、敵対的に設計されたプロンプトを正常に解決した。

4. 重要性と主張

本論文は、プロンプト最適化システムは決定論的なアルゴリズムとしてではなく、結合された確率的プロセスとして評価されるべきであると主張している。

• 評価指標の転換: 著者らは、分散を平均精度と並ぶ第一級の評価指標として扱うべきだと主張している。単一シードの報告は、信頼できる平均ではなく、「運の良いピーク」を捉えているリスクがある。彼らは、評価には最低5つのシードを用いることを推奨している。
• 実用的なガイダンス: 本論文は、特定のMAGEバリアントをシナリオにマッピングしたデプロイガイド（表3）を提供している。
  • 高安定性・低計算量が必要な場合は MAGE-E。
  • 中程度の分散が許容される中で最大平均性能を求める場合は MAGE (full)。
  • パレート圧力を発生させるために候補プールが大きい場合（$n \ge 5$）は MAGE-P のみ。
• 主張の謙虚さ: 著者らは、MAGEがすべての文脈において強力な固定スキャフォールドを上回るとは主張していない。実際、低データ環境では、適切に設計された固定プロンプトが反射的オプティマイザよりも優れた性能を示すことが多いという事実を、最小化することなく前面に押し出している。主要な貢献は、普遍的に優れたオプティマイザの提案ではなく、コンポーネント間の相互作用の制御された分析、およびPOCEの特性化である。

要約すると、本論文は、プロンプト最適化における安定性と性能のトレードオフは、コンポーネントの相互作用の非線形関数であり、それらのシステムの設計、評価、およびデプロイ方法の転換を必要としていることを示している。