技術的サマリー：MO-CAPO：多目的コスト認識型プロンプト最適化

1. 問題定義

大規模言語モデル（LLM）は多様なタスクにおいて優れた性能を示しますが、プロンプト設計に対して非常に敏感であり、自動的なプロンプト最適化を必要としています。既存の手法は主に性能の最大化に焦点を当てていますが、推論コストや遅延といった競合する目的を無視することが多いです。さらに、最適化プロセス自体が高価であり、多数の LLM 呼び出しを必要とします。

現在の手法は以下の 2 つの主要な限界に直面しています：

1. 単一目的への焦点：ほとんどの最適化器（CAPO、GEPA など）は性能のみを最適化するか、プロンプト長にペナルティを課すために固定された事前選択されたトレードオフ重みを用いたスカラー化を使用します。このアプローチは、性能とコストのトレードオフの全スペクトルを捉えることができず、ユーザーが重みを手動で調整する必要があり、これは容易ではありません。
2. 非効率な多目的手法：既存の多目的プロンプト最適化器は、通常 NSGA-II などの市販のアルゴリズムに依存しています。これらの手法は、有望な解を早期に破棄するメカニズムなしに全データセット上で候補を評価するため、最適化手順においてコスト効率に欠けることが多いです。さらに、これらは通常、コストの代理指標としてプロンプト長を使用し、現代の LLM における入力トークンと出力トークンの明確な計算プロファイル（出力生成は著しく高価である）を無視しています。

核心的な問題は、性能と推論コストを同時に最適化し、多様なパレート最適解（パレートフロンタ）を発見し、限られた評価予算の下で効率的にそれを行うプロンプト最適化アルゴリズムを開発することです。

2. 手法：MO-CAPO

著者は、CAPO の進化戦略を拡張して複数の目的を明示的に処理しつつ、予算配分メカニズムを統合するアルゴリズムであるMO-CAPO（Multi-Objective Cost-Aware Prompt Optimization：多目的コスト認識型プロンプト最適化）を提案します。

2.1 コスト目的

MO-CAPO は、LLM 推論の完全な計算プロファイルを考慮するデプロイメント指向のコスト目的を導入します。プロンプト長のみをペナルティとする以前の手法とは異なり、MO-CAPO はコストを入力トークンと出力トークンの重み付き和として定義します：
$$c_\Phi(p, x) = w_{in} \cdot tok_{in}(p; x) + w_{out} \cdot tok_{out}(p; x)$$
ここで、$w_{in}$ と $w_{out}$ は API 価格または遅延指標から導出されるモデル固有の重みです。この定式化は、逐次自己回帰デコーディングにより出力トークンが通常より高価であるという現実を反映しています。

2.2 アルゴリズム的枠組み

MO-CAPO は、指示と数ショットの例からなるプロンプトの集団を有する遺伝的アルゴリズムとして機能します。これは NSGA-II と多目的自動アルゴリズム設定手法 MO-SMAC の概念を統合しています。

• ** incumbent 集合と集団**：アルゴリズムは集団（$P_\mu$）と、現在のパレートフロンタ近似を表す専用の incumbent 集合（$P_{inc}$）を維持します。
• 親選択：CAPO のランダム選択とは異なり、MO-CAPO は異質な評価レベルに適応したバイナリートーナメント選択を使用します。これは incumbent（パレートフロンタ上の解）を優遇し、多様性を維持するためにクラッキング距離（CD）を使用します。異なる評価レベルを持つ非 incumbent に対しては、公平な比較を確保するために弱い支配基準を適用します。
• 集中化（予算配分）：これは中核的な効率メカニズムです。すべての候補を開発セット全体で評価する代わりに、挑戦者はデータブロック上で漸進的に評価されます。
  • 挑戦者は、目的空間における最も近い incumbent と比較されます。
  • 挑戦者がこれまでに評価されたデータ部分集合において incumbent によって支配される場合、その評価は早期に終了（「却下」）され、予算が節約されます。
  • 生存した場合、それはさらに多くのブロックで評価され、incumbent を支配するか、共有されたすべてのブロックでの評価が完了するまで続行されます。
  • 生存した挑戦者は集団に追加され、場合によっては incumbent 集合にも追加されます。
• 環境選択：集団サイズを維持するために、支配された候補は削除されます。候補が異質な評価レベルを持つ場合、バイアスを防ぐために評価回数が少ないものが優先的に破棄されます。

3. 主要な貢献

本論文は、4 つの主要な貢献を概説しています：

1. MO-CAPO アルゴリズム：性能と推論コストのバランスを取りながら、集中化メカニズムを通じてコスト効率を維持しつつ、完全なパレートフロンタ近似を発見する新しい多目的プロンプト最適化アルゴリズム。
2. 現実的なコスト目的：入力トークンと出力トークンを別々に重み付けする新しい目的関数。これにより、単純なプロンプト長の代理指標を超えて、現代の LLM のデプロイメントコストの現実的な測定値を提供します。
3. 厳密な評価プロトコル：一般化と頑健性を考慮した、多目的プロンプト最適化の最初の大規模評価。以下の指標を使用します：
   • ノイズ R2（nR2）：開発セットでのユーザー選好選択をシミュレートし、テストセットで評価することで、選択の頑健性を測定します。
   • 近似ギャップ：楽観的（テストセットで非支配）と悲観的（開発セットで非支配）なパレートフロンタ間の差異を定量化します。
   • 経験的到達面（EAS）：複数の実行における性能の安定性を可視化します。
4. 包括的なベンチマーク：3 つの LLM と 4 つのタスクにわたる、最先端の単一目的最適化器（CAPO、GEPA、EvoPromptGA）および NSGA-II ベースのベースラインとの比較。多目的指標と効率性において優位性を示しています。

4. 実験結果

著者は、トークン予算 750 万で 3 つの LLM（GPT-OSS-120B、Qwen3-30B、Mistral-3.2-24B）と 4 つのタスク（AG News、GSM8K、Subj、MBPP）において MO-CAPO を評価しました。

• 多目的性能：MO-CAPO は、ノイズ R2 指標に関して 12 のモデル - データセット組み合わせのうち 8 つで NSGA-II ベースのベースラインを上回りました。これは一貫して強力で、頑健で、多様なパレートフロンタ近似を特定しました。
• 効率性：MO-CAPO は著しく高い効率性を示しました。NSGA-II-PO に比べて、最終性能の 80% に到達するために必要な予算がはるかに少なく（多くの場合 1/3 未満）、競争力のある解集合を見つけました。集中化メカニズムにより、MO-CAPO はベースラインよりも最大 5.7 倍多くの候補を評価できました。
• 解の多様性：発見された解集合は、単一目的最適化器によって省略された低コストの解や高性能な解を含む、多様な性能 - コストのトレードオフにまたがっていました。プロンプトは、指示の詳細さ、数ショットの例の数、入力/出力トークン比において変化していました。
• 単一目的手法との競争力：コストを最適化しているにもかかわらず、MO-CAPO によって発見されたトップ性能の候補は、最先端の単一目的最適化器と競争力がありました。精度のランキングにおいて、MO-CAPO は多くの設定で CAPO や GEPA と統計的に区別できず、EvoPrompt や初期の指示を著しく上回りました。
• アブレーション研究：
  • 集中化：このメカニズムを除去（NSGA-II-PO へ戻す）すると、収束が遅くなり、トークン消費量が増加しました。
  • コスト重み：入力トークン重み（$w_{in}$）がプロンプトコストを制御する主要な駆動力であることが判明しました。これを除去すると、入力トークンの使用量が劇的に増加し、最適化の品質（nR2）が低下しました。

5. 意義と主張

本論文は、MO-CAPO が、単一の解や手動調整されたスカラー化に強制されるのではなく、性能とコストの異なるトレードオフを提供する複数のプロンプトから、効率的に発見された集合中选择することを可能にすると主張しています。

重要性に関する主な主張には以下が含まれます：

• 効率性：多目的予算配分（集中化）を進化的プロンプト最適化に統合することで、厳密な計算予算の下で頑健なパレートフロンタの発見を可能にします。
• 現実性：入力と出力トークンのコストを明示的にモデル化することで、長さベースの代理指標よりも現実的なデプロイメントコストの表現を提供します。
• 頑健性：近似ギャップとノイズ R2 指標の使用は、標準的な指標（ハイパーボリュームなど）によってしばしば隠蔽される一般化誤差や確率的変動を考慮した、より現実的な解品質の評価を提供します。
• 実用性：この手法は、性能のみの手法によって無視される多様な実用的な低コストの代替案を提供し、わずかな精度の向上が大幅な推論コストの増加を正当化しないという現実的な課題に対処します。

著者は、この研究を、予備的な手法をプロンプト最適化に拡張する機械学習における多目的最適化の最初の徹底的な評価として位置づけ、この分野において頑健で一般化を認識した指標の必要性を強調しています。