技術要約: CAPO – LLMエージェントのための制約認識型プロンプト最適化

1. 問題の定式化

大規模言語モデル（LLM）は、外部ツールを使用してタスクを実行するためにシステムプロンプトに依存するエージェントとして、ますます多く展開されています。これらのエージェントはタスクを正常に完了する場合もありますが、過剰なツール使用、不必要な人間へのエスカレーション、プロンプトの長大化、あるいは安全性やフォーマットのポリシー違反といった運用上の制約により、デプロイメント要件を満たせないことがよくあります。

既存の自動プロンプト最適化手法は、以下の理由により、これらの制約に効果的に対処できていません：

• 静的な重み付けスコア: 探索開始前に制約に固定の係数を割り当てているため、ドメインや最適化ラウンドを通じて「結合制約（最も違反している要件）」が変化する場合に適応できません。
• パレート・ランキング: パレート最適なプロンプトを特定するものの、特定のデプロイメント閾値を満たすことを保証しないため、すべての候補が実行可能領域の外側に残ってしまう可能性があります。
• ポストトレーニング: モデルの重みや教師ありデータへのアクセスを必要としますが、これは凍結されたモデルやAPI経由のみのモデルに対しては実現不可能な場合が多いです。

本論文では、問題を閾値制約付き最適化として定式化しています：
$$\max_{p \in \mathcal{P}_{text}} R(p) \quad \text{s.t.} \quad C_i(p) \leq \tau_i, \quad i = 1, \dots, m$$
ここで、$R(p)$ はタスク報酬、$C_i(p)$ は制約 $i$ のコスト、$\tau_i$ は明示的な予算です。目標は、すべての制約を同時に満たしながら、タスク性能を最大化するプロンプトを見つけることです。

2. メソドロジー

本論文では、プロンプト最適化を適応的なラグランジュ乗数を用いた制約付き探索問題として扱う、原始・双対法であるCAPO (Constraint-Aware Prompt Optimization) を導入しています。

2.1 CAPO: 凍結されたリライターを用いた原始・双対探索

CAPOは、原始ステップ（プロンプトの書き換え）と双対ステップ（制約の重みの更新）を交互に行うラウンド形式で動作します。

• ラグランジュ・ランキング: 乗数 $\lambda_i \geq 0$ に対して、ラグランジュ目的関数を以下のように定義します：
  $$J(p, \lambda) = R(p) - \sum_{i=1}^m \lambda_i (C_i(p) - \tau_i)$$
  プロンプトはこの $J(p, \lambda)$ によってランク付けされます。このランキングが親プロンプトの選択を導き、どのプロンプトをプールに保持するかを決定します。
• 近似的な原始リライト: 凍結された「クリティック（批評家）」LLMが、タスクの失敗と制約違反を要約します。次に、凍結された「リライター（書き換え手）」LLMが、この証拠と現在の双対状態（乗数）に基づいて新しいプロンプトを生成します。リライトの指示には、より大きな乗数を持つ制約を優先させるために、重み $(1, \lambda_1, \dots, \lambda_m)$ が明示的に含まれます。
• 残差駆動型の双対更新: 拡張されたプールを評価した後、上位候補の経験的な残差に基づいた射影劣勾配ステップを用いて、乗数が更新されます：
  $$\lambda_i \leftarrow \Pi_{[0, \lambda_{max}]} \left[ \lambda_i + \beta \left( \frac{1}{|P_{best}|} \sum_{p_j \in P_{best}} \hat{\rho}_{i,j} - \tau_i \right) \right]$$
  制約が違反されている場合（$\hat{\rho} > \tau$）、その乗数は増加し、将来のランキングとリライトにおける重みが増します。余裕がある場合、乗数は減少します。
• プロンプト・プール: 保持されたプロンプトのプールは強力な候補を保存し、成功したリライトが将来のラウンドのシードとなるようにします。

2.2 DCAPO: 動的に訓練されたCAPO

効率性と適応性を向上させるため、著者らは凍結されたLLMに頼るのではなく、フィードバックおよび双対条件付きのリライター・ポリシー（$\pi_\theta$）を学習する DCAPO を導入しています。

• トレーニング: DCAPOは、プールベースのGRPO (Group Relative Policy Optimization) を使用します。進化するプロンプト・プールから親をサンプリングし、一連の子プロンプトを生成し、凍結されたタスクエージェントで評価し、適応的なラグランジュ・スコアに基づいてリライター・ポリシーを更新します。
• コンディショニング: リライターは、親プロンプト、深度シーケンス内の直前のリライト、行動軌跡（ツール呼び出し、失敗）、および現在の双対状態 $\lambda_t$ に条件付けされます。
• 関心の分離: デプロイされるタスクエージェントは凍結されたままです。リライターのみが訓練されます。

2.3 理論的分析

本論文は、手法の収束を特徴付ける代理分析を提供しています。離散的なテキストのリライトを、連続的な代理空間における不完全な上昇ステップとしてモデル化しています。分析では、以下の要素を考慮した原始・双対境界を確立しています：

1. 有限プールによる近似誤差。
2. 離散リライトの残差（離散的なテキストのリライトと理想的な連続上昇との間のギャップ）。
3. 標準的な双対最適化誤差。
   この境界は、ステップサイズが消失するにつれて、手法が実行可能な解に収束することを示しています。

3. 主な貢献

1. 制約認識型プロンプト最適化: 静的なスカラー化やパレート・ランキングを超えて、符号付き残差を使用して制約を適応的に重み付けする、プールベースの原始・双対手順の開発。
2. 一貫した経験的実行可能性: 多様なドメイン（Airline, Retail, Telecom）およびモデルサイズにおいて、すべての運用予算が満たされる実行可能点にCAPOが確実に到達することを実証。これは、静的なベースライン（APO, GEPA, MOPO）が達成できないことです。
3. 学習可能なリライター (DCAPO): プールベースのGRPOを用いてリライト・ポリシーを訓練する方法の導入。DCAPOは、タスクエージェントを凍結したまま、ドメインを横断して実行可能なプロンプトを生成し、ベースラインの精度に匹ういるか、それを上回ります。
4. 代理分析: 有限プールおよび離散リライトの誤差が、不完全な原始・双対手順を通じてどのように伝播するかについての理論的な特性付けの提供。

4. 実験結果

評価は、TAU2-BENCH（ツール使用エージェント）、Chatbot/Privacyベンチマーク、およびコーディングエージェントの3つの主要領域にわたって行われました。

4.1 エージェンティックなツール使用 (TAU2-BENCH)

• 実行可能性: 3つのドメイン（Airline, Retail, Telecom）と2つのタスクモデル（GPT-5-mini, GPT-5.1）の6つの組み合わせにわたり、CAPOはすべての設定で全ての制約を満たす唯一の手法でした。
  • ベースライン（Initial, APO, GEPA, MOPO）は、最大でも1つの組み合わせでしか実行可能性を達成できませんでした。
  • CAPOは、初期プロンプトと比較してタスク精度を維持または向上させつつ、6つの組み合わせすべてで実行可能性を達成しました。
  • 注: CAPO(EA)（親に対して等しい適格性を付与するバリアント）は6つの設定のうち5つで実行可能性を達成しましたが、標準的なCAPOバリアントのみが6つの設定すべてで実行可能性を達成しました。
• オープンウェイトモデル: Ministral-8Bに適用した場合、評価された手法の中で、すべてのドメインで全ての制約を満たしたのはCAPOのみであり、指示追従能力のベースラインが低いモデルに対する堅牢性を示しました。
  • 注: APOはMinistral-8BにおいてAirlineおよびRetailドメインでの実行可能性を達成しましたが、Telecomドメインでは失敗しましたが、CAPOはこれら3つのドメインすべてで成功しました。

4.2 アシスタントおよびプライバシー制約

• チャットボット・スイート: CAPOのバリアントは、4つの予算（GSM8Kの精度、レスポンス長、安全性、過剰拒絶）をすべて満たし、実行不可能なベースラインと同等の精度を実現しました。
• プライバシー委譲 (PUPA–IFBench): CAPOは、実行可能な手法の中で最高の目的関数を達成し、フレームワークがツールの使用コストだけでなく、安全性、フォーマット、および指示追従の制約にも拡張可能であることを示しました。

4.3 DCAPOの性能

• 実行可能性: DCAPOは、評価されたすべてのドメインおよびタスクエージェントのサイズ（Qwen3-8BおよびQwen3-32B）において、実行可能なプロンプトを生成しました。
• 強化学習との比較: Agent-GRPO（固定のペナルティを用いてタスクエージェントを更新するもの）やStablePromptとは異なり、DCAPOはすべてのドメインにおいて一貫して制約を満たしました。
• アブレーション研究:
  • フィードバック源: オンラインの行動フィードバック（完全な軌跡を使用）は、要約のみのフィードバックと比較して、実行可能性において極めて重要であることが示されました。
  • リライト深度: 第2のリライトステップ（D=2）を使用すると、一般的に実行可能性が維持され、精度が向上しました。

4.4 堅牢性と転移

• ノイズ感受性: CAPOは、Retailドメインにおける双対フィードバックの軽微なノイズに対しても実行可能性を維持しましたが、より厳格なドメイン（Airline, Telecom）では感受性を示し、正確なコスト推定の重要性を浮き彫りにしました。
• タスククラスター・シフト: CAPOは、埋め込みによって定義されたシフトしたタスククラスターにおいても実行可能性を維持し、ドメイン内での汎化性能を示しました。
• ゼロショット転移: あるドメイン（Telecom）で訓練されたリライターは、他のドメイン（Retail, Airline）におけるツール使用を減少させることはできましたが、ターゲットドメインへの適応なしには完全な実行可能性を達成できなかったため、厳格な制約にはドメイン固有のファインチューニングが必要であることを示唆しています。

5. 意義と主張

本論文は、CAPOがデプロイされるエージェントへのプロンプト最適化のアプローチに対して、重要な転換をもたらすと主張しています：

• 静的から適応的へ: 固定された制約の重みを、測定された制約残差が探索中のどの失敗に注意を向けるかを動的に決定するフィードバックループに置き換えます。
• 実行可能性を主要な目標とする: 重み付けされた和を最適化して重要な制約を違反するのではなく、すべてのデプロイメント閾値を満たすプロンプトを見つけることを優先します。
• 凍結されたモデルへの適用可能性: モデルの重みを最適化するのではなくシステムプロンプトを最適化することで、CAPOはAPI経由のみのモデルや凍結されたモデルにも適用可能です。これは、多くの現実世界のデプロイメントにおける重要な要件です。
• 学習可能なリライティング: DCAPOは、リライティングプロセス自体が行動フィードバックから学習できることを示しており、タスクエージェントを再訓練することなく効率的な適応を可能にします。

著者らは、デプロイメント要件は単なる最終的な評価基準としてではなく、探索を導く能動的なフィードバック信号として機能すべきであると結論付けています。このアプローチは、運用上の制約に対して能力とコンプライアンスの両方を備えたLLMエージェントをデプロイするための、より信頼できる道筋を提供します。