技術的概要：言語モデルの関数呼び出しを通じた反射的プロンプトチューニング

問題定義

大規模言語モデル（LLM）は、指示の遵守や複雑な推論において顕著な能力を示している一方で、プロンプト設計は依然として、フォーマット、表現、指示の順序に極めて敏感な、労働集約的で反復的なプロセスである。既存の自動化されたプロンプト最適化手法には、いくつかの限界がある。

1. 固定パイプライン: 多くの手法（例：ACE）は、固定されたプロンプトテンプレートや補助的なプレイブックを更新するに留まり、プロンプトレベルでの任意の修正を行う能力を制限している。
2. 局所最適化: 更新はしばしば個々の例や小さなミニバッチによって駆動されるため、最適化は体系的な反復的な誤りパターンではなく、局所的な失敗に対して敏感になる。
3. 記憶の欠如: ほとんどの手法は、以前の診断レポートや修正の明示的な記憶を持たず、反復間でのクレジット割り当てを妨げている。
4. パフォーマンスのみの焦点: プロンプトの選択は通常、タスクのパフォーマンスのみによって駆動され、信頼性に関するより広範な特性（例えば、信頼度の較正）は無視されている。

手法：反射的プロンプトチューニング（RPT）

著者らは、LLM の関数呼び出し能力を活用して人間のプロンプトエンジニアの反復的なワークフローをシミュレートするフレームワーク、**反射的プロンプトチューニング（RPT）**を提案する。RPT は、診断駆動型の 2 段階プロセスとして機能する。

1. 診断フィードバックの構築

各反復 $t$ において、オプティマイザー LLMは診断関数を呼び出し、最適化セット全体（$D_{train}$）上でターゲットモデルを評価する。この関数は以下の処理を行う。

• 行動の収集とスコアリング: 現在のプロンプト $p_t$ でターゲットモデルを実行し、推論の痕跡、回答、および報告された信頼度を記録する。集計指標（精度、ブライアスコア）を計算する。
• 失敗の検出と批判: 誤った回答を特定し、クリティーク LLM を用いて、各失敗に対して 1〜3 の簡潔な回答レベルの診断を生成する。これにより、正しさだけでなく、報告された信頼度の適切性も評価される。
• 反復する失敗モードのクラスタリング: ClusterFusionを使用して、意味的に類似した診断を反復する失敗トピック（例：「制約の欠落」、「推論分解エラー」）にグループ化する。これにより、局所的な批判をデータセットレベルの失敗パターンの体系的な要約に集約する。
• レポート生成: 現在のプロンプト、集計指標、および代表的な例を伴うクラスタリングされた失敗トピックのフィルタリングされたサブセットを含む、構造化された診断レポート $R_t$ を返す。

2. 記憶を伴う反射的プロンプト修正

オプティマイザー LLM は、以下の条件に基づいて次のプロンプト $p_{t+1}$ を生成する。

• 現在の診断レポート $R_t$。
• すべての以前のレポートとプロンプト修正の外部記憶 $M_{<t}$。

この記憶メカニズムにより、オプティマイザーは最適化の軌跡全体を推論し、一時的な失敗と永続的な失敗、以前の改善試行、および時間経過に伴うパフォーマンスの変化を追跡することが可能となり、各更新を孤立して扱うことを回避する。このプロセスは、パフォーマンスが頭打ちになるか、予算に達するまで反復される。

信頼度認識型最適化

RPT は、較正信号を診断フィードバックと最終的なプロンプト選択基準に直接組み込む。選択関数 $\Phi$ は、タスクのパフォーマンスと較正（ブライアスコアによる較正誤りを罰する）を同時に最適化し、最終的なプロンプト $p^*$ が、精度と信頼性の高い信頼度推定の両方に基づいて選択されることを保証する。

主要な貢献

1. フレームワーク設計: RPT は、人間のプロンプトエンジニアリングのワークフローを模倣する関数呼び出しベースのフレームワークを導入し、構造化された関数による診断と、オプティマイザーによる修正を明示的に分離する。
2. 体系的な診断: 単一の例に依存する手法とは異なり、RPT は最適化セット全体を評価して反復する失敗モードを特定し、クラスタリングすることで、失敗の履歴に基づいたターゲットを絞ったプロンプト編集を可能にする。
3. 記憶強化型最適化: 診断レポートの外部記憶を維持することにより、RPT はクレジット割り当ての課題に対処し、システムが一時的な失敗と永続的な失敗を区別することを可能にする。
4. 較正の統合: RPT は、診断ループと最終的な選択目的の両方で、信頼度の較正を第一級の信号として統合する最初の手法であり、パフォーマンスの向上と同時に信頼性を改善する。

実験結果

著者らは、GPT-4.1 をターゲットモデルとして使用し、3 つの推論タスク（HotPotQA（マルチホップ推論）、LiveBench-Math（数学的推論）、Formula（ドメイン固有の数値推論））で RPT を評価した。

• パフォーマンスの向上: RPT は初期プロンプトに対して一貫して改善を示し、HotPotQA で最大**+12.9 ポイント**、LiveBench-Math で**+12.4 ポイント**、Formula で**+11.7 ポイント**の向上を達成した。
• 競争力: RPT は最先端のベースライン（ACE、GEPA、MIPRO）と競合し、特に反復する推論失敗を伴うタスクにおいて、それらを凌駕することが多かった。
• オプティマイザーの影響: パフォーマンスはオプティマイザー LLM の能力に比例して向上した（例：GPT-5 は GPT-5-mini よりも優れていた）。これは、クレジット割り当てと診断の複雑さが、より強力な推論モデルから恩恵を受けることを示唆している。
• 較正: 信頼度認識の実験は、較正信号を組み込むことが、タスクのパフォーマンスを犠牲にすることなくブライアスコアを改善（より良い較正）することを示した。
• 分析: 痕跡分析により、RPT が診断された失敗モードに整合したターゲットを絞った修正（例：数学エラーに対する検証ステップの追加、QA に対するスパン制約の追加）を生成することが明らかになった。ただし、論文は、RPT が ACE に比べてドメイン固有の計算タスク（Formula）では効果が低いことを指摘しており、局所的なインスタンスレベルの更新や事前定義された構造の方が効果的である可能性がある。

意義と限界

この論文は、ツール呼び出し型 LLM が、スケーラブルで解釈可能なプロンプト最適化を可能にすることを RPT が実証していると主張している。人間のエンジニアの診断と反射のワークフローをシミュレートすることにより、RPT は単純な検索や勾配ベースのテキスト更新を超え、構造化された記憶認識型の改善へと進む。

著者らが認める限界:

• 範囲: 評価は 3 つの推論タスクに限定されており、オープンエンドな生成、コーディング、またはインタラクティブなエージェントへの一般化は検証されていない。
• 計算コスト: RPT は、小さなミニバッチを使用する手法よりも高価である。なぜなら、各反復で最適化セット全体を評価し、診断をクラスタリングするためである。
• モデル依存性: 実験は、ターゲットおよびオプティマイザーの両方として、最先端の専用モデル（GPT-4.1、GPT-5、Gemini）に依存しており、より小さなオープンソースモデルでの有効性は不明である。
• 根本的な限界: RPT はプロンプトを改善するが、すべての失敗の解決を保証するものではない。特に、微調整や外部ツールを必要とする深い推論エラーやドメイン慣習の問題についてはそうである。信頼度の較正は、言語化された信頼度に依存しており、これは依然としてブラックボックスの代理指標である。