技術的概要：反復的な経験蒸留によるブラックボックス LLM における多段階推論とツール使用のためのプロンプティング方針

1. 問題定義

本論文は、現代の大規模言語モデル（LLM）の状況に内在する「ファインチューニングのボトルネック」に対処するものである。業界が API 経由でのみアクセス可能な独自所有の「ブラックボックス」モデル（例：Gemini-Pro、GPT-5）へと移行するにつれ、モデルの重み、勾配、または内部計算グラフへのアクセスが欠如しているため、フルパラメータ更新や LoRA などのパラメータ効率型ファインチューニング（PEFT）といった従来の転移学習手法は不可能となっている。

その結果、タスク適応はコンテキスト内学習（ICL）とプロンプトエンジニアリングに依存することになる。しかし、手動によるプロンプトエンジニアリングはヒューリスティックで脆弱である。LLM は「意味的ノイズ」に対して極めて敏感であり、表現のわずかな摂動や例の順序変更が、大きな性能変動を引き起こす可能性がある。自動化されたプロンプト最適化（APO）手法は存在するが、多くの手法は最適化を構造化された方針ではなくヒューリスティックな生成として扱う進化アルゴリズムや LLM に基づく反射に依存している。これらの手法は、複雑な多段階推論経路に対処する際に困難に直面し、堅牢な展開に必要なサンプル効率を欠いていることが多い。

2. 手法

著者らは、より大規模で凍結された「ワーカー」LLM に対するプロンプトを最適化する学習された「プロンプター方針」を訓練する強化学習（RL）フレームワークを提案する。核心的な革新は、制御ロジック（プロンプター）を実行ロジック（ワーカー）から分離し、経験の反復的蒸留を利用することにある。

2.1 双エージェントアーキテクチャ

• プロンプターエージェント（$\pi_\theta$）： 20 億〜100 億パラメータ規模の小型で効率的な LLM であり、学習可能な方針として機能する。タスクコンテキストと過去の経験の履歴に基づいてタスクリスト（プロンプト）を生成する。勾配は本モデルのみに計算される。
• 凍結ワーカーエージェント（$\pi_{LLM}$）： 1 兆パラメータ規模の大規模で凍結された推論エンジンであり、プロンプターによって生成された指示を実行する。環境として機能し、出力を提供する。

2.2 目的関数

目的は、データセット $D$ 上で期待報酬 $R(p, x, y)$ を最大化し、KL 発散ペナルティを通じて参照方針 $\pi_{ref}$ からの逸脱を最小化する、プロンプター方針 $\pi_\theta$ のパラメータ $\theta$ を学習することである：
$$J(\theta) = \mathbb{E}_{(x,y) \sim D, p \sim \pi_\theta(\cdot|c,H)} [R(p, x, y) - \alpha D_{KL}(\pi_\theta \parallel \pi_{ref})]$$
このフレームワークは、単一の静的プロンプトを学習する固定プロンプト最適化と、特定のタスクコンテキストに適応するメタ方針を学習する動的プロンプト最適化の両方をサポートする。

2.3 対照的経験バッファ

スカラー報酬（正解/不正解）の希薄さと、多ターン自己反射の計算コストに対処するため、著者らは対照的経験バッファを導入する。

• メカニズム： バッファは（プロンプト、批判、報酬）の経路を格納する。批判は、外部フィードバックモデルによって生成される、ワーカーの出力と正解との間の不一致に関する密なテキスト記述である。
• アモルタイゼーション： 推論中に多ターン反射を実行する代わりに、プロンプターは訓練中にバッファからサンプリングされた履歴 $H$ に条件付けられる。これにより、方針は複雑な多段階推論と修正パターンをその重みに「蒸留」することが可能となる。
• 更新戦略： プロンプトは、その報酬がバッチ最大値に対して閾値を満たす場合（$r \ge r_{max} - \epsilon$）、バッファに追加される。これにより、多様性がありながら高性能な履歴が確保される。

3. 主要な貢献

1. メモリを備えた双エージェント蒸留： 戦略的な誘導が、メモリ拡張を備えた効率的なプロンプター方針に蒸留されるフレームワーク。これにより、モデルは経験から学習し、複雑な推論経路を合理化された方針に効果的に圧縮できる。
2. 対照的経験バッファ： スカラー報酬と密なテキスト批判を結合する高帯域幅のフィードバックメカニズム。著者らは、これが多ターン自己反射ループを単一ショットの方針重みにアモルタイズする方法を形式的に特徴付け、スカラーのみのベースラインと比較して最大2.4 倍の高速な収束を達成することを示している。
3. アルゴリズム的ヒューリスティックの発見： 定性的分析により、学習された方針が、抽象的なガイダンスに依存するのではなく、「真実のアンカーリング」（提供されたトレースを信頼せず、生入力を優先する）やツール呼び出しのための「原子化シーケンシング」などの専門的な戦略を発見するように進化することが明らかになった。
4. 実証的検証： このアプローチは、論理集約型推論のためのBig Bench Extra Hard (BBEH)スイートと、エージェント型ツール使用ワークフローのための$\tau$-benchで検証された。

4. 実験結果

実験では、凍結されたワーカーとして Gemini 2.5 Flash を、学習可能なプロンプターとして Gemini 2.5 Flash-lite を使用した。

4.1 推論タスク（BBEH）

経験バッファを備えたプロンプター方針は、ゼロショットベースラインおよび最先端の進化ベースラインである GEPA を大幅に上回った。

• Dyck 言語： ベースラインの 63.33% から91.25%（プロンプター方針）へ改善。GEPA に対して +27.92% の向上。
• 嘘の網： ベースラインの 52.50% から**90.12%**へ改善。GEPA に対して +37.62% の向上。
• 曖昧さ解消 QA： 57.08% から 65.41% へ改善。

4.2 ツール使用タスク（$\tau$-Bench）

この方針は、小売および航空業界の多段階ツール使用シナリオで大幅な改善を示した。

• 小売： **91.30%**の成功率を達成（ベースライン 73.91% 対比）。
• 航空： **83.33%**の成功率を達成（ベースライン 65.27% 対比）。
• RL によって調整されたプロンプトは、抽象的なガイダンスを具体的な手続き的ワークフロー（例：ツール呼び出しの明示的なバッチ処理、厳格な状態検証）に置き換えることで、GEPA を上回った。

4.3 クロスモデル汎化

Flash モデル上で訓練された方針は前方互換性を示し、より大規模なGemini Proモデルを Dyck 言語で 80% の成功率に誘導することに成功した（ゼロショットベースラインに対して +7.5% の向上）。逆に、この方針はモデル間のギャップを埋め、中 tier の Flash モデル（最適化されたプロンプトで 91%）が、より大規模な Pro モデル（ゼロショットプロンプティングで 72.5%）を上回ることを可能にした。

5. 意義と主張

本論文は、経験の反復的蒸留を伴う提案された RL フレームワークが、ブラックボックス LLM との相互作用において重要な進歩を表すと主張している。プロンプト生成をマルコフ決定過程として扱い、対照的経験バッファを利用することで、このアプローチは以下の点を実現する：

• ファインチューニングのボトルネックの克服： モデルの重みにアクセスすることなく、タスク固有の戦略の最適化を可能にする。
• サンプル効率の向上： 密なテキスト批判を報酬信号に統合することで、進化ベースラインやスカラーのみの RL よりも高速な収束と優れた性能を実現する。
• 構造的進化の実現： この方針は単に「より良い」プロンプトを見つけるだけでなく、ワーカーモデルがタスクにアプローチする方法を根本的に変える専門的なアルゴリズム的ヒューリスティック（例：独立したスタックシミュレーション、アンカーおよび連鎖推論）を発見する。
• コスト便益上の優位性の提供： このフレームワークにより、学習された指示的誘導を通じて、より小型で安価なモデルが、より大規模なゼロショットモデルと同等かそれ以上の性能レベルを達成することを可能にする。

著者らは限界を認め、方針は限られたタスクセット上で訓練されたこと、およびバッファの初期化なしに完全に未見のタスクへのゼロショット転移を行う能力は今後の研究課題であることを指摘している。また、ユーザー状態表現に基づく高度なバッファ管理やパーソナライズされたプロンプト生成に関する将来の作業も提案している。