技術要約：テキストによる正則化と信号集約を用いたブラックボックス・プロンプト最適化の安定化

1. 問題提起

本論文は、内部モデルの状態（勾配、隠れ状態）にアクセスできない、ブラックボックスAPIを介してアクセスされる大規模言語モデル（LLM）における**自動プロンプト最適化（APO）**の課題に取り組んでいる。近年のAPO手法は、失敗から導き出されたモデル生成の批判（テキストによる勾配）を用いてプロンプトを反復的に洗練させているが、著者らは以下の2つの決定的な限界を指摘している：

1. 成功の未活用： 既存の手法はエラー修正に偏って最適化を行っており、どのプロンプト構成要素が効果的であるかという成功した予測に含まれる情報を無視している。
2. 不安定性と意味的ドリフト： エラー駆動型の更新のみに依存すると、「意味的ドリフト」が発生する可能性がある。これは、局所的な失敗を修正するための編集が、意図せずグローバルに有益なプロンプト構成要素を消去してしまう現象である。これにより、最適化器はコストの高い「削除と再発見」のサイクルに陥ってしまう。
3. 自動プロンプト移行（APM）の失敗： あるモデル（例：GPT-3.5-turbo）向けに最適化されたエキスパート・プロンプトを別のモデル（例：GPT-4o）に適応させる際、ナイーブな再最適化を行うと、多くの場合「インストラクションの喪失」が発生する。つまり、ソース・プロンプト内の重要な役割を果たす指示が、適応プロセス中に上書きされてしまうのである。

2. 手法：TRASフレームワーク

著者らは、既存のAPO探索バックボーン（例：PromptAgentのようなMCTSベースの戦略）とプラグアンドプレイで動作するように設計された、フィードバック中心のフレームワークであるTRAS（Textual Regularization with Aggregated Signals）を提案している。TRASは、以下の3つのコアメカニズムを通じて動作する。

A. 二重信号生成（Dual-Signal Generation）

エラー信号のみに頼るのではなく、TRASは各最適化ステップ $t$ において、2つの補完的なテキスト信号を生成する：

1. テキストによる勾配（修正信号）： 失敗（$B_t^-$）から導出される。批判ポリシー $\pi_g$ が誤った予測を分析し、何を変更すべきか（例：不足している制約、フォーマットの問題など）に関する自然言語の指示を生成する。
2. テキストによる正則化（保持信号）： 成功（$B_t^+$）から導出される。属性付けポリシー $\pi_r$ が正しい予測を分析し、どのプロンプト構成要素が成功に寄与したかを特定する。これにより、「削除しない」「変更しない」「強化する」といった制約を規定する正則化項 $r_t$ を生成する。
   • ウォームアップ・スケジュール： 不適切な初期化へのアンカリングを防ぐため、正則化信号は最初の $\tau_{warmup}$ イテレーションの間は無効化され、最適化器が安定する前に自由な探索を可能にする。

B. モンテカルロ信号集約（Monte Carlo Signal Aggregation: MCSA）

テキストによる勾配と正則化の両方は確率的なLLMの出力であるため、ノイズが含まれる可能性がある。TRASは分散を抑えるためにMCSAを採用している：

• システムは、勾配と正則化の両方について、$K$ 個の独立した信号をサンプリングする。
• 集約オペレータ（LLMサマライザー）が、これら $K$ 個のサンプルを単一の実行可能な指示（$\bar{g}_t, \bar{r}_t$）へと統合する。
• このプロセスにより、一貫性があり実行可能なアドバイスを強調し、外れ値をフィルタリングする。著者らは、増加する $K$ は分散を減少させる一方で、あまりに多くの信号を圧縮しすぎると「希釈（内容が一般的になること）」のリスクがあるというトレードオフについても言及している。

C. プロンプト更新と移行

次のプロンプト $p_{t+1}$ は、保持制約を尊重しながら、集約された修正事項を適用する更新ポリシーによって生成される。

• APMの場合： エキスパート・プロンプトをソースモデルからターゲットモデルへ移行する場合、TRASは直ちにテキストによる正則化を起動し（$\tau_{warmup} = 0$）、かつ（ウォームスタートされたエキスパート・プロンプトは分散が低いため）より小さなサンプル数 $K$ を使用する。これにより、ターゲット特有の不一致を $\bar{g}_t$ によって修正しつつ、エキスパート・プロンプトの転送可能な構造を $\bar{r}_t$ によって保持することを保証する。

3. 主な貢献

本論文は、以下の事項を定式化し、貢献している：

1. 自動プロンプト移行（APM）の定式化： 著者らは、エキスパート・プロンプトをモデルのバージョンやプロバイダー間で適応させる際、明示的に「インストラクションの喪失」を回避するという実用的な問題としてAPMを定義した。
2. テキストによる正則化： 有益なプロンプト構成要素の保持を促す、成功に基づいた信号の導入。これにより、最適化の軌道を安定させる。
3. モンテカルロ信号集約（MCSA）： 複数の確率的な信号を集約して分散を抑え、実行可能なアドバイスの希釈を管理する技術。
4. TRASフレームワーク： これらの要素を組み合わせ、標準的なAPOおよびAPMの両方のシナリオにおいて堅牢性を向上させる統一的な手法。

4. 実験結果

著者らは、標準的なAPOにはGPT-3.5-turboを、APM（GPT-3.5-turboからの移行）にはGPT-4oを用い、5つの推論タスク（Causal Judgment, Geometric Shapes, Penguins, Biosses, CB）でTRASを評価した。

• 標準的なAPO (GPT-3.5-turbo):

  • TRASは、ベースライン（PromptAgent）に対して、タスク全体で 4.9%から21.5% の範囲で、一貫して統計的に有意な精度向上を達成した。
  • ランダムシード間の標準偏差を減少させ、より安定した最適化を実現した。
  • 非効率な「削除と再発見」のサイクルを回避することで、LLM API呼び出し回数を 0.5%から3.3% 削減した。

• 自動プロンプト移行 (GPT-3.5-turbo $\to$ GPT-4o):

  • エキスパート・プロンプトのナイーブな再最適化は、インストラクションの喪失により初期の利得を損なうことが多い。
  • TRASは、ベースラインよりも一貫して高い最終精度を達成し、その向上幅は 2.2%から16.0% であった。
  • 特に、ドメイン固有の構造の保持が重要となるGeometric Shapes (+12.5%) や Biosses (+16.0%) で顕著な改善が見られた。
  • 移行設定において、TRASは総API呼び出し回数を 4.2%から6.2% 削減した。

• アブレーション研究:

  • ウォームアップ： 正則化が3〜4イテレーション後に有効になった時にパフォーマンスがピークに達した。早すぎる起動は弱いプロンプトを固定（アンカリング）してしまい、遅すぎる起動はドリフトを許容してしまった。
  • 集約数 ($K$): 精度は $K \approx 6$ まで向上したが（分散の減少）、それ以上の大きな $K$ では信号の希釈により低下した。

5. 意義と主張

本論文は、ブラックボックス・プロンプト最適化に内在する不安定性に対する堅牢な解決策をTRASが提供すると主張している。エラー駆動型のパラダイムから、修正と保持のバランスを取るフィードバック中心のアプローチへと移行することで、TRASは以下を実現する：

• 最適化の安定化： プロンプト探索の軌道における意味的ドリフトと分散を減少させる。
• 効果的な移行の実現： ナイーブな再最適化でよく見られる失敗モードである「重要な指示の喪失」を回避しながら、モデルのバージョン間でのプロンプト適応を可能にする。
• 効率性の向上： より確実に収束し、冗長なサイクルを回避することで、より少ないAPI呼び出しで高い精度を達成する。

著者らは、TRASを探索戦略に対して直交するもの（独立したもの）と位置付けており、既存の様々なAPOバックボーンを強化できるとしています。今後の展望として、代替的な集約メカニズム、適応的な正則化スケジュールの探索、およびマルチターンまたは継続的なデプロイメント設定への拡張などが挙げられています。