技術的サマリー：TextReg

問題：プロンプトの分布過学習

大規模言語モデル（LLM）は入力プロンプトに非常に敏感であり、プロンプトはタスクの目的と制約を指定するための主要なインターフェースとして機能する。最近のプロンプト最適化手法は、パフォーマンスを向上させるために LLM 生成のフィードバックを用いてプロンプトを反復的に書き換えるが、これらはしばしばプロンプトの分布過学習に悩まされる。最適化が進むにつれて、プロンプトは長くなり、特定のエンティティやエッジケースの例外など、狭くサンプル固有のルールを蓄積するようになり、コンパクトで一般的な原則を符号化するのではなく、そうなる傾向がある。

この失敗モードは、2 つの結合した次元に沿って現れる：

1. 容量コスト（Capacity Cost）： プロンプトの長さが拡大し、より多くのコンテキスト予算を消費するため、限られたコンテキストウィンドウ内でモデルが関連する指示を見つけることが困難になる。
2. 範囲の狭さ（Scope Narrowness）： プロンプトはトレーニング損失を減少させるルールを蓄積するが、それらは入力の一部の狭い部分にのみ適用され、再利用可能なタスク原則ではなく、その場限りのパッチとして機能する。

既存のオプティマイザは、これらのいずれの次元も制御するメカニズムを欠いており、トレーニングデータではよく機能するが、分布外（OOD）入力、より困難なタスク変種、または異なるモデルアーキテクチャに対しては汎化性能が低いプロンプトをもたらす。

手法：TextReg

著者は、表現の非効率性（representational inefficiency）を制御することでプロンプトの分布過学習を緩和するために設計された正則化フレームワークであるTextRegを提案する。このフレームワークは、非効率性を双因子尺度として形式化する：
$$I(p) = C(p) \cdot W(p)$$
ここで、$C(p)$は容量コスト（トークン長）であり、$W(p)$は範囲の狭さ（汎化範囲が限られたルールの割合）である。TextReg は、正則化された目的関数を最小化することを目指す：$\min LD_{train}(p) + \lambda I(p)$。

プロンプト最適化は微分不可能な離散テキスト空間で発生するため、TextReg は「テキスト勾配」を生成・適用する 3 つの相補的段階を通じてこの目的を実現する：

1. 二重証拠勾配精製（Dual-Evidence Gradient Purification）

この段階は、最適化信号の源において動作し、プロンプトに影響を与える前に生タスク勾配をフィルタリングする。それは、広く適用可能なルールと、狭くサンプル固有のパッチを、2 つの証拠源を用いて区別する：

• ローカルケース証拠（Local Case Evidence）： 提案された勾配ルールが、現在のミニバッチの個性的な特徴（特定のエンティティや稀なエッジ条件など）に直接起因するかどうかを分析する。
• グローバル反復証拠（RuleBank）： 受け入れられた一般化ルールのメモリを維持する。勾配は、最適化ステップ全体で十分な反復サポートを持ち、一時的な修正ではなく一般的なタスク構造を捉えている場合にのみ保持される。
• アクション： 勾配は、一般化ルール（保持され簡潔に書き換えられる）、ケースパッチ（拒否）、またはスタイルのみ（拒否）に分類される。

2. 意味編集正則化（Semantic Edit Regularization: SER）

この段階は、プロンプトにすでに蓄積された、または書き換えプロセスによって導入された非効率性を診断する。それは、前のプロンプト（$p_{t-1}$）と現在のプロンプト（$p_t$）との間の表現非効率性の変化（$\Delta \log I(p)$）を、有限差分アプローチを用いて推定する：

• 容量チャネル： 相対的なトークン長の増加が閾値を超えた場合にトリガーされる。
• 範囲チャネル： 意味差分アナライザを使用して、ルール構成が狭まった（ケース固有のパッチが追加された）か、それとも広がったかを判定する。
• アクション： 劣化が検出された場合、SER はプロンプトを圧縮し、冗長なルールを統合し、または狭いルールをより広い原則に置き換えるよう指示する**テキスト正則化勾配（$g_{reg}$）**を合成する。

3. 正則化ガイド付きプロンプト更新

最終段階ではプロンプトの書き換えを実行する。それは、精製されたタスク勾配（$\tilde{g}_{task}$）を実装するタスク忠実な編集のセットから、正則化勾配（$g_{reg}$）と最も互換性のある新しいプロンプト候補（$p_{t+1}$）を選択する。

• 更新はタスクの改善を優先するが、容量コストまたは範囲の狭さの増加を最小化する編集へと選択を誘導する。
• 両方の信号を満たす候補が存在しない場合、システムはタスク忠実な更新にフォールバックし、正則化が最適化を停止させるハード制約ではなく、ソフトペナルティとして機能するようにする。

主要な貢献

1. 表現非効率性の形式化： 本論文は、プロンプトの分布過学習を、離散テキスト空間最適化における表現効率の失敗として定義し、プロンプト長とルールの具体性の相互作用を捉える双因子尺度（$I(p)$）を導入する。
2. 正則化されたテキスト空間最適化： TextReg は、微分可能なパラメータなしにテキスト空間でソフトペナルティ目的を実現するフレームワークを導入し、二重証拠勾配精製、意味編集正則化、および正則化ガイド付きプロンプト更新を利用する。
3. 改善された OOD 汎化： 広範な実験により、表現非効率性を制御することが過学習を著しく緩和し、データセットおよびモデルアーキテクチャ全体で堅牢なパフォーマンスをもたらすことが示された。

実験結果

著者は、4 つの異なる LLM バックエンド（Qwen2、Phi-3.5、Llama-3、Llama-3.1）を使用して、6 つの推論ベンチマーク（論理的推論、シャッフルされたオブジェクトの追跡、GSM8K、SVAMP、MultiArith）で TextReg を評価した。プロンプトは「3 対象」またはソースタスクで最適化され、より困難な「5/7 対象」変種および異なる算術データセットでテストされた。

• パフォーマンス： TextReg は、OOD 汎化においてベースライン（ゼロショット CoT、TextGrad、REVOLVE）を一貫して上回った。
  • 特定のベンチマークにおいて、TextGrad よりも最大**+11.8%、REVOLVE よりも+16.5%**の精度向上を達成した。
  • 特に、ベースライン手法はしばしば OOD 精度を最適化されていない CoT ベースライン以下に低下させ（過学習を示す）たが、TextReg は CoT の汎化恩恵を維持し、拡張した。
• アブレーション： 3 つのコアコンポーネントのいずれかを除去すると、パフォーマンスが一貫して低下し、それらの相互必要性が確認された。
• 耐性： TextReg は、特定の役割（勾配精製、正則化分析、またはプロンプト書き換え）を担う LLM がより弱いモデルにダウングレードされた場合でも、強力なパフォーマンスを維持し、正則化信号が能力依存型ではなく構造的であることを示唆した。

意義と主張

本論文は、プロンプトの分布過学習は本質的に最適化ダイナミクスのアートファクトではなく、表現効率の失敗であると主張する。正則化のレンズを通じてプロンプト最適化を扱い、特に容量コストと範囲の狭さの成長を制御することで、TextReg はトレーニング分布を超えて汎化するプロンプトを生み出す原理的なメカニズムを提供する。

著者は、この作業をプロンプトの挙動をより予測可能で監査しやすくする手法の進歩として位置づけている。彼らは現在の限界を明確に指摘している：このフレームワークは、明確に定義された行動ルールを持つ単一ターン推論をターゲットとしており、オープンエンドな生成、マルチターンプロンプト、およびルール構造が曖昧になるエージェント指示については、将来の課題として残されている。