以下は、提示された論文「Learning to Self-Evolve (LSE)」の詳細な技術的サマリーです。

論文サマリー：Learning to Self-Evolve (LSE)

1. 問題定義 (Problem)

大規模言語モデル（LLM）は、トレーニングが終了するとその政策（ポリシー）が固定され、テスト時に蓄積された経験から動的に自己適応・進化することができません。既存の「テスト時自己進化（Test-time Self-Evolution）」のアプローチは、主に以下の 2 つの課題を抱えています。

1. 明示的な学習の欠如: 既存の手法（自動プロンプト最適化や自己参照的更新など）は、モデルの「推論能力」や「事前学習で得られた能力」に依存しており、自己改善タスクそのものを明示的にトレーニングしていません。
2. 多段階最適化の難しさ: 進化のプロセスは本質的に多段階の意思決定問題ですが、これを直接最適化すると、長い時間軸におけるクレジット割り当て（どの行動が結果に寄与したかの特定）が困難になり、計算コストも膨大になります。

本研究は、LLM がテスト時にフィードバックに基づいて自身のコンテキスト（プロンプトや指示）を反復的に改善し、新しい問題に対してより良いパフォーマンスを発揮できるようにする「学習可能なスキル」としての自己進化に焦点を当てています。

2. 手法 (Methodology)

著者らは、Learning to Self-Evolve (LSE) という強化学習（RL）フレームワークを提案しました。この手法は、以下の 3 つの主要な構成要素で特徴づけられます。

2.1 テスト時インターエピソード自己進化の定式化

• タスク設定: 入力空間 $X$、出力空間 $Y$、報酬関数 $R$ からなるタスク $T$ を定義します。
• プロンプトベースのアプローチ: モデルのパラメータ $\theta$ は固定し、コンテキスト $c$（システムプロンプトや指示など）のみを更新します。これにより、継続学習における「カタルシス忘却（Catastrophic Forgetting）」を回避し、自然言語推論タスクとして進化問題を扱います。
• プロセス: 各ラウンド $t$ で、現在のポリシー $\pi^{(t)}$ が問題バッチを解き、その結果（経験）に基づいて自己進化ポリシー $f_\psi$ が新しいコンテキスト $c_{t+1}$ を生成します。

2.2 ツリー誘導進化ループ (Tree-Guided Evolution)

単純な線形進化（$c_0 \to c_1 \to \dots$）は、一度悪い方向へ進んでしまうと元に戻れないというリスクがあります。これを防ぐため、進化木（Evolution Tree） を維持します。

• UCB 選択: 各ラウンドで、最も最近のノードを拡張するのではなく、Upper Confidence Bound (UCB) スコアに基づいて木内のノードを選択します。
  $$n^* = \arg \max_{n \in G} \left( \bar{R}_n + C \sqrt{\frac{\ln N}{v_n}} \right)$$
  ここで、$\bar{R}_n$ は保持データセット（Holdout set）での平均報酬、$v_n$ は訪問回数です。
• メリット: 有望な過去のコンテキストに戻って枝分かれさせることで、局所最適解に陥るのを防ぎ、より広範な探索を可能にします。

2.3 改善ベースの強化学習 (Learning to Self-Evolve)

LSE の核心は、自己進化ポリシー $f_\psi$ を強化学習で明示的にトレーニングすることです。

• 単一ステップへの簡略化: 多段階の軌道全体を最適化するのではなく、1 ステップ（現在のコンテキストとパフォーマンス要約を受け取り、1 回の更新を行う）の問題として定式化します。
• 改善ベースの報酬 (Improvement-Based Reward):
  従来の「編集後の絶対スコア」ではなく、「編集による改善量」を報酬とします。
  $$r_{LSE} = \bar{R}(c_1) - \bar{R}(c_0)$$
  • 理由: 絶対スコアを報酬にすると、元々高い性能を持つコンテキストを維持しようとするバイアスが生じます。改善量を用いることで、初期性能に関わらず「改善させること」自体を学習動機付けます。
• ベースラインの不要化: 編集前の報酬 $\bar{R}(c_0)$ は既知であり、アクションに依存しないため、そのままベースラインとして機能します。これにより、価値関数モデルやグループ正規化を必要とせず、効率的に方策勾配（Policy Gradient）を更新できます。

3. 主な貢献 (Key Contributions)

1. 定式化と実装: テスト時インターエピソード自己進化を定式化し、プロンプトベースの更新とツリー探索を組み合わせた実用的なシステムを構築しました。
2. LSE フレームワークの提案: 改善ベースの報酬を用いた強化学習フレームワークを提案し、自己進化ポリシーを明示的にトレーニング可能にしました。
3. 高性能な結果: パラメータ数が 40 億（4B）のモデルでトレーニングされた LSE が、GPT-5 や Claude Sonnet 4.5 などの最先端モデル、および GEPA や TextGrad などのプロンプト最適化手法を凌駕する性能を示しました。
4. 転移学習の能力: 特定のモデル（Qwen3-4B）でトレーニングされた自己進化ポリシーが、追加トレーニングなしで他のモデル（Arctic-Text2SQL-R1-7B など）を導くことができることを実証しました。

4. 実験結果 (Results)

実験は「Text-to-SQL 生成（BIRD データセット）」と「一般質問応答（MMLU-Redux）」の 2 つのドメインで行われました。

• BIRD (Text-to-SQL):

  • LSE (4B モデル): 平均実行精度 67.3%
  • GPT-5: 65.2%
  • Claude Sonnet 4.5: 64.5%
  • GEPA: 62.8%
  • TextGrad: 63.1%
  • Qwen3-4B-Instruct (未トレーニング): 62.2%
  • 結果: 4B モデルの LSE は、最先端の閉源モデルを 2% 以上上回り、他のプロンプト最適化手法とも明確に差をつけました。

• MMLU-Redux (QA):

  • LSE (4B モデル): 平均精度 73.3%
  • GPT-5: 72.5%
  • Claude Sonnet 4.5: 72.0%
  • 結果: 同様に、GPT-5 と同等以上の性能を達成し、Claude や他の最適化手法を上回りました。

• アブレーション研究:

  • 報酬設計: 改善ベースの報酬（$r_{LSE}$）を使用した場合、編集後の絶対スコアを最適化する従来の GRPO 手法（$A_{GRPO}$）よりも BIRD で 4.3% 高い性能を示しました。
  • 探索戦略: ツリー探索（UCB）は、線形チェーン（直線的な進化）と比較して、BIRD で 2.4%、MMLU-Redux で 2.2% 高い性能を示しました。特に、悪い編集が発生した場合に、木構造によってより良い祖先ノードに戻れる点が有効でした。

• 転移性:

  • LSE でトレーニングされたポリシー（Qwen3-4B）を、別の RL 調整済みモデル（Arctic-7B）のコンテキスト改善に適用したところ、平均 6.7% の精度向上が見られました。

5. 意義と結論 (Significance & Conclusion)

本研究は、「自己進化（Self-Evolution）」を単なる推論能力の副産物ではなく、強化学習によって明示的に学習・最適化可能な独立したスキルとして捉えるパラダイムシフトを示しました。

• 小規模モデルの潜在能力: 4B パラメータのモデルであっても、適切にトレーニングされれば、数十倍〜数百倍の規模を持つ最先端モデルや、複雑な最適化アルゴリズムを上回る適応能力を発揮できることを実証しました。
• 実用性: テスト時にモデルパラメータを変更することなく、コンテキストのみを更新して性能を向上させるため、既存の LLM 導入ワークフローへの統合が容易です。
• 将来展望: 本研究は、テスト時適応の新たな方向性を示唆しており、より大規模なドメイン横断トレーニングや、パラメータ空間・潜在空間との組み合わせなど、今後の研究の基盤となっています。

要約すれば、LSE は「経験から学ぶ能力」そのものをモデルに学習させることで、静的なモデルを動的な自己改善システムへと変貌させる画期的なアプローチです。