論文要約：Learning to Evolve: A Self-Improving Framework for Multi-Agent Systems via Textual Parameter Graph Optimization

本論文は、大規模言語モデル（LLM）に基づくマルチエージェントシステム（MAS）の設計と最適化における課題を解決するため、**「Textual Parameter Graph Optimization (TPGO)」**という新しいフレームワークを提案しています。従来のプロンプトチューニングの限界を克服し、システム自体が経験から学習して自己進化することを可能にします。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

背景

LLM の進化により、単一のモデルから、ツールを使用し意思決定を行う自律的な「マルチエージェントシステム（MAS）」へとパラダイムシフトが起きています。MAS は複雑なタスクを専門的なサブエージェントに分解することで、単一の LLM を凌駕する能力を示しています。

課題（Agent Engineering の壁）

MAS の性能は、エージェントのプロンプト、ツールの記述、エージェント間の通信プロトコル、ワークフローなどの「テキストコンポーネント」の精密な設定に依存します。これを「エージェントエンジニアリング」と呼びますが、以下の重大な課題があります。

1. 構造的な欠如: 既存の自動最適化手法（Automatic Prompt Optimization: APO）は、主にフラットなテキスト（プロンプト）の微調整に焦点を当てており、MAS 内部の複雑な相互作用（エージェント、ツール、ワークフローの絡み合い）の構造を理解してデバッグする能力が不足しています。
2. 静的な最適化: 既存のオプティマイザは「学習しない」ため、過去の失敗や成功から最適化戦略自体を改善できません。一度の最適化で終わってしまい、時間経過とともに性能が向上する仕組みがありません。

解決すべき核心: MAS が真の自律性を獲得するには、最適化システム自体が経験から学習し、進化できる必要があります。

---

2. 提案手法：TPGO (Textual Parameter Graph Optimization)

TPGO は、MAS の最適化を「グラフ進化問題」として再定義し、以下の 3 つの主要なコンポーネントで構成される閉ループサイクルを実現します。

2.1 テキストパラメータグラフ (Textual Parameter Graph: TPG)

従来の単一のプロンプトを、構造化された有向グラフ $G=(V, E)$ として表現します。

• ノード (V): システムの論理をモジュール化します。
  • Role Node: エージェントの役割、目標、戦略。
  • Logic Node: 推論プロトコル、制約条件。
  • Tool Node: ツールの機能記述、API 仕様。
• エッジ (E): ノード間の依存関係や論理的フロー（エージェント間の通信、ツールの呼び出しなど）を表現。
• 利点: 構造を可視化・モジュール化することで、特定のノードの内容修正や、エッジの追加・削除による構造変更（ツールの無効化や新機能の追加）が可能になります。

2.2 テキスト勾配 (Textual Gradients) による進化

従来の数値勾配が使えない離散的なテキスト構造に対し、実行トレースから構造化された自然言語フィードバック「テキスト勾配」を生成します。

1. 診断と勾配生成: 実行結果（成功/失敗）を分析し、以下の勾配を生成します。
   • Positive Gradient ($\delta+$): 成功パターンを抽出し、強化すべき行動を提案。
   • Negative Gradient ($\delta-$): 失敗（ハルシネーション、ツール誤用など）の原因を特定し、修正を提案。
2. クラスタリング: 個々の失敗ではなく、意味的に類似した失敗パターンをクラスタリングし、根本原因を特定します。
3. 最適化提案: クラスタに基づき、グラフ編集操作（ノードの書き換え、エッジの削除/追加など）を含む具体的な修正計画（$\Delta G$）を生成します。

2.3 グループ相対エージェント最適化 (Group Relative Agent Optimization: GRAO)

これが TPGO の「脳」であり、最適化プロセス自体を自己改善させるメタ学習戦略です。

• 最適化経験メモリ: 過去の「問題文脈（エラー）」「解決策（グラフ編集）」「結果（有効性スコア）」を記録します。
• 適応的提案生成: 新しいエラーが発生した際、メモリから類似する過去の成功事例（グループ）を検索し、その中から最も効果的だった戦略を Few-shot 例として提示します。
• 効果: 最適化器（Optimizer LLM）が経験から学習し、より効果的でターゲットを絞った修正提案を生成できるようになります。これにより「最適化の仕方を学ぶ（Learning to Optimize）」ことが可能になります。

---

3. 主要な貢献

1. TPGO フレームワークの提案: マルチエージェントシステムの最適化を「グラフ進化問題」として扱う初のフレームワーク。構造的・意味的な両面からの改善を可能にします。
2. Textual Parameter Graph (TPG) の導入: 単一のテキストを、個別に最適化可能な意味単位（モジュール）に分解する構造化表現を提案。
3. Group Relative Agent Optimization (GRAO) の設計: 過去の経験メモリを活用し、最適化戦略自体を継続的に改善する自己進化型メタ最適化手法を考案。
4. 実証実験: 複雑なベンチマーク（GAIA, MCP-Universe）において、最先端（SOTA）のエージェントフレームワークの性能を大幅に向上させることを実証。

---

4. 実験結果

TPGO は、探索的最適化（正解がない環境）と模倣的最適化（正解がある環境）の両方で評価されました。

4.1 探索的最適化 (MCP-Universe)

• 設定: 正解がなく、実行フィードバックからの自己修正が求められるタスク（ツール使用、ブラウザ自動化など）。
• 結果:
  • GPT-4.1 ベースの ReAct エージェントにおいて、全体成功率が 30.96% → 38.82% に向上（相対的に 25.4% 増）。
  • Web 検索タスクでは、5.45% から 14.55% へ劇的な改善。
  • DeepSeek-V3.2 モデルでも同様の改善が見られ、環境フィードバックのみで複雑なワークフローを最適化できることを示しました。

4.2 模倣的最適化 (GAIA)

• 設定: 正解（Golden Answer）が存在するタスク。
• 結果:
  • 強力なベースライン（MiroFlow + GPT-5）に対しても、全体成功率が 73.8% → 81.6% に向上。
  • 効率性の向上: 平均実行時間が 4014 秒 → 1765 秒（56% 削減）。非効率な推論経路が剪定され、より直接的な解決策へ収束しました。
  • 最も難しいレベル 3 のタスクで、44.4% から 63.6% へ大幅改善。

4.3 消融実験と安定性

• 構成要素の重要性: TPG（構造化）、構造編集、クラスタリングのすべてが性能向上に寄与しており、単なるテキスト書き換え以上の効果があることが確認されました。
• GRAO の効果: GRAO を含まない場合、最適化の反復中に「破滅的忘却（Catastrophic Forgetting）」が発生し、性能が急落しました。GRAO を用いることで、安定して性能が向上し続けることが確認されました。
• ドメイン間汎化: ブラウザ自動化タスクで最適化したエージェントは、最適化していない他のドメイン（Web 検索、リポジトリ管理など）でも性能向上が見られ、過学習ではなく汎用的な能力向上をもたらすことが示されました。

---

5. 意義と結論

本論文の TPGO は、エージェントエンジニアリングの自動化において以下の点で画期的です。

• 構造的視点の導入: 単なるプロンプト調整ではなく、システムアーキテクチャそのものを最適化対象とすることで、MAS の複雑な相互作用のバグを解決可能にしました。
• 自己進化の実現: 最適化プロセス自体がメタ学習を通じて改善されることで、一度きりの最適化ではなく、継続的な性能向上を実現しました。
• 実用性: 大規模なベンチマークでの高い成功率と、実行時間の短縮という効率性の両立は、実世界での MAS 導入における手作業の負担を大幅に軽減する可能性を示しています。

将来的には、より複雑な構造変更やバックボーンモデルの選択などへの拡張が期待されますが、TPGO は「学習して進化するエージェントシステム」の実現に向けた重要な一歩です。