技術的概要：生涯 LLM エージェント適応における能力の劣化と維持

問題定義：自己進化型エージェントにおける能力の侵食

最近のフレームワークにより、大規模言語モデル（LLM）エージェントが推論ワークフローを自律的に洗練し、再利用可能なスキルを蓄積し、基盤となるモデルパラメータを更新し、永続的なメモリを維持できるようになりました。これらのシステムは、エージェントが継続的に能力を拡大する未来を約束しますが、本論文は「自己進化に伴う能力の侵食」という根本的な失敗モードを特定しています。

著者らは、自己進化がしばしば単調ではないことを実証しています。エージェントが新しいタスク分布（$Y$）に適応する際、$Y$ の最適化プロセスは、以前のタスク分布（$X$）で獲得された能力を頻繁に劣化させます。この現象は構造的に以下の 3 つの次元にわたって現れます：

1. 回顧的機能の減衰：新しいタスクの微調整や更新後に、以前習得したタスクのパフォーマンスが低下する。
2. 行動方針のドリフト：ワークフローが不必要に複雑化・肥大化し、以前の成功した行動には存在しなかったノイズや実行ステップが導入される。
3. 一般化の侵食：適応により有効な推論空間が狭まり、以前獲得したスキルやメモリ検索パターンに干渉する。

本論文は、これが特定のアルゴリズムの失敗ではなく、「制約のない継続的自己修正の構造的帰結」であると主張しています。変更可能なリポジトリがワークフローグラフ、スキルバンク、モデルパラメータ、またはメモリストアであるかどうかにかかわらず、現在のタスク分布のみを最適化することは、破壊的な干渉を引き起こし、以前のタスクでの成功した行動を支えていた構造を上書きまたは劣化させます。

方法論：能力維持進化（CPE）

これに対処するため、著者らは「能力維持進化（CPE）」という一般的な安定化原則を提案します。CPE は、標準的な自己進化の目的関数を修正し、明示的な保持正則化項を含めます。

理論的枠組み

著者らは、エージェントが新しい分布 $D_t$ 上の損失を最小化するために能力状態 $R_t$ を更新する過程として、自己進化をモデル化しています。単純な進化は現在の損失 $L_t(R)$ のみを最小化しますが、CPE は以下を解きます：
$$R^{CPE}_t \in \arg \min_{R \in \mathcal{R}} L_t(R) + \lambda \Omega_t(R, R_{t-1})$$
ここで、$\Omega_t$ は以前の能力支援構造からの逸脱を測定し、$\lambda$ は安定性 - 可塑性のトレードオフを制御します。

局所分析（命題 1 および 2）は、単純な更新が、更新方向が以前のタスクに対する高い曲率（感度）の方向と重なる場合、保持リスクを増大させることを示しています。CPE は、これらの敏感な方向に沿った更新にペナルティを課すことでこれを抑制し、エージェントが古いタスクに必要な「能力支援」を破壊することなく新しい分布に向かって移動することを効果的に制約します。

次元固有の実装

本論文は、CPE を 4 つの異なる進化チャネルに実装しており、それぞれにカスタマイズされた正則化項が用いられています：

1. ワークフロー進化：
   • リポジトリ：実行可能なワークフローグラフ/プロンプトプログラム。
   • メカニズム：正則化項 $\Omega_{wf}$ は、シードワークフローから抽出された「アンカー行動署名」からの逸脱を抑制します。これにより、単純タスクのパフォーマンスを劣化させる過度に複雑な検証ステップや構造的な迂回路の蓄積を防ぎます。
2. スキル/ツール進化：
   • リポジトリ：手続きテンプレートの容量制限付きスキルバンク。
   • メカニズム：正則化項 $\Omega_{sk}$ は、容量制限により有用なスキルが排除されることを防ぎます。これは、能力を維持する統合を行い、意味的に関連するスキルをマージし、新しいスキルが受け入れられる際に高有用性の履歴エントリを直接削除から保護します。
3. モデル進化：
   • リポジトリ：学習可能なモデルパラメータ（例：LoRA アダプター）。
   • メカニズム：正則化項 $\Omega_{md}$ は、Elastic Weight Consolidation（EWC）スタイルのペナルティを使用します。これは、以前のドメインに対するパラメータの重要性（フィッシャー情報を通じて）を推定し、それらの方向への移動にペナルティを課すことで、低重要性の方向でのみ適応を可能にします。
4. メモリ進化：
   • リポジトリ：永続的な外部メモリバンク。
   • メカニズム：正則化項 $\Omega_{mem}$ は、証拠ゲート型維持を使用します。繰り返し自己検証された支持を蓄積したメモリは安定したものとして扱われ、排除や破壊的な書き換えから保護されますが、証拠の低いエントリは適応可能のままです。

主要な結果

著者らは、CPE を、GPT-5.1、GPT-5 nano、GPT-4o mini、Qwen3-0.6B、Llama3.2-3B などを含む複数のモデルバックボーンおよび 4 つの主要なベンチマークにおける制約のない（「ヴァンilla」）自己進化と比較評価しました。

• ワークフロー進化（EvoAgentX on $\tau^2$-Bench）：
  • ヴァンilla 進化は、ワークフローの肥大化と単純タスクのパフォーマンス低下（例：GPT-5.1 による航空会社タスクで 57.1% から 41.8% へ）をもたらしました。
  • CPE はよりコンパクトな実行構造を維持し、複雑タスクへの適応を維持または向上させながら、保持された単純タスクのパフォーマンスを**52.8%**に向上させました。
• スキル進化（MemSkill on MATH）：
  • ヴァンilla 進化は、分布が数論へ移行するにつれて以前のスキル（例：幾何学）を順次上書きし、代数和幾何学の評価セットで継続的な劣化を引き起こしました。
  • CPE は以前のスキルの安定した利用を維持し、すべての逐次ドメインで保持された精度を向上させました（例：GPT-5 nano による幾何学の精度は 58.9% から 59.3% に向上）。
• モデル進化（STaR on MedMCQA）：
  • ヴァンilla 自己トレーニングは、モデルが新しいドメインに適応するにつれて、以前の医療ドメイン（解剖学、生化学）で壊滅的な忘却を示しました。
  • CPE は、すべてのドメインおよびモデルサイズで保持された精度を一貫して向上させました（例：Qwen3-0.6B における解剖学の精度は 29.4% から 30.5% に上昇）。
• メモリ進化（Dynamic Cheatsheet）：
  • 制約のないメモリ更新は、平均 2.3% の古いタスクの保持劣化をもたらしました。
  • CPE はこの保持ギャップを**0.7%**にまで削減し、新しいタスクへの適応を妨げることなく、以前学習したドメインの検索パターンを安定させました。

意義と主張

本論文は、自己進化型エージェントのすべての主要な次元（ワークフロー、スキル、モデル、メモリ）において、能力の侵食を構造的な失敗モードとして体系的に特定した最初の研究であると主張しています。

• 統合的な視点：著者らは、異質な実装にもかかわらず、すべての 4 つの次元が同じメカニズム、すなわち新しいタスクの最適化が古いタスクを支える構造を上書きするという点で苦しんでいることを示す、統合された干渉の視点を提供します。
• 安定化原則：本論文は、安定した長期的な自己進化には、新しい能力の獲得だけでなく、以前学習したものを明示的に維持することが必要であると仮定しています。CPE はこれを達成するための一般的な設計原則として提示されます。
• 限定的な範囲：著者らは、現在の維持メカニズムが軽量でドメイン固有であることを認めています。彼らはこの作業を、侵食現象の検証および明示的正則化がそれを軽減できることの証明として位置づけており、将来のすべての自律エージェントの課題に対する完全な解決策としては位置づけていません。彼らは、現実世界のエージェントは、ここでテストされた制御された逐次的なシフトよりもはるかに複雑で開放的な軌道に直面する可能性があることに言及しています。

結論として、本論文は、明示的な維持制約なしには、自己進化型エージェントは必然的に信頼できる行動から逸脱し、真の生涯学習が可能なエージェントを構築するには能力維持進化が不可欠な要素であると論じています。