技術要約: SkillMentor

問題提起

現在のエージェントの自己進化（self-evolution）へのアプローチは、主に**実行（execution）**に焦点を当てています。つまり、エージェラタのパラメータを更新したり、外部知識ベースを洗練させたりすることで、「どのように行動するか」を学習することです。これらの手法は、診断（diagnosis）、すなわち外部からの監督なしにエージェントの「ブラインドスポット（盲点）」（再発する失敗モード）を発見する能力を、ほとんど見落としています。既存の診断手順は、通常、設計された固定的なものか、あるいは何を修理すべきかを指定するための人間によるラベル付きデータに依存しています。その結果、「エージェントが何を知らないのか」を自律的に特定する能力は、未学習の能力のまま残されています。

著者らは、診断は概念的に実行とは区別されると主張しています。これを隔離して研究するために、以下の設定を提案します：

1. エグゼキューター（Executor）（タスクを実行するエージェント）は**凍結（frozen）**されている。その重みは決して更新されない。
2. 人間によるラベル付きデータは利用できない。システムは、失敗を指定するためのアノテーション済み例に頼ることはできない。
3. すべての性能向上は、学習された**診断能力（diagnostic capability）**のみから生じなければならない。

手法: SkillMentor

本論文は、小さなメンター・ポリシー（Mentor policy） ($\pi_\theta$) を強化学習（RL）を通じて訓練し、凍結されたエグゼキューター ($\pi_E$) を診断および修復するフレームワークであるSkillMentorを提案しています。このシステムは、以下の3つのステージからなる自己進化型フィードバックループを通じて動作します。

1. ブラインドスポットの発見 (Blind-Spot Discovery)

メンターは環境と相互作用し、**診断タスク（diagnostic tasks）**を生成します。

• 探索 (Exploration): メンターは環境を探索し、エグゼキューターに挑戦を与える候補タスクを合成します。
• 多様性 (Diversity): 多様性バッファ（diversity buffer）により、探索が狭い行動パターンに収束することを防ぎます。
• ギャップ評価 (Gap Evaluation): 各候補タスクに対し、強力な参照モデル ($M$) が高品質な軌跡とスコア ($s^M$) を生成します。凍結されたエグゼキューターは、現在のスキルリポジトリを使用して同じタスクを試行し、スコア ($s^E$) を算出します。
• 報酬 (Reward): 発見報酬 ($r_{disc}$) は、診断ギャップ $\delta = \max(0, s^M - s^E)$ として定義されます。ギャップが大きいタスクが優先的にキュレーションされます。

2. スキル・キュレーション (Skill Curation)

メンターは、特定されたブラインドスポットを、外部リポジトリに保存される再利用可能な**修正スキル（corrective skills）**へと変換します。

• 操作 (Operations): メンターは、新しいスキルを追加 (ADD)、既存のスキルを更新 (UPDATE)、または統合 (MERGE) することができます。
• 検証 (Validation): 候補となるスキルは、構文的に有効であり、かつ決定的な条件として、エグゼキューターの当該タスクにおける性能を $\Delta > 0.5$ のマージンで向上させる場合にのみ受理されます。
• 報酬 (Reward): キュレーション報酬 ($r_{curate}$) は、フォーマットの遵守と性能向上 ($\Delta$) を組み合わせたものです。
• メンテナンス (Maintenance): リポジトリの肥大化を防ぐため、成功率が低い（< 0.05）スキルを排除する軽量な削除 (DELETE) メカニズムを備えています。

3. 共同最適化 (Joint Optimization)

メンターは、以下の結合目的関数を最大化するように GRPO (Group Relative Policy Optimization) を用いて訓練されます：
$$J_{GRPO}(\theta) = J_{disc} + J_{curate} - \beta D_{KL}(\pi_\theta \parallel \pi_{ref})$$
著者らは、発見とキュレーションが正のフィードバックループを形成すると主張しています。すなわち、ブラインドスポットを発見することでより良いスキルが得られ、より良いスキルがエグゼキューターの能力境界を変化させ、以前は隠れていた新たなブラインドスポットを露出させるという仕組みです。このループを維持するためには、共同最適化が不可欠です。

主な貢献

1. 学習可能な能力としての診断: 本論文は、ブラインドスポットの診断が、固定された設計済みの手順やモデルスケールの副産物ではなく、適応的なポリシーとして学習可能であることを示しています。
2. 重み更新なしの自己進化: SkillMentorは、エグゼキューターのパラメータを更新することなく、外部の進化するスキルリポジトリに完全に依存することで、大幅な性能向上を達成します。
3. ゼロ・ヒューマンデータ制約: 本フレームワークは、人間の監督やラベル付きデータなしで動作し、システムが自律的に反復的な失敗を発見し、修復することを強制します。
4. 解釈可能性: 知識を重みの中に内面化する手法とは異なり、SkillMentorはスキルを人間が読めるMarkdownファイルとして保存するため、エグゼキューターの欠陥に関する解釈可能なマップを提供します。

実験結果

著者らは、AppWorld（長期計画）および BFCLv3（精密な関数呼び出し）において、3つの異なる凍結されたエグゼキューター（Qwen3.5-9B, Qwen3.5-4B, DeepSeek-R1-Distill-Qwen-7B）を用いてSkillMentorを評価しました。

• 性能向上: SkillMentorは、すべてのエグゼキューターとデータセットにおいて、「スキルなし（No Skill）」のベースラインに対して平均 44.2% の相対的な改善を達成しました。
• 強力なモデルとの比較: RL訓練された4Bのメンターは、静的なメンターとして使用された大幅に大きなプロンプトベースのモデル（例：DeepSeek-V4-Flash）を一貫して上回りました。これは、診断においては単なるモデルのスケーリングよりも、ターゲットを絞ったRL訓練の方が効果的であることを示唆しています。
• 転移性: 弱いエグゼキューター（より多くのブラインドスポットを露出させる）から学習されたスキルは、強いエグゼキューターへ効果的に転移し、しば_には強いモデルの自己訓練スキルに匹敵するか、それを上回る性能を示しました。逆に、強いモデルからのスキルは、弱いモデルに対しては効果が低い傾向にありました。
• アブレーション研究: 発見報酬またはキュレーション報酬のいずれかを取り除いたり、ポリシーを分離したりすると、大幅な性能低下を招きました。これにより、共同最適化の必要性が確認されました。
• 堅牢性: システムの性能は、「LLM Judge」（評価に使用される強力なモデル）の選択に対して堅牢であり、低コストのFlashティアのモデルでも、ほぼ最適な結果を達成しました。

意義と主張

本論文は、ブラインドスポットの診断は、実行とは独立して最適化可能な学習可能な能力であると主張しています。診断をポリシー最適化の問題として扱うことで、SkillMentorは、大規模なエグゼキューターの重みを再学習するための計算コストや、人間の監督によるプライバシー・コストの負担なしに、エージェントの自己進化を可能にします。

著者らは、このアプローチが「より良く行動する方法を学ぶ」というパラダイムから、「エージェントが何を知らないのかを学ぶ」というパラダイムへの転換であると強調しています。結果として得られるスキルリポジトリは、単なる診断の産物ではなく、新しいブラインドスポットの発見と修正スキルのキュレーションが互いに強化し合う、継続的な自己進化のエンジンとして機能します。この研究は、将来の自己進化型エージェントは、固定されたプロンプティングやパラメータ更新だけに頼るのではなく、専用の学習された診断ポリシーを組み込むべきであることを示唆しています。