技術概要：MIND-Skill

問題定義

大規模言語モデル（LLM）駆動の AI エージェントは、自律的な問題解決において成功を収めていますが、ドメイン固有の手順的知識（API 利用、多段階のツール呼び出しなど）を必要とする複雑で多段階の実世界タスクには苦戦しています。再利用可能な「エージェントスキル」— 成功した戦略をカプセル化した構造化ドキュメント — は解決策となり得ますが、それらのキュレーションは依然として主に手作業で、専門家主導のプロセスです。既存の自動スキル生成手法には、以下の 3 つの決定的な限界があります：

1. 品質保証の欠如: 多くの手法は、実行結果に基づいてエラーを修正するクローズドループ検証パイプラインなしに、タスス仕様や軌跡から直接スキルを生成します。
2. ドキュメント品質の低さ: 生成されたスキルは、論理的な流れやトラブルシューティングのガイダンスといった技術文書基準に準拠できず、その移植性と再利用性が低下しています。
3. 検証されていない抽象化の忠実性: 軌跡蒸留手法は、一般化しすぎたり、重要なエッジケースの処理や前提条件チェックを保持できなかったりして、ソースの振る舞いを忠実に再現しないスキルにつながる傾向があります。

手法：MIND-Skill

著者は、堅牢な品質保証を備えた汎用性の高いスキルを自動的に合成するフレームワーク MIND-Skill（Multi-agent INduction and Deduction for Skills）を提案します。このフレームワークは、TextGrad を用いて最適化されたクローズドループの帰納・演繹プロセスを通じて動作します。

コアアーキテクチャ

1. 帰納エージェント（$A_I$）: 成功した軌跡（$\tau$）とタスク仕様（$t$）を構造化されたスキルドキュメント（$s$）に抽象化する役割を担います。エージェントのシステムプロンプト（$P_I$）が、プロセス中に最適化される唯一の変数です。
2. 演繹エージェント（$A_D$）: タスク仕様（$t$）と誘導されたスキル（$s$）のみを使用して、元の軌跡（$\tau$）を再構築しようとする「凍結」されたエージェントです。ソース軌跡や外部ガイダンスへのアクセスは一切受けません。これにより、再構築の失敗はすべてスキル自体の欠陥に直接起因することが保証されます。

テキスト損失による最適化

このフレームワークは、LLM ジャッジと環境実行によって評価される、3 つの相補的なテキスト損失関数を用いて帰納プロンプト（$P_I$）を共同最適化します：

• 再構成損失（$L_{recon}$）: ソース軌跡（$\tau$）と再構成された軌跡（$\hat{\tau}$）間の手順的整合性を測定します。LLM ジャッジは、文字通りのステップごとの類似性ではなく、戦術レベルの同等性（例：同じ検索 - 集約パターン）を評価します。
• 結果損失（$L_{outcome}$）: 再構成された軌跡をライブ環境で実行することで、実行の正確性を強制します。タスク目標が達成されたかどうかに基づいた真実の信号を提供します。
• ルーブリック損失（$L_{rubric}$）: ドキュメント品質を評価し、抽象化レベルを正則化します。「真実の漏洩」（特定の API パスやエンティティ ID の暗記）を罰則付けし、スキルが実行可能で、転送可能で、完全かつ簡潔であることを保証します。

最適化手順

このシステムは、結果損失を主要な目的とし、再構成損失とルーブリック損失を同点決定要因とする辞書式最小化を採用します。TextGrad を使用して、勾配 LLM が 3 つの損失からのテキストフィードバックを分析し、失敗パターンを診断して帰納プロンプト（$P_I$）の修正案を提案します。その後、オプティマイザー LLM がプロンプトを更新します。この反復プロセスは、固定されたステップ数にわたって継続し、これまでに発見された最良のスキルを保持します。

主要な貢献

1. 新規フレームワーク: 人間の介入なしに成功した軌跡から汎用性の高いスキルを合成する、マルチエージェントの帰納・演繹フレームワークである MIND-Skill の導入。
2. 品質保証メカニズム: スキルが忠実で、正確で、適切に文書化されていることを保証するために、3 つのテキスト損失（再構成、結果、ルーブリック）を用いたクローズドループ最適化戦略の提案。重要なのは、スキル品質を唯一の変数として分離するために、演繹エージェントを凍結したままにしている点です。
3. 実証的検証: MIND-Skill が、生成中に未見のソースタスクと保持済みタスクの両方においてエージェントのパフォーマンスを向上させ、同時代の最先端手法を上回ることを実証。

実験結果

著者は、MIND-Skill を 2 つのベンチマーク、AppWorld（インタラクティブなコーディングエージェントベンチマーク）と BFCL-v3（マルチターン関数呼び出しベンチマーク）で評価しました。

• パフォーマンス: MIND-Skill は、ReAct、インコンテキスト学習（ICL）、Skill-extract（ワンショット帰納）、ACE（生涯進化）、Trace2Skill（軌跡蒸留）を含むベースラインを一貫して上回りました。
  • AppWorld-Challenge において、MIND-Skill はタスク目標完了率（TGC）で 51.8%、シナリオ目標完了率（SGC）で 39.6% を達成し、次点の手法（ACE は TGC 51.1%、SGC 34.5%）を大幅に上回りました。
  • BFCL-v3 において、MIND-Skill は最高精度を達成しました（Qwen3.5 ベースで 77.3%、GPT-5.4 ベースで 78.7%）。
• アブレーション研究:
  • 3 つの損失関数のいずれかを削除するとパフォーマンスが低下し、それらの不可欠性が確認されました。再構成損失は Challenge タスクにとって最も重要であり、一方、ルーブリック損失は Normal タスクでの過学習を防ぐために不可欠でした。
  • クローズドループ最適化は、ワンショットのスキル抽出（Skill-extract）を大幅に上回り、反復的な洗練の価値を浮き彫りにしました。
• モデル非依存性: MIND-Skill は、より弱いベースモデル（Qwen3.5-122B）が、スキルジェネレーターとして使用された際に、より強力なモデル（GPT-5.4）と同等のパフォーマンスを達成できるようにし、このフレームワークがアライメントと最適化を通じて能力ギャップを効果的に補完することを示唆しています。
• 効率性: MIND-Skill はコンパクトなスキルを生成し、ACE などのモノリシックなプレイブックと比較して、推論時に 3〜6 倍少ないトークンを注入します。

重要性

本論文は、MIND-Skill が、原理的なクローズドループパイプラインを通じて品質保証を提供することで、自動スキル生成における重要なギャップを埋めると主張しています。事後のエラー診断や検証されていない抽象化に依存する先行手法とは異なり、MIND-Skill はソースの振る舞いを再構築しようとすることで、スキルを明示的に検証します。このフレームワークは、高品質で汎用性の高い手順的知識を成功した軌跡から自動的に蒸留でき、手作業によるキュレーションへの依存を減らし、エージェントが複雑で長期的なタスクをより効果的に実行できるようにすることを示しています。結果は、テキスト損失最適化と組み合わせた帰納・演繹パラダイムが、エージェントの能力を拡張するための堅牢なアプローチであることを示唆しています。