技術的サマリー：計画よりも証拠：スキル蒸留のためのオンライン軌道検証

問題定義

大規模言語モデル（LLM）エージェントは、人間が記述した手続き的スキルを用いてタスクの成功率を向上させることができるが、環境に根ざした検証なしには、これらのスキルの質を評価することは困難である。既存のスキル生成手法は、しばしば環境との直接相互作用ではなく、好意ログや事前計画に依存している。これにより、根本的なボトルネックが生じる：スキルは頻繁に「事前ベース」であり、つまり、実行を通じて発見された経験的証拠ではなく、一般的なヒューリスティックやモデルの初期意図を符号化している。その結果、これらの手法は、実際のタスク実行中にのみ現れる特定の制約、依存関係、失敗モードを欠いているため、異なる能力を持つモデル間でスキルを転送する際に、無視できるか、むしろ低下した利益をもたらすことが多い。

手法：SPARK と PDI

著者は、環境検証済みの証拠に根ざしたスキルを生成し、それらが蒸留される軌道の質を分析するために設計されたフレームワーク、SPARK（Autonomous Runnable tasKs and sKill generation のための構造化パイプライン）を提案する。

1. SPARK パイプライン

SPARK は、相互接続された 2 つのパイプラインを通じて動作する：

• スキル生成パイプライン：「教師」エージェントが、最大 $N_{max}$ 回の試行まで Docker 化された環境と相互作用する。
  • 探索メモ：生ログを保持する代わりに、エージェントは試行、コマンド、検証済み事実、現在のエラーパターン、次の戦略を要約する構造化された「探索メモ」を維持する。このメモは、コンテキストの希薄化を防ぐため、各失敗後に追記されるのではなく、書き換えられる。
  • 証拠の組み立て：成功時には、システムは 6 つの構造化された証拠ブロックを構成する：タスクパターン、実行チェーン、検証記録、教訓（失敗パターン）、環境コンテキスト、生サポートテール。
  • 蒸留：これらのブロックは、再利用可能な SKILL.md ドキュメントに蒸留される。
• タスク構築パイプライン：厳密な評価を確保するため、SPARK は自然言語の指示を構造化されたタスク設計図に変換する。これらは、自己完結型で実行可能なベンチマークインスタンスを作成するために、反復的な批判、修復、および決定論的オラクル検証（pytest を使用）を受ける。

2. 事後蒸留指数（PDI）

スキルが事前計画ではなく、事後証拠（環境相互作用）に根ざしているかどうかを定量化するために、著者は**事後蒸留指数（PDI）**を導入する。PDI は、3 つの z スコア化された信号の等重線形結合として計算される軌道レベルの指標である：

1. 実行の根拠（$\phi_{exec}$）：エージェントの成功した実行コマンドと最終的なスキルの分布的類似性を測定する。高い値は、スキルが環境によって検証された操作に焦点を当てていることを示す。
2. 計画のコピー（$\phi_{plan}$）：探索メモの「次の戦略」セクションと最終的なスキルの間の類似性を測定する。低い値が望ましく、これはスキルがエージェントの初期計画から逸脱し、新しい証拠を取り入れていることを示す。
3. メモの骨化（$\phi_{oss}$）：試行全体にわたる「検証済み事実」と失敗したテストセットの安定性を測定する。低い値が望ましく、これはエージェントの理解が同じ失敗パターン（認知的停滞）を繰り返すのではなく進化していることを示す。

$$PDI = z(\phi_{exec}) - z(\phi_{plan}) - z(\phi_{oss})$$

3. オンライン介入

重要な革新は、PDI の代理指標をオンライン診断信号として使用することである。スキル探索中、代理-PDI が閾値を下回ると、SPARK は介入をトリガーする：

• ソフト介入：より広範な仮説の修正を促す。
• ハード介入：以前の戦略を保持せず、エージェントを検証済み事実とエラーパターンに固定させ、エージェントが古びた計画に固執するのを防ぐ。

主要な貢献

1. 軌道検証済み指標（PDI）：環境証拠に根ざしたスキルと、未検証の事前計画に基づくスキルを区別する、原理的かつ解釈可能な指標。どの軌道が転送可能なスキルを生み出すかについての機械的な評価を提供する。
2. 透明なスキル生成（SPARK）：実行ログ、検証シグナル、メモ履歴を保持するフレームワークにより、完全な軌道レベルの分析を可能にし、蒸留プロセスを分析可能にする。
3. オンライン介入メカニズム：PDI 代理指標を使用してスキル探索プロセス中に監視および介入し、蒸留完了前に生成されたスキルの質を能動的に向上させる手法。
4. 軌道ベンチマーク：完全な実行トレース、検証シグナル、蒸留されたスキルを備えた 86 の実行可能タスク（300 のバリエーションに拡張）のデータセット。環境相互作用を介したスキル転送の評価を可能にする。

実験結果

著者は、SkillsBench ベンチマークの 86 タスクと生成された 300 のタスクバリエーション、ならびに ALFWorld 環境において SPARK を評価した。

• 性能向上：SPARK 生成スキルは、GPT-5.4-nano から DeepSeek-Chat までの 7 つの学生モデルにおいて、「スキルなし」のベースラインおよび人間が記述したスキルを常に上回った。特に、SPARK スキルを搭載した小規模な学生モデルは、スキルを生成するために使用された強力な教師モデルの無支援性能を凌駕することが多かった。
• コスト効率：教師の探索は高価であるが、蒸留されたスキルにより、より弱い学生モデルは、教師の探索コストの最大1,000 倍安い推論コストでタスクを解決できる。
• PDI の予測力：
  • PDI とスキル向上の間には有意な正の相関（$\rho \approx 0.36$）がある。
  • 高 PDI 軌道からのスキルは、最高の通過率向上を達成した。
  • 「計画のコピー」（高い $\phi_{plan}$）と低い実行根拠の組み合わせは、ほぼゼロまたは負の利益をもたらした。これは、証拠なしに計画を要約することは無効であることを確認する。
  • 「メモの骨化」（高い $\phi_{oss}$）はスキル品質と負の相関があり、認知的停滞が転送を害することを示している。
• オンライン介入：アブレーション研究により、PDI 誘導のオンライン介入を有効にすることが、ダウンストリームの通過率を大幅に向上させたことが示された（例：特定のサブセットにおいて DeepSeek-Chat の通過率を 9.1% から 42.4% に向上）。
• 一般化：SPARK スキルは、タスクバリエーション全体、さらには分布外（OOD）の ALFWorld 環境にわたって一般化し、成功率を 16.7% から 40.0% に向上させた。

意義と主張

本論文は、エージェントにとって効果的な手続き的知識は事後ベースでなければならないと主張する。つまり、それは環境相互作用を通じてのみ発見可能な制約と失敗モードを符号化しなければならない。著者は以下を主張する：

• タイミングが重要：堅牢なスキルは、事前計画ではなく、経験的相互作用から蒸留されるべきである。
• 計画よりも証拠：スキルの質は、エージェントの初期計画の複雑さではなく、検証済み証拠への根拠によって決定される。
• 転送性：PDI を使用して蒸留をフィルタリングおよび誘導することで、SPARK は効率的で転送可能であり、これらの特定の環境に根ざした洞察を持たない強力なモデルを上回ることを可能にするスキルを生成する。
• 機械的な理解：このフレームワークは、ブラックボックスのスキル生成を超え、なぜ一部の軌道（発散的な探索、低い骨化）が有用なスキルを生み出し、他の軌道が生み出さないのかについての機械的な理解を提供する。

著者は、自律的なスキル生成が、将来のエージェントが継承し、検証可能に実行できる重要な知識を生産するための前提条件として、エージェントが環境から学ぶことが、後付けではなく、最も効果的に機能すると結論づけている。