技術要約: RESOURCE2SKILL

問題提起

大規模言語モデル（LLM）エージェントは、高品質なアーティファクト（例：スライドデッキ、3Dシーン、オーディオプロジェクト）を生成するために、複雑なソフトウェアを操作するタスクをますます課されるようになっている。これらの領域における成功は、孤立した事実的知識よりも、目標を分解し、ツールのパターンを選択し、中間状態を検査し、失敗から回復する方法を定義する再利用可能な手続き的知識（procedural knowledge）、すなわち「スキル」に依存している。

既存のスキルライブラリには、主に3つの制限事項がある：

1. 作成の偏り（Creation Bias）： これらは主に専門家によって手書きされるか、エージェントのインタラクション・トレースからマイニングされるものであり、膨大な量の人間による専門知識が活用されないまま残されている。
2. モダリティのギャップ（Modality Gap）： クリエイティブなソフトウェアタスクにおける人間の学習は、多くの場合、マルチモーダルなリソース（チュートリアル動画、画面録画、リポジトリ）を通じて行われる。これらには、静的なテキストでは捉えきれない時間的シーケンス、視覚的効果、および暗黙的なデザインの選択が含まれている。
3. 推論の非効率性（Inference Inefficiency）： 生のマルチモーダルデータ（例：フルビデオ）をエージェントのコンテキストに直接注入することはコストが高く冗長であるが、それらを単純なテキスト要約に圧縮してしまうと、実行に不可欠な動的かつ視覚的な信号が失われてしまう。

核心となる課題は、これらのマルチモーダルな人間作成リソースを、エージェントが推論時に効果的に使用できる、構造化され、実行可能で、検索可能な形式へと自動的に蒸留することである。

メソドロジー

RESOURCE2SKILLは、マルチモーダルリソースを階層的な**スキルWiki（Skill Wiki）**へと蒸留し、それを利用してエージェントを実行させるために設計されたフレームワークである。本システムは、構築、組織化、選択、および実行を含む統一されたパイプラインを通じて動作する。

1. 階層的マルチモーダル・スキルWiki

システムは、スキルを構造化されたタプル $s = (p, x_{text}, x_{visual}, x_{code}, m)$ として整理する：

• $p$ (Path/パス): ドメイン固有のタクソノミーにおける位置（例：Blenderのスキルをジオメトリ、ライティング、マテリアルごとに整理）。
• $x_{text}$: メカニズム、適用可能性、入力、および期待される効果を説明する構造化されたテキスト。
• $x_{visual}$: サムネイル、スクリーンショット、レンダリングされたプレビュー、または図を含む視覚的な例。
• $x_{code}$: 実行可能または適応可能なコード断片（または参照専用のパターン）。
• $m$ (Metadata/メタデータ): フィルタリング用のタグ、プロベナンス（由来）、および検証ステータス。

この設計により、テキストは概念的な接地（grounding）を提供し、コードは実行可能なパターンを提供し、ビジュアルはテキストだけでは不十分なレイアウト、スタイル、および動きの情報を保持することを保証する。

2. リソースからスキルへの構築（Resource-to-Skill Construction）

構築オペレータ $(f_\theta, A_D)$ が、生のリソースをWikiエントリーへと変換する：

• 入力: チュートリアル動画、ソースリポジトリ、記事、および参照アーティファクトを含むマルチモーダルリソース。
• 蒸留: ビジョン能力を持つ言語モデル（$f_\theta$）が、モダリティ固有のエビデンス（キーフレーム、コード領域、散文の記述）を抽出し、構造化されたスキルのペイロードを生成する。
• 検証: ドメイン固有の述語（$A_D$）が、完全性、追跡可能なプロベナンス、重複排除、モダリティの一貫性、および構造的な実行可能性（コードフィールド用）の5つの決定論的なチェックを強制する。
• オンライン/オフラインの統一: 同一のオペレータを使用して、大規模なオフラインライブラリを構築すると同時に、オフラインのプールにカバー範囲が不足している場合に新しいスキルを獲得するためのオンライン取得にも使用される。これにより、ライブラリは漸進的に拡張可能となる。

3. 選択と構成 (METABROWSE)

効率的にスキルを検索するために、システムは2段階の選択プロセスを採用する：

1. 語彙的スコアリング（Lexical Scoring）: BM25スコアラーが、エントリーの名前、タグ、適用可能性、そして決定的な要素であるタクソノミーパス（$p$）を検索することで、候補セットを絞り込む。これは、ライブラリをフラットなリストとして扱うのではなく、階層構造を利用して、トピックに関連するサブツリー内のスキルを優先させるものである。
2. LLMによる選択: 言語モデルは、構造化されたエビデンス（テキスト、ビジュアル、コード）を読み取り、構成するためのサブセットを選択する。モデルは、適合する候補がない場合はゼロのスキルを選択することができ、強制的な構成を防ぐ。

4. 実行

選択されたスキルは、Model Context Protocol (MCP) インターフェースを介して適用される。コードが存在する場合、それはドメインのバックエンドに対して直接実行される。参照専用のスキルの場合は、視覚的およびテキスト的なエビデンスに基づいて、エージェント自身がコードを書くためのガイドとなる。

主な貢献

1. リソースからスキルへの学習（Resource-to-Skill Learning）: 再利用可能な実行可能スキルをマルチモーダルな人間リソースから蒸留する問題を定式化し、チュートリアル動画が手続き的および知覚的知識の重要な、未利用のソースであることを特定した。
2. 階層的マルチモーダル・スキルライブラリ: 各スキルがテキスト、コード、ビジュアルを統合するWiki形式の組織化を提案し、エージェントが多様なドメインにおいて、フラットなテキスト検索よりも効果的にスキルを検索・構成できるようにした。
3. 統一されたオフライン・オンライン・パイプライン: 大規模なオフラインライブラリの構築と、制御されたオンラインでのギャップ補充の両方に単一の構築オペレータを使用することで、スキルライブラリの保守性と拡張性を確保した。
4. 広範な実証的評価: 本システムは、PPT、Web、Excel、Blender、Reaper、CAD、UE5の7つの実用的なオーサリングドメインにわたって評価された。

実験結果

評価は7つのドメインと4つのエージェントバックエンド（GPT-5.5, GPT-5.4, GPT-5.4 Mini, GPT-5.4 Nano）を対象とし、W SKILLS（RESOURCE2SKILL）を、W/O SKILLS（スキルなしのベースライン）および2つの既成のエージェンティック・ハーネス（CLAUDECODE-H, CODEX-H）と比較した。

• 性能向上: RESOURCE2SKILLは、スキルを持たないエージェントと比較して、平均的な総合スコアを11.9パーセントポイント向上させた。また、28個の主要な集計モデル–ドメインセル中、26個において強力なエージェンティック・ハーネスのベースラインを上回った。
• ドメイン間の差異: 密な慣習と複雑な視覚的/時間的要件を伴うドメインで、最も顕著な利得が見られた（例：UE5では+30〜+40 ppの利得があり、BlenderやExcelも大幅な改善を示した）。利得は、スキルなしの事前知識が比較的有能であったReaperでは最小であった。
• アブレーション研究:
  • マルチモーダル形式: ビジュアルまたはコードのフィールドを削除すると性能が著しく低下し、テキストだけでは実行の指定として不十分であることを裏付けた。
  • ソースの多様性: ビデオは代替不可能なソースとして特定された。ビデオを削除すると、平均スコアは68.9%から59.4%に低下した。
  • 組織化: 階層的なWikiインターフェースは、フラットなテキスト検索よりも2.5〜8.2パーセントポイント高い性能を示し、特に構造的なコンテキストを必要とするドメインで有効であった。
  • 選択戦略: 階層化してからLMで選択する戦略（METABROWSE）は、純粋な語彙的（BM25）または高密度（Embedding）な検索ベースラインよりも優れた性能を示した。
  • オンライン取得: オンライン取得は効果的なギャップ補充として機能し、オフラインプールに存在しない新しいタスクにおいてスコアを+21.6 pp向上させた一方で、標準的なタスクへのノイズの追加は無視できる程度であった。

意義と主張

本論文は、人間が作成したマルチモーダルリソースからスキルを蒸留することが、スキルを持たないエージェントや強力なエージェンティック・ハーネスをも凌駕する、再利用可能な手続き的知識をソフトウェアエージェントに提供できることを示していると主張している。

著者らが強調する主なポイントは以下の通りである：

• ビデオは不可欠である: チュートリアル動画は、テキストでは代替できない時間的および視覚的な信号を提供しており、クリエイティブなドメインにおける高品質なスキル蒸留において不可欠である。
• 構造が重要である: スキルの階層的な組織化は、フラットな検索よりも優れている。なぜなら、それはドメイン構造をエンコードし、探索空間を狭めるからである。
• スケーラビリティ: 本システムは固定されたプロンプト集ではなく、能力のギャップが特定されたときにオンラインで拡張可能な、成長し続ける維持可能な手続き的メモリである。
• 汎用性: このアプローチは多様なソフトウェア・オーサリング・タスクを通じて検証されており、ツール豊かな複雑な環境におけるエージェント能力を強化するための汎用的な道筋を示唆している。

著者らは、本システムがプログラムによるツール・インターフェースと、手続き的コンテンツの公開ストリームの存在に依存していること、および判定者（人間）との一致が許容範囲内ではあるものの完璧ではないことを指摘し、一般化に関する謙虚な姿勢を維持している。本研究は、普遍的なタスクへの適用可能性を主張することよりも、蒸留および検索フレームワークの有効性に焦点を当てている。