技術要約: MMG2Skill

問題提起

視覚言語モデル（VLM）エージェントは、デスクトップGUI制御、オープンワールドゲーム、戦略的カードゲームなど、インタラクティブな環境における長期間のプロシージャル（手順的）な作業を課されることが増えています。これらの領域における成功への主要な障害は、弱いプロシージャル・グラウンディング（手順的接地）、すなわち、エージェントが再利用可能な手順を自身の実行時状態に結びつけることができないという点です。ウェブ上には、マルチモーダルなプロシージャル知識（ガイド、チュートリアル、ドキュメント）が豊富に存在しますが、これらの資料は人間による実行を想定して設計されています。そのため、これらはマルチモーダルで異種混合的であり、ノイズが多く、さらに人間特有のコンテキスト（例：兄弟となる手順、前提条件となる仮定、ナビゲーション用のテキスト）を暗黙的に含んでいます。

エージェントに生のガイドを直接プロンプトとして与える手法は、エージェントが適用可能なステップと無関係な内容を容易に区別できなかったり、エージェントが標準的な経路から逸脱した際にガイドを適応させられなかったりするため、失敗することがよくあります。逆に、あらゆるタスクに対して手動でスキルを作成することは労力がかかりすぎ、エージェント自身の探索のみによって発見されたスキルは、エージェント自身の失敗によって制限されてしまいます。本研究が取り組む中心的な問いは、「VLMエージェントは、実世界のマルチモーダルなガイドを、自身のロールアウトを通じて改善される実行接地型のスキルへと蒸留できるか？」というものです。

手法: MMG2Skill フレームワーク

著者らは、マルチモーダルなガイドを編集可能かつ実行可能なスキルに変換し、リビジョン（改訂）プロセス中にベンチマークスコアに依存することなく継続的に改善するクローズドループ・フレームワークであるMMG2Skillを提案しています。このフレームワークは、以下の3つのステージで動作します。

1. マルチモーダル・スキル構築 (Tutorial-to-Skill):
   システムは、生のマルチモーダルガイド（HTML、画像、スクリーンショット）を、編集可能な SKILL.md 表記へと正規化します。VLMスキル抽出器は、ガイドを構造化されたスキルの集合 $S = \{z_i\}$ に変換します。各スキル $z_i$ は以下を含みます：

   • $u_i$: 再利用可能な手順。
   • $c_i$: 適用条件。
   • $v_i$: 期待される状態のキュー（手がかり）。
   • $q_i$: 回復のための知識。
     このステップにより、非構造化された人間のアーティファクトが、より安全なプロシージャルな事前知識へと変換されます。

2. スキル条件付き実行:
   エージェントのロールアウト（試行 $k$）中、現在のスキルセット $S_k$ が、タスク指示および直近の履歴とともにエージェントのコンテキストに注入されます。エージェントのポリシー $\pi_\theta$ は固定されており、タスク、履歴、および現在のスキルに基づいてアクションを条件付けます：$a_t \sim \pi_\theta(a_t | h_t, I, S_k)$。スキルセットは、ドメイン固有のアクション・インターフェースを変更することなく、プロシージャルなコンテキストとして機能します。

3. 軌跡駆動型スキル改訂 (Trajectory-Driven Skill Revision):
   試行後、**アナライザー（分析器）**は、タスク指示とエージェントから見える軌跡のみを読み取ります（ベンチマークスコアや隠れた状態は読み取りません）。そして、何が機能し、何が失敗したかの証拠を示す $e_k$ と、結果の評価（例：likely_success）を示す $r_k$ からなる診断 $\rho_k = (e_k, r_k)$ を生成します。
   次に、**リファイナー（洗練器）**が、元のガイド、現在のスキル、および蓄積された診断を用いて、スキルセットを更新します：$S_{k+1} = \text{REFINE}(G, I, S_k, \rho_{1:k})$。リファイナーは、不足しているチェックの追加、状態キューの鋭敏化、あるいは誤解を招くアドバイスの削除を行うことで SKILL.md ファイルを編集し、以前の試行で検証された振る舞いを保持します。

このフレームワークには、アナライザーの likely_success シグナルに基づく早期停止メカニズムが含まれており、軌跡がタスクを満たしていると判断された場合にループを停止させ、最終段階での性能退行を防ぎます。

ベンチマーク: MMG2Skill-Bench

この能力を評価するために、著者らはガイドからスキルへの学習に特化して設計された初のベンチマークである MMG2Skill-Bench を導入しています。

• 範囲: 3つのインタラクション・レジーム（GUI (OSWorld)、Game (OpenHA Minecraft)、Strategy (RLCardによる斗地主および麻雀)）に及びます。
• 構成: 成功が推論可能な130のタスクと、それに関連する公開マルチモーダルガイドで構成されています。
• 制約: タスクは、エージェントから見える軌跡または公開された最終状態から結果が推論できるものに限定されています。このベンチマークは、ガイドから答えを直接コピーできるようなタスクを除外しており、評価が検索能力ではなくプロシージャル・グラウンディングを測定するように設計されています。

主な結果

本フレームワークは、6つのVLMバックボーン（Claude-Opus、GPT-5.5、Kimi、Gemini、Qwenを含む）を用いて、MMG2Skill-Bench上で評価されました。

• 全体的なパフォーマンス: MMG2Skillは、すべてのモデル・ドメインの設定において、バニラなベースラインエージェント（スキルなし）および「Raw Guide」ベースライン（直接的なガイド注入）を一貫して上回りました。バックボーン全体でのマクロ平均の向上幅は、+12.8から+25.3パーセントポイントに及びました。
• メカニズムのアブレーション（要素別解析）:
  • Raw Guide Injection (生のガイド注入): 生のガイドを直接プロンプトとして与える手法は信頼性に欠け、ガイドと環境のグラウンディングの不一致により、しばしば性能を低下させました（例：Gameにおいて -1.67 pp）。
  • Structured Extraction (構造化抽出): ガイドを構造化されたスキルに変換すること（改訂なし）は、より安全なプロシージャルな事前知識を提供し、バニラなエージェントよりも高い性能を実現しました。
  • Trajectory-Driven Revision (軌跡駆動型改訂): 改訂コンポーネントは、GameおよびStrategyドメインにおいて、利得の大部分（総利得の90%以上）を占めており、ガイドと実行時の間のギャップを修復しました。
• 効率性: MMG2Skillは、表示される試行ステップの平均数を減少させつつスコアを向上させました。これは、探索的な寄り道が減少したことを示しています。
• 早期停止: アナライザーに基づく早期停止は、最終段階での性能退行（非単調性）を防ぎ、成功推論可能なタスクにおいて、高い適合率（>74%）と再現率（GUI/Gameで >95%）を維持しながら、試行回数を**25%〜53%**削減しました。

意義と主張

本論文は、主に2つの貢献を主張しています。

1. MMG2Skill-Bench: 成功推論可能なインタラクティブ・タスクと、実世界のマルチモーダル・ガイドを組み合わせた新しいベンチマークを確立し、ガイドからスキルへの学習を評価するための標準を提示しました。
2. MMG2Skill フレームワーク: 公開されているガイドが、改訂のためにベンチマークスコアを必要とすることなく、ロールアウトを通じて改善される、編集可能で実行接地型のスキルへと変換可能であることを示すクローズドループ・システムを提示しました。

著者らは、ガイドへのアクセスだけでは不十分であることを強調しています。生のガイドを用いたプロンプトは性能を損なう可能性がある一方で、構造化されたスキルの構築はより安全な事前知識を提供し、軌跡駆動型の改訂はグラウンディングのギャップを修復するために不可欠です。さらに、改訂による利得は非単調であるため、キャリブレーションされた早期停止が不可欠であることも指摘しています。本研究は、プロシージャルな素材を実行可能なスキルへと変換するという問題を、ガイドの発見という上流の問題とは切り離して扱っています。