技術的概要：MMSkills：汎用視覚エージェントのためのマルチモーダル技能に向けて

1. 問題定義

既存のエージェント技能フレームワークは、主に再利用可能な行動をテキストプロンプト、実行可能コード、または学習済みルーチンとしてエンコードしている。言語抽象化環境で動作するエージェントにとっては有効であるが、このアプローチは視覚的証拠に大きく依存して意思決定を行う視覚エージェント（例えば、GUI エージェントやゲームエージェント）には不十分である。これらのエージェントにとって、手続き的知識は本質的にマルチモーダルである。成功した再利用は、どの操作を実行するかだけでなく、関連する視覚状態を認識し、進捗または失敗の証拠を解釈し、視覚的手がかりに基づいて次のステップを決定することに依存する。

現在のテキストのみの技能は、視覚タスクに対しては冗長でありながら不十分になる傾向があり、一方、生のデモンストレーションは長く、特定のインスタンスに依存し、適応が困難である。このギャップは、以下の 3 つの具体的な課題を生み出している：

1. 表現：手続き、視覚状態、検証の手がかりを、一貫性のある再利用可能な単位に結合するマルチモーダル技能パッケージをどのように構造化するか。
2. 生成：手書きの例や生の再生に依存することなく、公開された非評価インタラクション軌道からそのようなパッケージをどのように導き出すか。
3. 利用：推論時に、過度な画像コンテキストでエージェントを圧倒したり、エージェントをライブ環境ではなく参照スクリーンショットに過度に固定させたりすることなく、マルチモーダル技能証拠をどのように参照するか。

2. 手法

著者は、マルチモーダル技能パッケージ、技能生成器、ブランチ読み込み技能エージェントという 3 つの中核コンポーネントからなるフレームワークMMSkillsを提案する。

2.1 マルチモーダル技能パッケージ

MMSkill は、状態条件付きの手続きパッケージ $M = (D, P, S, K)$ として定義される：

• $D$（記述子）：技能のコンパクトな記述。
• $P$（手続き）：行動パターンの再利用可能なテキスト記述。
• $S$（状態カード）：意思決定ノードとして機能する実行時状態カードのセット $S_j$。各カードは以下を指定する：
  • 使用時および使用しない時の条件。
  • 検査する視覚的手がかり。
  • 進捗または完了を確認する検証の手がかり。
  • 利用可能なビュー（例：全体フレーム、焦点切り取り、前後ビュー）。
• $K$（キーフレーム）：状態カードと整合したマルチビュー画像バンドル。コンテキスト用の全体フレーム、特定の手がかり用の焦点切り取り、遷移用のオプションの前後ビューを含む。

この構造は、静的な指示を、視覚的証拠がエージェントに手続きに従うか、スキップするか、検証するかを決定するのを助ける、動的で状態を認識するガイドへと変換する。

2.2 技能生成パイプライン

このフレームワークは、公開された非評価軌道を MMSkills に変換する自動化された軌道から技能への生成器を導入する。このプロセスは 5 つの段階を含む：

1. 埋め込みとクラスタリング：広範なドメインを意味的に焦点を絞ったクラスタにグループ化する。
2. クラスタレベルの計画：LLM ベースのエージェントが、ワークフローの境界と完了条件を備えた原子技能を提案する。
3. マージ：計画を重複排除し、一般化してマージされた技能仕様にする。
4. テキスト優先ドラフト作成：画像を読み取らずに、記述子、手続き、状態カードを生成する。
5. 画像グラウンディングと監査：選択されたキーフレームを読み取り、焦点領域をグラウンディングし、マルチビューバンドルを構築し、メタ技能（再利用可能なスクリプトと品質ゲート）を使用して最終パッケージを監査する。

2.3 ブランチ読み込みエージェント

コンテキストの過負荷と視覚的固定化の問題に対処するため、著者はブランチ読み込みを提案する。技能パッケージ（テキスト＋複数の画像）全体をメインエージェントのコンテキストに注入する代わりに、システムは一時的なブランチ内で 2 つの段階で動作する：

1. 段階 1（ゲート付きビュー選択）：ブランチはライブ観測と技能のテキスト/状態カードを分析し、視覚的証拠が必要かどうかを決定する。必要な場合、関連する状態カードと特定のビュータイプ（例：焦点切り取り対全体フレーム）のみを選択する。
2. 段階 2（プランナーガイダンス）：ブランチは選択された証拠をライブ状態と整合させ、適用性、部分目標、計画、制約、検証チェックを含むコンパクトで構造化されたガイダンスタプル $G_t$ をメインエージェントに返す。
   メインエージェントは、この蒸留されたガイダンスを使用して、参照画像に気を取られることなく、ライブスクリーンショットに基づいてグラウンディングされた意思決定を行う。

3. 主要な貢献

1. マルチモーダル技能パッケージ：テキスト手続き、実行時状態カード、マルチビューキーフレームを統合した、汎用視覚エージェントのための再利用可能な技能のマルチモーダル手続き的知識としての最初の定式化。
2. エージェント型生成器：ワークフローのグループ化、手続きの誘導、視覚的グラウンディング、メタ技能ガイドの監査を通じて、公開されたインタラクション軌道をマルチモーダル技能パッケージに変換する自動化パイプライン。
3. ブランチ読み込み：技能と環境のグラウンディングを一時的なブランチ内で分離し、構造化された意思決定支援をメインエージェントに返す前に証拠を選択・整合させるランタイムメカニズム。
4. 実証的検証：OSWorld、macOSWorld、VAB-Minecraft、Super Mario Bros などの多様な GUI およびゲームベースのベンチマーク、および複数のモデルファミリーにおける顕著な性能向上の提示。

4. 実験結果

著者は、最先端モデル（例：Gemini 3.1 Pro、Qwen3-VL-235B）および小型モデル（例：Qwen3-VL-8B）を使用して、OSWorld、macOSWorld、VAB-Minecraft、Super Mario Bros上で MMSkills を評価した。

• 性能向上：MMSkills は、「技能なし」および「テキストのみの技能」のベースラインに対して、一貫して成功率を向上させた。例えば、OSWorld において、MMSkills は Qwen3-VL-235B を 21.34% から 39.17% に、Qwen3-VL-8B を 10.78% から 25.40% に向上させた。
• アブレーション研究：
  • コンポーネント：状態カードとマルチビュー視覚的証拠の両方が重要であることが示された。いずれかを除去すると性能が低下した。
  • 読み込みメカニズム：ブランチ読み込みは、直接読み込み（技能全体をコンテキストに挿入）を上回った。直接読み込みは、コンテキスト汚染と視覚的固定化により性能を損なうことが多かったのに対し、ブランチ読み込みはテキストのみの技能であっても明確な向上をもたらした。
• インタラクションダイナミクス：
  • 呼び出し：MMSkills はテキストのみの技能よりも頻繁に呼び出された。これは、状態カードが関連性の検出を容易にすることを示唆している。
  • 効率性：MMSkills はインタラクションステップの平均数を削減した（例：OSWorld における Qwen3-VL-235B で -5.35 ステップ）。これは、タスク解決パスが短縮されたことを示している。
  • 行動の変化：MMSkills を使用するエージェントは、反復的な行動が減少し、探索的な試行錯誤から、グラウンディングされ状態を認識した実行へと移行した。例えば、「クリック」アクションの割合は減少し、「キーボード」と「DONE」アクションの割合は増加した。これは、完了意識の向上を示唆している。

5. 意義と主張

本論文は、外部のマルチモーダル手続き的知識がモデル内部の事前知識を補完すると主張する。行動手続きを、それらの適用に必要な視覚的証拠と状態依存の意思決定に明示的に結合することで、MMSkills は視覚エージェントが以下を行うことを可能にする：

• 視覚状態に基づいて、手続きが適用可能かどうかを認識する。
• 視覚的手がかりを使用して、進捗、失敗、完了を区別する。
• テキストのみの技能（不十分な仕様）や生のデモンストレーション（適応性の欠如）の落とし穴を回避する。

著者は、このアプローチが、明示的な視覚的手続き的知識が限られた内部事前知識を補うことができる、より弱い視覚エージェントにとって特に価値があると強調している。この研究は、汎用視覚エージェントにとって、「技能」単位は、視覚的グラウンディングを通じて意思決定を導く状態条件付きマルチモーダルパッケージへと進化しなければならないことを示唆している。

限界：著者は、ソース軌道の網羅性への依存、技能生成または視覚的グラウンディングにおける潜在的な誤り、およびブランチ読み込みメカニズムによって導入される追加の推論コストを認めている。また、これを安全クリティカルな設定に拡張するには、より強力な検証とオンライン修復メカニズムが必要であると指摘している。