XSkill: Continual Learning from Experience and Skills in Multimodal Agents

本論文は、マルチモーダルエージェントがパラメータ更新なしに過去の軌跡から学習し、視覚的観察に基づいて「経験」と「スキル」の二重ストリームを継続的に蓄積・適応させることで、複雑な推論タスクにおけるツール利用の効率性と柔軟性を大幅に向上させるフレームワーク「XSkill」を提案するものである。

要約

XSKILL：マルチモーダルエージェントの「経験」と「スキル」を学ぶ仕組み

この論文は、AI（特に画像を見て判断する AI）が、**「失敗から学ぶ経験」と「上手な手順をまとめたスキル」**の 2 つを組み合わせることで、より賢く、柔軟に問題を解決できるようになる新しい仕組み「XSKILL」を紹介しています。

まるで、**「熟練した職人」と「失敗談をまとめたメモ帳」**を同時に持たせたようなイメージです。

---

🎯 何が問題だったの？（従来の AI の悩み）

これまでの画像認識 AI は、新しい問題に直面すると、毎回「ゼロから考え直す」必要がありました。

• 非効率： 単純なミス（画像が逆さまになっているのに気づかないなど）を繰り返して、無駄なステップを踏んでしまう。
• 硬直性： 「A なら B」という決まりきった手順しか使えず、状況が変わると対応できなくなる。

まるで、**「地図も持たず、過去の失敗談も覚えていない旅行者」**が、毎回同じ道で迷子になってしまうようなものです。

💡 XSKILL の解決策：2 つの「知恵」を組み合わせる

XSKILL は、AI に 2 つの異なる種類の「知恵」を蓄えさせることで、この問題を解決します。

1. スキル（Skills）＝「レシピ本」や「マニュアル」

• 何をするもの？ 特定のタスクを成功させるための**「大まかな手順」や「道具の使い方の型」**です。
• 例： 「画像が逆さまなら回転させる」「小さな物体を拡大して見る」といった、「こうすれば大体うまくいく」という定石です。
• 役割： 作業の**「土台」**を作る。無駄な失敗を防ぎ、効率的に作業を進める。

2. 経験（Experiences）＝「失敗ノート」や「コツのメモ」

• 何をするもの？ 具体的な状況で起こった**「小さな気づき」や「失敗の理由」**です。
• 例： 「この画像は暗すぎるから、明るくしてから検索しよう」「この文字は赤い背景だと見間違えやすいから、切り取って確認しよう」といった、**「その場その場で役立つコツ」**です。
• 役割： 状況に合わせて**「臨機応変」**に対応する。

---

🔄 仕組み：どうやって学ぶの？

XSKILL は、AI が問題を解く過程を 2 つのフェーズに分けて回します。

フェーズ 1：知識の蓄積（「経験則」をまとめる時間）

AI が何度も試行錯誤（ロールアウト）をする過程で、以下のことを学びます。

1. 視覚的な気づき： 単に「テキスト」だけでなく、「画像がどう見えたか」という視覚的な情報も一緒に分析します。
   • 例：「画像が暗くて文字が見えなかったから、明るくするコードを実行した」
2. スキル化： 成功した手順を「レシピ（スキル）」としてまとめます。
3. 経験の抽出： 失敗した原因や、うまくいった瞬間の「コツ」を「メモ（経験）」として記録します。
4. 整理： 似たようなメモをまとめたり、重複を消したりして、知識庫を整理整頓します。

フェーズ 2：問題解決（「レシピ」と「メモ」を使う時間）

新しい問題が出たとき、AI は以下のように動きます。

1. 検索： 現在の画像や質問に合う「レシピ（スキル）」と「コツ（経験）」を探し出します。
2. 適応： 見つかった知識を、「今の画像」に合わせて書き換えます。
   • 例：「一般的な『画像を回転させる』というレシピを、『今の逆さまの画像』に合わせて適用する」
3. 実行： 書き換えた知識を参考にしながら、最適な手順で問題を解決します。

---

🌟 なぜこれがすごいのか？（メリット）

この仕組みを使うと、AI は以下のような変化を見せます。

• 失敗が減る（スキルのおかげ）： 「画像が逆さま」という基本的なミスに気づけるようになり、道具（ツール）を正しく使えるようになります。
• 柔軟になる（経験のおかげ）： 「この画像は暗いから、まず明るくしてから検索しよう」といった、状況に応じた臨機応変な判断ができるようになります。
• ゼロから学ばなくていい： 毎回ゼロから考え直す必要がなくなり、過去の「知恵」をすぐに引き出せるので、**「訓練なし（パラメータ更新なし）」**でもどんどん賢くなります。

---

🎨 具体的な例：マスコットの正体を当てる問題

論文にある図 1 の例で説明しましょう。

• 従来の AI（左）：

  • 画像が逆さまになっていることに気づかず、そのまま検索しようとする。
  • 小さなマスコットが写っているのに、拡大もせずそのまま検索する。
  • 結果： 検索結果が出ず、失敗。

• XSKILL を使った AI（右）：

  • スキル（レシピ）： 「画像が逆さまなら回転させよう」「物体が小さければ拡大しよう」という手順を思い出す。
  • 経験（コツ）： 「暗い画像は明るくしてから見よう」「見えない場合は画像検索を使おう」というメモを参照する。
  • 行動： 画像を回転させ、切り取って拡大し、その状態で検索する。
  • 結果： マスコットが「イルカ」だと正解できる！

---

🚀 まとめ

XSKILL は、AI に**「マニュアル（スキル）」と「失敗談・コツ（経験）」という 2 つの異なる知恵を蓄えさせることで、「視覚的な状況」**に合わせて柔軟に行動できるようにする画期的な仕組みです。

まるで、**「経験豊富な職人が、新人にマニュアルと『失敗しないためのコツ』を同時に教える」**ようなイメージで、AI がより人間らしく、賢く、効率的に問題を解決できるようになる未来を示しています。

技術概要

XSKILL: マルチモーダルエージェントにおける経験とスキルからの継続的学習

以下は、提示された論文「XSKILL: Continual Learning from Experience and Skills in Multimodal Agents」の技術的な要約です。

1. 背景と問題提起

マルチモーダル大規模言語モデル（MLLM）は、多様なツールを活用して複雑な推論タスクを処理できるようになりました。しかし、オープンエンドな環境下では、以下の 2 つの根本的なボトルネックが存在します。

1. ツールの非効率的な使用: エージェントは単純な問題で過剰なステップを費やす一方、複雑なクエリに対して十分な深さの多ターン探索を行えない傾向があります。
2. ツール編成の柔軟性欠如: 既存のシステムの多くは単一路径の実行に限定されており、タスク間で一般化できる形でツールを組み合わせる能力が不足しています。

既存のアプローチは、パラメータ更新なしで過去の軌跡から継続的に学習し、エージェントの能力を向上させるメカニズムが不十分です。特に、視覚的な観測に基づいて知識を抽出・適応させる仕組みが欠落しており、テキストの軌跡ログのみに依存しているため、視覚 - 意味のギャップ（visual-semantic gap）を埋めきれないという課題があります。

2. 提案手法：XSKILL

XSKILLは、マルチモーダルエージェントがパラメータ更新なしで継続的に学習するためのデュアルストリーム（二重流）フレームワークです。このフレームワークは、再利用可能な知識を以下の 2 つの補完的な形式で管理・活用します。

• スキル (Skills): 計画やツール編成のためのタスクレベルの構造化されたガイダンス（ワークフロー、ツールテンプレートなど）。
• 経験 (Experiences): 実行コンテキストや失敗パターンに紐づいたアクションレベルの簡潔な戦術的ガイダンス（ツール選択、エラー回復など）。

主要なアーキテクチャとプロセス

XSKILL は「蓄積（Accumulation）」と「推論（Inference）」の 2 つのフェーズで構成されます。

フェーズ 1: 知識の蓄積 (Accumulation)

トレーニングデータから、エージェントが複数のロールアウト（試行）を行い、そこから知識を抽出・統合します。

1. ロールアウト要約 (Rollout Summary): 複数の成功/失敗の軌跡を、視覚的にグラウンディングされた要約を行います。単なるテキストログではなく、画像観測とツールの呼び出し、中間出力を統合して分析し、「なぜそのアクションがとられたか」の視覚的根拠を記録します。
2. クロスロールアウト批判 (Cross-Rollout Critique): 成功と失敗の軌跡を対比分析し、因果関係を特定して構造化された「経験」を抽出します。
3. 知識の統合 (Knowledge Consolidation): 抽出されたスキルと経験を階層的に統合します。類似する経験はマージして冗長性を排除し、スキルドキュメントは一般化と簡潔さを保つよう洗練されます。これにより、一時的な軌跡の洞察が永続的で汎用性の高い知識ベース（Markdown 形式のスキルライブラリと JSON 形式の経験バンク）へと変換されます。

フェーズ 2: 経験とスキルを用いたタスク解決 (Inference)

テストタスクに対して、蓄積された知識を動的に検索・適応させます。

1. タスク分解と検索 (Task Decomposition & Retrieval): 入力クエリを複数の抽象的なサブタスクに分解し、それぞれに対して視覚的コンテキストを考慮して経験を検索します。これにより、単一のクエリ検索では見逃されがちな多面的なニーズをカバーします。
2. タスク適応と注入 (Task Adaptation & Injection):
   • 経験の書き換え: 検索された一般的な経験を、現在の視覚的状況（画像の内容など）に合わせて具体化し、実行可能な形に書き換えます。
   • スキルの適応: グローバルなスキルドキュメントから、現在のタスクに関連する部分を選択・剪定し、書き換えられた経験をワークフローに統合します。
3. 実行: 適応された知識をシステムプロンプトに注入し、エージェントが実行します。実行履歴は再び蓄積フェーズにフィードバックされ、知識ベースの継続的な改善を可能にします。

3. 主要な貢献

1. 初の視覚グラウンディング型デュアルストリームフレームワーク: マルチモーダルエージェント向けに、タスクレベルの「スキル」とアクションレベルの「経験」を視覚的観測に基づいて統合的に抽出・活用する初のフレームワークを提案しました。
2. パラメータフリーの継続的学習: 重みの更新なしで、視覚 - ツール相互作用から知識を蓄積し、エージェントの性能を向上させることを実証しました。
3. 広範なベンチマークでの性能向上: 多様なドメイン（視覚的エージェントツール使用、マルチモーダル検索、包括的推論）および 4 つのバックボーンモデル（Gemini-2.5-Pro, Gemini-3-Flash, GPT-5-mini, o4-mini）において、既存の最良のベースラインを凌駕する結果を示しました。
4. ゼロショット汎化能力: 蓄積された知識が異なるタスクやモデル間でも効果的に転移（Cross-model transfer）し、ゼロショット設定でも高い性能を発揮することを示しました。

4. 実験結果

• 評価ベンチマーク: VisualToolBench, TIR-Bench, MMSearch-Plus, MMBrowseComp, AgentVista の 5 つのベンチマークで評価。
• 性能向上: 4 つのモデルすべてにおいて、ツールのみを使用するベースラインと比較して、Average@4（4 回の試行の平均成功率）で 2.58〜6.71 ポイントの向上を達成しました。特に困難な設定では、最良のベースラインに対して最大 11.13 ポイントの改善が見られました。
• アブレーション研究:
  • 「スキル」と「経験」の両方が不可欠であり、どちらか一方を欠くと性能が大幅に低下することが確認されました。
  • スキルはツールの構造的な誤り（構文エラー、ツール名の誤りなど）を減らし、実行の堅牢性を高めます。
  • 経験はタスク固有のコンテキストに応じたツールの選択や戦略的な編成を可能にし、柔軟なオーケストレーションを実現します。
• 転移学習: 一つのベンチマークで蓄積した知識を別のベンチマークに適用するゼロショット転移実験でも、すべてのベースラインを上回る性能を維持しました。

5. 意義と結論

XSKILL は、マルチモーダルエージェントが「過去の経験とスキルから継続的に学習する」ための効果的なメカニズムを提供します。従来の静的なプロンプトやテキストベースの学習では対応しきれなかった「視覚的な文脈に根ざした知識の抽出と適応」を実現することで、エージェントの推論能力とツール使用の効率性を飛躍的に向上させます。

このアプローチは、大規模なモデルの再学習（ファインチューニング）を必要とせず、構造化された人間可読の知識（スキルドキュメントや経験リスト）として外部化されるため、透明性や解釈性が高く、人間の監修や知識の編集も容易です。これにより、実世界の環境において自律的に進化し続けるマルチモーダルエージェントの実現に向けた、スケーラブルで実用的な道筋を示しました。