Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining

技術要約：コンピュータ使用エージェントのための SKILL.md 生成の自動化：インタラクション・トラジェトリ・マイニングによるアプローチ

問題提起
コンピュータ使用エージェント（CUA）は、基本動作（クリック、タイピング、スクロール）を通じてグラフィカル・ユーザー・インターフェース（GUI）を操作する。これらのエージェントが単一ステップのタスクから複雑なワークフローへと移行するにつれ、繰り返されるパターンが出現し、それらは「スキル」としてパッケージ化できる。スキルとは、基本動作の上、かつ完全なタスク計画の下に位置する名前付きの手順である。明示的なスキルライブラリ（ここでは SKILL.md ファイルと呼ぶ）は、検査やデバッグを容易にするが、これらは通常手動で記述されるため、インターフェースの進化に伴う命名、スコープ設定、更新においてボトルネックとなる。

本研究の中心的な問いは、明示的なスキルライブラリをインタラクション・トラジェトリから自動的にマイニングすることで、ダウンストリームのエージェント・ポリシーを改善できるか否かである。著者らは、一貫性のあるアクションのクラスターを「発見」する能力と、それらのクラスターを新しいタスクのための有用なポリシーへと「転移」させる能力を区別している。彼らは、あるクラスターが一貫していても有用であるとは限らないこと、また、ポリシーの改善はスキルの語彙の獲得ではなく、データ量の増加に起因する場合があることを指摘している。

手法
本論文は、InteraSkill (IW) データセットからスキルをマイニングし、その有用性を評価するための3段階のパイプラインを提案している。

1. フェーズ1：トラジェトリのセグメンテーション（境界検出）

   • パイプラインは、「アクション・ジャンプ」に基づいてトラジェトリを分割する。隣接するアクション・ベクトル間のユークリッド距離（$\Delta a_t = \|a_t - a_{t-1}\|_2$）を計算する。
   • 境界F1スコアを最大化するために、保持されたIWデータ上で閾値 $\theta$ を選択する。$\Delta a_t > \theta$ であれば、境界としてマークされる。
   • アクション・ベクトルは、15個の正規化された特徴量（基本動作のone-hot、画面座標、タイムスタンプ、テキスト長、スクロール量）で構成されるが、DOMやスクリーンショットのデータは含まれない。

2. フェーズ2：スキル・エンベディング（ライブラリ構築）

   • セグメント表現： 各セグメントは、アクション・ベクトルの平均（$\mu$）と対角分散（$\Sigma$）を用いた「バッグ・オブ・アクション（bag-of-actions）」として要約される。この表現は長さに依存しないが、逐次的な順序（例：タイプする前にクリックするか、クリックする前にタイプするか）を破棄する。
   • クラスタリング： 平均と分散のプロファイル間の二乗Bures距離（対角ガウス分布における2-Wasserstein距離の特殊ケース）を用いてセグメントをクラスタリングする。集約型クラスタリングを $k=8$ から $16$ で実行する。
   • 精緻化： クラスタリングの割り当てを疑似ラベルとして使用し、教師あり対照学習エンコーダ（MLP）を訓練する。これにより、エンベディングをより内部的に一貫したものへと精緻化し、30次元の入力を16次元の潜在空間へと写像する。

3. フェーズ3：スキル認識ポリシーの訓練

   • マイニングされたスキル・ラベルは、スキル・シーケンス組成（タスク・コンテキストに基づく次のスキル・ラベルの予測）のためのポリシー訓練に使用される。
   • ベースライン： 単純なMLPおよびTransformerモデルが、学習されたセグメント・エンベディングを消費する。
   • メイン・ポリシー： Qwen3-8Bを、ベースモデルからのGroup Relative Policy Optimization (GRPO) を用いて訓練する。報酬モデルはフル・スキル認識レスポンスをスコアリングし、ポリシーは教師ありウォームスタートなしで更新される。
   • 評価： 主要な指標は、スキル・ステップ精度および保持されたベンチマーク（WebArena, BrowseComp+）における完全なシーケンス一致である。IWはソース・ドメインとして機能する。

主な貢献

1. 自動スキル・マイニングのパイプライン： 著者らは、GUIトラジェトリをセグメント化し、それらを候補スキルへとクラスタリングし、SKILL.md スタイルのアーティファクトを生成する再現可能なパイプラインを提示している。
2. 転移に関する診断的評価： 本研究は、マイニングされたスキルがダウンストリームのポリシー性能を向上させるかどうかを、ゼロショット・ベースラインおよび自明な統計的事前分布と比較することで厳密に評価している。
3. 負の結果と限界： 論文では、マイニングされた構造はソース・ドメインにおいては読み取り可能であるが、現在のパイプラインは信頼できるクロスドメインのポリシー改善を生み出すには至らないことを報告している。

結果

• ソース・ドメインの可読性： ソースドメインであるIWベンチマークにおいて、マイニングされたクラスターは高い可読性を示す。8つのクラスターのうち5つが、グラウンドトゥルースのIWスキル・ラベルに対して $\ge 0.95$ の純度を達成した（例：document_edit, data_transfer）。対照学習エンコーダは、Normalized Mutual Information (NMI) を0.65（Wassersteinベースライン）から0.86へと向上させた。
• 低い転移性能：
  • GRPOの性能： マイニングされたスキルを用いてGRPOでQwen3-8Bを訓練しても、ソースドメインでの利得はわずかであり（IWスキル・ステップ精度は18.5%から20.5%へ上昇）、保持されたドメインでは低下または変化なし（WebArenaは55.8%から44.2%へ低下、BrowseComp+は~43.3%で停滞）となった。
  • ベースラインの失敗： 自明な 頻度ベースライン（最も一般的な次のスキルを予測するもの）が、IWスキル・ステップ精度において、学習されたMLPおよびGRPO訓練済みポリシーの両方を上回った（23.3%および20.5%に対し、34.9%）。
  • 編集距離： 自動生成された SKILL.md ファイルは、すべてのデータサイズにおいて、頻度ベースラインよりも高い正規化編集距離を示し、最も単純な統計的事前分布にすら勝てなかった。
• 境界検出の問題： アクション・ジャンプのヒューリスティックは、スキルを過剰に分割（低精度）し、ドメイン間で安定しない。IWから導出された閾値をWebArenaに適用すると、F1スコアが急落（0.119）し、境界信号が転移しないことを示している。
• 表現の限界： 「バッグ・オブ・アクション」表現（平均/分散）は、GUIスキルにおいて極めて重要な逐次的な順序を破棄している（例：コピーの後にペーストする）。これが、複雑な組成ルールをポリシーが学習できない要因となっていると考えられる。

意義と主張
著者らは、本研究を成功の主張ではなく、明確に 診断的研究 として位置づけている。その意義は、現在のトラジェトリ・マイニング手法の限界を明らかにすることにある：

• 検査可能性 vs 有用性： トラジェトリ・マイニングは、ソース・ドメインにおける検査可能なスキル構造を露出させることはできるが、可読性が転移可能性を意味するわけではない。
• パイプラインの不十分さ： $\ell_2$ 境界検出器、順序を無視したセグメント表現、およびオフライン報酬モデルの組み合わせは、信頼できるクロスドメインのポリシー改善を実現するには不十分である。
• より強力なコントロールの必要性： 将来のスキル発見の研究は、改善が単なるデータセットの不均衡や出力形式への適応によるものではないことを保証するために、頻度や遷移の事前分布と比較しなければならない。
• クロスドメインでの利得なし： 本研究は、現在の学習されたコンポーネントが、自明なベースラインや手動設計を上回るという証拠を見いだせなかった。

結論として、マイニングされたスキルは、検査可能な構造や報酬モデルへの訓練信号としては有用であるが、堅牢なコンピュータ使用エージェントを構築するための、統計的ベースラインや手動設計の信頼できる代替手段にはまだなっていない。