技術概要：Video2GUI

問題提起

汎用的なグラフィカルユーザーインターフェース（GUI）エージェントの開発は、現在、大規模で多様なトレーニングデータの不足によって制約されています。既存のアプローチは、手動で注釈付けされたインタラクション軌跡やシミュレーション環境に大きく依存しており、これらは生成コストが高く、スケーラビリティが限られています。その結果、これらの狭いデータセットでトレーニングされたエージェントは、未見のインターフェース、アプリケーション、および現実世界のタスクへの一般化に苦しんでいます。インターネットにはラベル付けされていない GUI 解説動画の膨大なリポジトリが存在しますが、高品質な解説コンテンツをフィルタリングする難しさと、明示的な注釈なしに生動画から構造化された空間的基盤を持つ行動軌跡を抽出する複雑さにより、このデータを効果的に活用することは困難です。

手法

これらの課題に対処するため、著者はラベル付けされていないインターネット動画から大規模なインタラクション軌跡を合成するために設計された、完全自動化されたフレームワーク Video2GUI を提案します。このパイプラインは、3 つの段階的なステージを通じて動作します。

1. 粗から細への動画フィルタリング:

   • 粗フィルタリング（メタデータ）: 5 億件の動画メタデータ（タイトル、説明、キーワード）から開始し、軽量な分類器（微調整済み Qwen2.5-7B）を用いて GUI 操作と無関係な動画を除外します。これにより、候補プールは約 2,000 万本に削減され、無関係なコンテンツを処理する計算コストを回避します。
   • 細フィルタリング（視覚スコアリング）: 視覚スコアリングモデル（微調整済み Qwen2.5-Omni）が、各候補動画の最初の 1 分間のコンテンツを 3 つの次元で評価します。すなわち、トピックの関連性（GUI 操作の指導に焦点を当てているか）、説明の明瞭さ（ナレーションの一貫性）、および録画品質（視覚的忠実度）です。このステージでは、416 万本の高品質動画（約 30 万時間）のみを保持します。

2. 軌跡抽出:

   • 過去の文脈メモリを備えたスライディングウィンドウ戦略を用い、強力なビジョン・ランゲージモデル（Gemini-3-Pro）が動画セグメントを構造化された指示 - 軌跡ペアに変換します。
   • モデルは、タスク指示、行動のタイムスタンプ、行動の詳細、および各行動の背後にある推論を抽出します。各行動が正確なタイムスタンプと低レベルのテキスト記述に関連付けられたステップのシーケンスを生成します。

3. 行動の空間的基盤付け:

   • 圧縮された動画フレームの解像度の限界を克服するため、システムは抽出された各行動のタイムスタンプに対して、高解像度のスクリーンショット（$t-0.5$秒、$t$、$t+0.5$秒の 3 つのフレームのトリプレット）を取得します。
   • Gemini-3-Pro を用いて、低レベルの指示を正確な画面座標（バウンディングボックスまたは点）にマッピングし、行動を UI に効果的に基盤付けます。この多フレームアプローチは、GUI インタラクションにおける急速な視覚変化によって引き起こされる問題を軽減します。

トレーニング戦略:
著者は、得られたデータセット WildGUI を、2 段階のエージェントトレーニングプロセスに活用します。

• ステージ 1（継続的プレトレーニング）: モデル（Qwen2.5-VL および Mimo-VL）を、GUI 基盤付け、行動予測、および軌跡モデリングの混合目的を用いて WildGUI でプレトレーニングします。
• ステージ 2（ポストトレーニング）: プレトレーニング済みモデルを、キュレーションされた高品質なオープンソースデータセットで微調整し、特定のダウンストリームタスクにおけるパフォーマンスを洗練させます。

主要な貢献

• Video2GUI フレームワーク: 数十億件のラベル付けされていないインターネット動画から基盤付けられた GUI インタラクション軌跡を抽出する、スケーラブルで完全自動化されたパイプラインであり、手動注釈への依存を排除します。
• WildGUI データセット: 1,270 万のインタラクション軌跡と1 億 2,450 万のスクリーンショットを含む大規模で多様なプレトレーニングデータセットの構築。デスクトップ、モバイル、ウェブプラットフォームにまたがる1,500 以上のアプリケーションおよびウェブサイトにまたがります。
• パフォーマンス向上: 広範な実験により、WildGUI でのプレトレーニングが、複数の GUI 基盤付けおよびエージェントベンチマークで一貫した改善（5〜20%）をもたらすことが示されました。これにより、パラメータ数が少ないにもかかわらず、モデルは最先端のパフォーマンスに匹敵または上回る能力を発揮します。
• オープンリリース: 著者は、スケーラブルな GUI エージェントトレーニングに関する将来の研究を促進するため、WildGUI データセットおよび Video2GUI パイプラインの両方を公開することを約束します。

実験結果

著者は、いくつかのベンチマークにおいて Qwen2.5-VL および Mimo-VL をバックボーンとして使用してアプローチを評価しました。

• GUI 基盤付け: ScreenSpot-ProおよびOSWorld-Gにおいて、WildGUI でプレトレーニングされたモデルは顕著な向上を示しました。例えば、Mimo-VL-7B は OSWorld-G で67.6という最先端の平均スコアを達成し、Qwen3-VL-32B（60.6）や Seed1.5-VL（62.9）などのより大きなモデルを上回りました。
• オフラインエージェント評価: AndroidControlおよびCAGUIにおいて、モデルは計画および実行能力の向上を示しました。Mimo-VL-7B は AndroidControl-High で71.4のステップ成功率を達成し、ベースモデルに対して大幅な改善となりました。
• オンラインエージェント評価: 動的環境（OSWorldおよびAndroidWorld）において、完全なトレーニングパイプライン（ステージ 1 + ステージ 2）は、AndroidWorld での成功率をほぼ倍増させました（ベースモデルの 16.4% に対して 31.9%）。これにより、オープンエンドで現実世界のタスクへの強力な一般化が示されました。
• スケーリング分析: スケーリング研究により、プレトレーニングトークンの量（最大 2,000 億）とダウンストリームタスクの精度との間に強い正の相関があることが明らかになりました。パフォーマンスは明らかな飽和なしに改善を続けました。

意義と主張

本論文は、汎用的な GUI エージェントの主なボトルネックはモデルアーキテクチャだけでなく、データの不足と多様性であると主張しています。ラベル付けされていないインターネット動画を効果的に高品質で構造化されたトレーニングデータに変換できることを実証することで、Video2GUI はこの制限を克服するためのスケーラブルな道筋を提供します。

著者は以下を主張します。

1. データの品質が最重要: 粗から細へのフィルタリングおよび VLM 駆動の抽出戦略は、合成されたデータが堅牢なエージェントをトレーニングするのに十分な正確性と多様性を確保するために不可欠です。
2. オフラインデータは一般化する: オフライン動画データでのプレトレーニングは、トレーニングデータ自体が静的であるにもかかわらず、エージェントがオンラインの動的環境に効果的に一般化するための重要な基盤を提供します。
3. スケーラビリティ: Video2GUI パイプラインはインターネット規模のデータを処理する能力を持っており、この分野は小規模で手動でキュレーションされたデータセットの制約を超え、真に大規模で多様なエージェントトレーニングへと移行できることを示唆しています。

本研究は、多様なオフライン動画データを用いたトレーニングのスケーリングが、能力のある汎用自律型 GUI エージェントを開発するための有望かつ必要な方向性であると結論付けています。