技術要約: SwipeGen

問題提起

視覚言語モデル（VLM）を活用したグラフィカルユーザーインターフェース（GUI）エージェントが普及しているにもかかわらず、これらのシステムは現実世界のシナリオにおいて満足のいくインタラクション能力を実現できず、頻繁に失敗するという課題がある。著者らは経験的な分析を通じて、この制限の根本原因が硬直的なスワイプ実行にあることを特定した。

現在のGUIエージェントは、主にコンポーネント中心のインタラクション戦略（自然言語コマンドを特定のターゲット座標、例えばボタンへのタップなどにマッピングする手法）に依存している。しかし、スワイプ操作はクリックとは根本的に異なる：

1. 非アンカー性（Non-anchored Nature）: スワイプは特定のコンポーネントではなく、一般的な領域（例：コンテンツフィード）に対して行われることが多い。
2. マルチパラメータの複雑性: クリックとは異なり、有効なスワイプには、開始位置、終了位置、方向、および持続時間（速度）という複数のパラメータを同時に予測する必要がある。
3. データの希少性と不完全性: 既存のGUIデータセットは、クリックやテキスト入力に大きく偏っている（インタラクションの76.4%〜94.9%）。さらに、利用可能な希薄なスワイプ注釈には、重要な実行パラメータ（例：明示的な方向や持続時間）が欠けていることが多く、VLMが実行可能なスワイプ軌道を生成することを学習するのを妨げている。

その結果、既存のエージェントは微細な調整（例：スライダー）やコンテンツの探索（例：フィードのスクロール）に苦しみ、頻繁なタスク失敗を招いている。

手法: SwipeGen

多様で実行可能な人間らしいスワイプデータの不足に対処するため、著者らは、定義済みの人間によるコマンドに頼ることなくスワイプインタラクションを合成する自動パイプラインであるSwipeGenを提案する。このパイプラインは、5つのコアモジュールで構成される：

1. GUI探索: 深さ優先探索（DFS）戦略を用いてモバイルアプリを体系的にナビゲートし、インタラクションパスを記録することで、多様な画面状態を発見する。
2. スクロール可能なターゲットの特定:
   • コンポーネント: XMLレイアウトのヒューリスティックな解析を通じて、明示的なスクロール要素（例：スライダー、RecyclerView）を特定する。
   • 領域: VLM（Qwen3-VL-4B-Instruct）を使用し、階層ノードが存在しないスクロール可能な領域（例：コンテンツフィード、アイコングリッド）を、視覚的なレイアウトと意味的な機能に基づいて推論する。
3. 統一されたスワイプ表現: 下流の自動化ツール（ADB、UIAutomator、Appium）との互換性を確保するため、4つの明示的なパラメータを用いてスワイプを定義する：
   • 開始位置: ジェスチャの起点。
   • 終了位置: ジェスチャの終点。
   • 方向: 学習を容易にするため、座標から単に推論するのではなく、明示的に注釈付けされる（例：上、下）。
   • 持続時間: 特に領域レベルのスワイプにおいて、速度がスクロール距離を決定するため、速度を制御するために極めて重要である。
4. 候補スワイプの生成:
   • コンポーネントについては、コンポーネントのバウンディングボックスとアスペクト比に基づき、固定の持続時間で候補が生成される。
   • 領域については、領域の中心から境界までのオフセットに基づいて候補が生成され、粗い粒度のユーザー制御をシミュレートするために、高速（150ms）と低速（500ms）の両方の持続時間をサンプリングする。
5. スワイプ妥当性の検証: 候補となるスワイプを実行し、実行前後のスクリーンショットを比較することで、その有効性を検証する。ターゲット領域内の画素強度の差によって測定される、知覚可能な視覚的変化を引き起こすスワイプのみが保持される。
6. スワイプ記述の生成: VLMを使用して、実行されたスワイプに関するステップレベルの自然言語コマンドを、視覚的な変化とパラメータに基づいて生成し、マルチモーダルなトレーニングデータセットを作成する。

主な貢献

1. ボトルネックの特定: 本論文は、既存のGUIエージェントのインタラクション能力を制限する主要なボトルネックとして、硬直したコンポーネント中心のスワイプ実行戦略を初めて指摘した。
2. SwipeGenパイプライン: 高品質なスワイプデータの不足に対処するため、多様で人間らしいスワイプインタラクションを合成する初の自動パイプラインを設計し、公開した。
3. SwipeBench: 16種類のドメイン外（OOD）モバイルアプリからなる382件の有効なインタラクションを含み、GUIエージェントにおけるスワイプ実行の品質を評価するために特別に設計された初のベンチマークを導入した。
4. GUISwiper: SwipeGenによって合成されたデータでファインチューニングされたVLMであり、一般的なGUIグラウンディング性能を低下させることなく、改善されたスワイプ能力が達成できることを示した。

実験結果

著者らは、3つのベンチマークにおいて、複数の最先端のベースライン（Qwen2.5-VL、UI-R1、UI-TARS、MAI-UIを含む）に対してGUISwiperを評価した：

• スワイプ実行 (SwipeBench): GUISwiperは61.25%の成功率を達成し、これはベースラインのQwen2.5-VL（24.87%）に対して2.46倍の向上となり、他のすべてのベースラインを上回った。特に長距離のスクロールやフィードのナビゲーションを伴う、すべてのベースラインモデルが失敗した23のタスクを成功させた。
• グラウンディング能力 (ScreenSpot): SwipeGenデータを用いたファインチューニングは、一般的なグラウンディング性能を低下させなかった。GUISwiplは**85.83%**の精度を達成し、そのバックボーン（75.80%）を上回り、UI-TARS（84.25%）のような産業用モデルとも遜色のない結果となった。
• エンドツーエンドのタスク実行 (AndroidWorld): GUISwiperは**40.52%**のタスク成功率を達成し、同規模のモデルやより大きなバックボーンモデル（例：Qwen2.5-VL-72Bの35.00%）を上回った。実行トレースの分析により、信頼できるスワイプ実行が、長期間のオフスクリーンナビゲーションを必要とするタスクにおいて極めて重要であることが明らかになった。

意義と主張

本論文は、スワイプを効果的に実行できないことが、現在のGUIエージェントにおける、見落とされがちな重要な制限事項であると主張している。SwipeGenを導入することで、著者らは以下のことを示した：

• データ合成の実現可能性: 人間のインタラクション・トレースの希少性を克服するために、高品質で実行可能なスワイプデータを、手動の注釈なしに自動的に合成できる。
• スワイプとグラウンディングの相補性: 領域レベルのスワイプ能力を高めることは、要素のローカライゼーション（位置特定）を犠牲にすることにはならず、両方を同時に改善できる。
• 実行ギャップの解消: スワイプ実行という特定の能力を向上させることは、複雑なエンドツーエンドのGUIオートメーションタスクにおけるパフォーマンスの向上に直接つながり、コンポーネント中心のインタラクションモデルを超えていく必要性を裏付けている。

著者らは、自身の「人間らしい」という定義が、微細な運動特性（例：軌跡の曲率）の再現ではなく、タスク効果への適合に焦点を当てていること、および検証方法が軽量な画素比較に依存していることを認め、限界事項として挙げている。今後の展望として、より微細なモデリングのための実際のユーザーインタラクション・トレースの組み込みや、より多様なアプリケーションをカバーするためのベンチマークの拡張を提案している。