技術的サマリー：視覚的フィードバックからの空間推論による GUI グラウンディングの学習

問題定義

グラフィカルユーザーインターフェース（GUI）グラウンディングとは、自然言語の指示を画面内の特定のピクセル座標にマッピングしてアクション（例えばクリック）を実行するタスクである。最近のビジョン・ランゲージモデル（VLM）は進歩を遂げているが、複雑なレイアウトを持つ高解像度の GUI において、正確な数値座標を予測することが頻繁に失敗している。この失敗は、空間的意味的アライメントの欠如に起因する。つまり、モデルは視覚要素の理解を離散的な座標トークンに暗黙的にマッピングすることに苦慮している。

既存のアプローチは、通常、GUI グラウンディングをスクリーンショットから直接座標を生成する一ステップ予測問題として定式化する。このパラダイムの決定的な限界は、視覚的フィードバックループの欠如にある。モデルは最終的な数値出力のみに対して教師あり学習され、その予測が実際に画面のどこに位置するかに関する情報は一切受け取らない。その結果、モデルは数値予測とそれに対応する画面上の位置との間に堅牢なアライメントを構築できず、空間推論能力の低さにつながる。

手法：GUI-CURSOR

これらの限界に対処するため、著者は GUI グラウンディングを静的な一ステップタスクから、動的でインタラクティブな探索タスクへと再定義する GUI-CURSOR を提案する。

1. インタラクティブ探索環境

最終的な座標を即座に予測する代わりに、モデルは GUI 画像上の仮想カーソルを制御する。このプロセスは以下のステップの連続として機能する：

• 観察：各ステップ $t$ において、モデルは現在の位置 $(x_t, y_t)$ にカーソルがある GUI スクリーンショットを観察する。
• 推論とアクション：モデルは、思考プロセス（ターゲット、現在のカーソル位置、空間的関係の分析）に続き、アクションを含む応答を生成する。アクションは、カーソルを移動させる新しい座標 $(x_{t+1}, y_{t+1})$ または、カーソルが正しく位置している場合の STOP コマンドのいずれかである。
• 視覚的フィードバック：環境は新しい位置にカーソルをレンダリングし、次のステップのために更新されたスクリーンショットを提供する。この明示的な視覚的フィードバックにより、モデルは予測を検証し、空間的理解を段階的に洗練させることができる。

2. 強化学習によるトレーニング

モデルは、このインタラクティブ環境内でグループ相対方策最適化（GRPO）を用いてトレーニングされる。トレーニングの目的は、最終的な精度と探索行動の両方を誘導するように設計されたカスタムの軌道ベースの報酬関数（$R_T$）に依存する。

報酬関数は以下の構成要素からなる：

• 位置報酬（$r_p$）：最終的なカーソル位置とターゲットバウンディングボックスとの距離に基づいた密な報酬であり、エッジへの近接性とボックス内の中心性の両方を考慮する。
• 軌道ペナルティ：退化的な戦略（例：移動せずに即座に停止する、行ったり来たりする、ターゲットから遠ざかる）を防ぐため、著者は 4 つの特定のペナルティを導入する：
  • 誤った停止ペナルティ（$r_{FS}$）：カーソルがターゲット外にある場合に停止することをペナルティとする。
  • 誤った移動ペナルティ（$r_{FM}$）：カーソルがすでにターゲットボックス内に入った後に移動を継続することをペナルティとする。
  • 誤った方向ペナルティ（$r_{FD}$）：初期予測と比較してターゲットまでの距離を増加させる移動をペナルティとする。
  • 反復位置ペナルティ（$r_{RP}$）：同じ座標を複数回予測することをペナルティとする。

3. カーソル中心のフォーカシング（CCF）

莫大な計算コストを伴わずに高解像度画像を効率的に処理するため、著者は 2 段階の戦略を導入する：

• トレーニング：画像は管理可能な解像度（例：1920×1080）にダウンサンプルされる。
• 推論：トレーニング解像度よりも大きな画像の場合、モデルはまず全画像に対して粗い予測を行う。その後、この予測を中心とした領域を切り出し（トレーニング解像度を維持）、このフォーカスされたビュー内で微細な移動を行う。これにより、トレーニングの効率性と推論の精度のバランスが取れる。

主要な貢献

1. GUI グラウンディングの再定式化：静的な座標予測から、視覚的フィードバックを通じて座標と空間のアライメントを学習する動的でインタラクティブなプロセスへとパラダイムを転換する。
2. GUI-CURSOR モデル：インタラクティブ環境内で強化学習によりトレーニングされた GUI グラウンディングモデルの導入。合理的な探索行動を強制する、密で軌道を意識した報酬関数を利用する。
3. 強化された空間推論：包括的な評価により、カーソルを動かすことで GUI グラウンディングを学習することが、グラウンディング精度だけでなく、分布外ドメインにも一般化する一般的な空間推論能力も向上させることが示された。

実験結果

著者は、Qwen2.5-VL-7B および UI-TARS-1.5-7B をベースモデルとして、ScreenSpot-Pro、OSWorld-G、UI-Vision、ScreenSpot-v2 などの複数のベンチマークで GUI-CURSOR を評価した。

• グラウンディング性能：GUI-CURSOR は、SeeClick や UGround などの教師あり微調整手法や、GTA1 などの RL ベースの手法を含む強力なベースラインを一貫して上回った。特に、困難な ScreenSpot-Pro ベンチマークにおいて、GUI-CURSOR（UI-TARS-1.5-7B ベース）は、はるかに少ないトレーニングサンプル（8K 対 64K）を使用しながら、主要モデルである GTA1 を 8.1% 上回った。
• エージェントタスク：OSWorld におけるオンラインエージェント評価において、GUI-CURSOR は GTA1 よりも少ないアクションステップで高い成功率を達成し、現実的で多様なシナリオにおける有効性を示した。
• 空間推論：
  • カーソル・イン・ボックステスト：カスタムテストにより、標準的な VLM（微調整されたものさえも）は単純な空間分類（カーソルがボックス内にあるかどうかを判断する）に苦しみ、強い中心バイアスを示すことが明らかになった。この分類タスクに対する明示的なトレーニングを行わない GUI-CURSOR は、著しく高い F1 スコアを達成し、そのグラウンディング能力がより堅牢な空間理解に基づいていることを示唆した。
  • 一般化：SPHERE や SpatialMQA などのベンチマークにおいて、GUI-CURSOR は推論とスキル結合の面で改善を示し、インタラクティブなトレーニングパラダイムが GUI ドメインを超えて空間推論能力を強化することを示した。
• 効率性：モデルは困難な例（例：小さなターゲット）でのみ適応的に多くのステップを実行することを学習し、インスタンスの 95% を 2 ステップ以内に解決した。

意義と主張

この論文は、この研究の主な意義が、VLM において数値予測を空間的現実とアライメントさせるために視覚的フィードバックループが不可欠であることを実証することにあると主張している。グラウンディングを探索タスクとして再定義することで、モデルは単一のショットの推測に頼るのではなく、空間的関係について「考え」、軌道を修正することを学習する。

著者は、このアプローチが以下の点を実現すると主張している：

1. 一ステップ予測に内在する空間的意味的アライメントの問題を解決する。
2. データ効率を向上させ、より少ないトレーニングサンプルで最先端の結果を達成する。
3. 分布外タスクに一般化するより堅牢な空間推論能力を育成する。これは、ターゲットをインタラクティブに探索する能力が、マルチモーダルエージェントにおける空間理解の基本的な構成要素であることを示唆している。

この研究は、カーソルを動かすことで GUI グラウンディングを学習することが、複雑なデジタルインターフェースを効果的にナビゲートし、対話できるエージェントを開発するための優れた戦略であると結論付けている。