技術的サマリー：HyperClick – 自己批判型強化学習による信頼性の高い GUI グラウンディングの強化

問題定義

自律型グラフィカルユーザーインターフェース（GUI）エージェントは、ユーザーコマンドを実行するために、自然言語指示を画面上の要素の正確なピクセル座標にマッピングする能力である「GUI グラウンディング」に依存しています。最近の教師あり微調整（SFT）および強化学習（RL）の進歩によりグラウンディング精度は向上しましたが、重要な信頼性のギャップが残っています。現在のモデルはしばしば「過信」を示します。その自信信号（確率的なトークン尤度か、言語化された自己評価かにかかわらず）は、実際のグラウンディングの正しさとはうまく整合していません。この不一致により、エージェントは高い自信を持って誤った判断を下すようになり、これは単一の中間エラーがタスク全体の失敗を引き起こす可能性のある現実世界の自動化において特に危険です。既存の手法は主に局所化精度の最適化に焦点を当てており、モデルの自信が予測の質を正確に反映しているかどうかは largely 見逃されています。

手法：HyperClick フレームワーク

過信の問題に対処するため、著者は「自己批判型強化学習（SCRL）」を通じて信頼性の高い GUI グラウンディングを強化するフレームワーク「HyperClick」を提案します。グラウンディングを二値分類タスクとして扱う先行研究とは異なり、HyperClick は自信推定を意思決定プロセスに明示的に統合します。

1. 問題定式化

このタスクは「クリック定式化」として定式化され、ポリシーモデルは対象 UI 要素の中心を表す単一の点 $\hat{p} = (\hat{x}, \hat{y})$ を予測します。モデルは、座標と言語化された自信スコアの両方を出力するように訓練されます。

2. 自信モデリング（空間的自信ターゲット）

トークンレベルの確率（トークナイゼーションによって混乱する可能性がある）に依存するのではなく、HyperClick はガウス誤差分析に基づいた「有界な空間的自信ターゲット」を構築します。

• ターゲット構築: 中心 $\mu$ を持つ真のバウンディングボックス $b$ に対して、ガウスカーネルは任意の予測点 $\hat{p}$ に対する自信値 $C(\hat{p})$ を生成します。
• 制約: 点がバウンディングボックスの外にある場合、自信は 0 に設定されます。ボックス内では、値は中心からの距離に応じて減衰します。
• 適応分散: 要素サイズのばらつきに対処するため、ガウスの標準偏差（$\sigma$）はボックスの寸法によってスケーリングされます（$\sigma = \alpha \cdot \text{size}$）。これにより、小さな要素はより高い精度（鋭いピーク）を必要とし、大きな要素はより広い高自信領域を許容することが保証されます。

3. 訓練目的と報酬

ポリシーは、複合報酬関数 $R = R_{format} + R_{correctness} + R_{confidence}$ を用いた「グループ相対方策最適化（GRPO）」によって最適化されます。

• フォーマット報酬（$R_{format}$）: 解析可能性を確保し、過度に長い完了を防ぐために、厳格な出力テンプレート <point>[x,y]</point><confidence>conf</confidence> を強制します。
• 正しさ報酬（$R_{correctness}$）: 予測された点が真のバウンディングボックス内にあるかどうかを示す二値報酬（1 または 0）です。
• 自信整合報酬（$R_{confidence}$）: モデルが生成した言語化された自信 $\hat{c}$ を空間的自信ターゲット $C(\hat{x}, \hat{y})$ と整合させる $L_2$ 制約です。これにより、モデルは正確で精密なクリックには高い自信を、誤ったまたは不正確なクリックには低い自信を割り当てることで報酬を得ます。

主要な貢献

1. 過信の体系的分析: 著者は、ScreenSpot-Pro ベンチマーク上で既存の汎用モデルおよび GUI 固有モデルを体系的に評価し、現在のエージェントが予測において著しく過信しており、自信スコアが実際の精度を大幅に上回っていることを明らかにしました。
2. HyperClick フレームワーク: 彼らは、グラウンディング精度と自信の整合を同時に最適化する新しい SCRL フレームワークを導入しました。モデルにクリック予測 alongside 不確実性を露呈させるように訓練することで、HyperClick は「自信に基づく棄権」を可能にし、エージェントが不確実な場合に行動を控えることを可能にします。
3. 二重報酬メカニズム: 本論文は、二値正しさと有界な空間的自信ターゲットを組み合わせる特定の二重報酬メカニズムを提案し、このアプローチがグラウンディング性能を犠牲にすることなく、高い自信によるエラーを効果的に減少させることを実証しました。

実験結果

著者は、HyperClick を 4 つの困難なベンチマーク（ScreenSpot、ScreenSpot-V2、ScreenSpot-Pro、MMBench-GUI）で評価しました。

• 性能: HyperClick（Qwen2.5-VL-3B および 7B ベース）は、モバイル、デスクトップ、Web プラットフォーム全体で、最先端の SFT および RL ベースラインと比較して、競争力のある、あるいは優れたグラウンディング精度を維持しています。特に、ScreenSpot-Pro のような高解像度で複雑なベンチマークにおいて顕著な向上を示しています。
• 自信整合: ScreenSpot-Pro 上の信頼性ダイアグラムは、「期待較正誤差（ECE）」の劇的な減少を示しています。ベースラインモデル（UI-TARS、Qwen2.5-VL など）は 0.48–0.63 程度の ECE を示し（重度の過信を示唆）、HyperClick-7B は ECE を 0.249 まで削減しました。
• アブレーション研究:
  • 3 つの報酬コンポーネント（フォーマット、正しさ、自信）の組み合わせが最良の結果（ScreenSpot-V2 で 93.7% の精度）をもたらしますが、自信整合のみを使用すると報酬ハッキングを招きます。
  • 適応分散パラメータ $\alpha$ は決定的です。$\alpha = 1/4$ が集中と拡散の間の最適なトレードオフを提供します。
  • このフレームワークはよく一般化され、MiMo-VL などの他のベースラインに適用された場合、性能を向上させます。

意義と主張

本論文は、「信頼性の高い GUI グラウンディング」が信頼性の高い自律エージェントにとって不可欠であると主張しています。単純な精度指標を超えて「自信と質の整合」を含めることで、HyperClick は現在の GUI エージェントの根本的な限界、すなわち信頼できる行動と信頼できない行動を区別できないという問題を解決します。

著者は、この作業をより安全な GUI 自動化への一歩として位置づけています。較正された言語化された自信を通じてエージェントに「自分が何を知らないかを知る」ことを可能にすることで、このフレームワークは「選択的棄権」をサポートし、多段階タスクにおけるエラーの伝播を防ぎます。本論文は、現在の作業はグラウンディングに焦点を当てているが、自信整合の原則は、信頼できない意思決定が連鎖的な悪影響を及ぼす可能性のある「GUI プランニング」への将来の拡張にとって不可欠であると結論付けています。著者は、彼らのアプローチが自信信号に関してモデル非依存であり、さまざまな VLM アーキテクチャ間でスケーラブルであることを強調しています。