Beyond Binary: Reframing GUI Critique as Continuous Semantic Alignment

技術的サマリー：Beyond Binary：GUI 批判の再構築を連続的意味整合へと転換

問題定義
テスト時スケーリング（TTS）は、長期的タスクにおけるエラーの連鎖を緩和するため、複数の候補アクションをサンプリングしランク付けするクリティックモデルに依存する、汎用 GUI エージェントにとって重要なパラダイムとして浮上しました。しかし、既存の GUI クリティックモデルは、評価タスクを一様に二値分類（有効 vs 無効）として枠組み付けしています。著者らは、この二値的な定式化が GUI 相互作用の性質と構造的に相容れないと主張し、それが以下の 2 つの主要な欠陥をもたらすと指摘しています：

1. アフォーダンスの崩壊：二値教師信号は、最適から準最適、そして妥当な紛らわしい選択肢、無関係な誤りに至るまでの階層的なアフォーダンス空間を、硬直的な 0/1 ラベルに圧縮します。これにより、モデルは「有効だが冗長なアクション」と「妥当だが誤った意味的紛らわしい選択肢」を区別する能力を失います。
2. ノイズへの感度：GUI における「正解」と「誤り」の境界はしばしば曖昧です。絶対的なペナルティを課す二値分類器は、注釈ノイズに過剰適合し、GUI 意思決定に内在する意味的な「グレーゾーン」を許容できません。

実証分析により、二値クリティックは準最適アクションと意味的紛らわしい選択肢に対して区別できないスコアを生成し、TTS の信頼性を損なう深刻な分布的絡み合いを生み出していることが明らかになりました。

手法：BBCritic
これらの限界に対処するため、本論文はBBCritic（Beyond-Binary Critic）を導入します。これは、二値識別から、機能的等価性仮説に基づく連続的意味整合へのパラダイム転換です。この仮説は、ユーザーの言語的指示と最適 GUI アクションは、同じ基盤となる機能的アフォーダンスの 2 つの表現であると位置づけます。

手法は2 段階の対比学習フレームワークを採用します：

1. 統合潜在射影：共有のビジョン・ランゲージモデル（VLM）エンコーダが、ユーザー指示（スクリーンショットと組み合わせ）と候補アクション（スクリーンショットと視覚マーカーと組み合わせ）の両方を、共有されたアフォーダンス空間へ射影します。
2. 連続的整合メトリック：二値ロジットの代わりに、クリティックスコアは、指示埋め込みとアクション埋め込み間の温度スケーリングされたコサイン類似度として計算されます。
3. トポロジー認識最適化：モデルは、二値交差エントロピー（BCE）ではなくInfoNCE 損失を用いて訓練されます。InfoNCE は密なアクション空間全体に分布依存性を導入し、モデルが暗黙的にハードネガティブマイニングを行えるようにします。これにより、モデルはすべてのネガティブを同等に扱うのではなく、相対的なランク付け構造（最適 > 準最適 > 紛らわしい選択肢 > 無関係）を保持することを強制されます。
4. 2 段階カリキュラム：
   • 第 1 段階（粗粒度）：レイアウト解析されたネガティブを用いて、相互作用空間のグローバルな理解を確立し、最適アクションを無関係な背景要素から区別します。
   • 第 2 段階（微細粒度）：VLM 生成のロールアウトを用いて「意味的ハードネガティブ」（妥当だが誤った試行）を収集し、準最適アクションと紛らわしい選択肢の間の決定境界を鋭くします。

重要なのは、このパイプライン全体が弱教師あり設定で動作し、追加の多レベル人間注釈なしに、既存のナビゲーション軌跡と自己生成されたロールアウトのみを利用している点です。

主要な貢献

1. パラダイム転換：著者らは、GUI 批判を分類問題ではなく、メトリック学習問題（連続的意味整合）としてモデル化することを提案します。これにより、アクション空間の階層的トポロジーを回復し、二値ベースラインで観察されたアフォーダンスの崩壊を解決します。
2. BBBench（Beyond-Binary Bench）：本論文は、微細なランク付け能力を評価するために設計された初の GUI クリティックベンチマークを導入します。BBBench の特徴は以下の通りです：
   • 密なアクション空間（ページあたり平均約 30 個の候補）。
   • 階層的 4 レベル分類体系：最適、準最適、意味的紛らわしい選択肢、無関係な誤り。
   • 実行に基づく注釈を備えた 18,192 件の人間検証済みサンプル。
3. 性能検証：実験結果は、BBCritic-3B（追加注釈なしで訓練）が、多様なベンチマークにおいて、最先端の 7B パラメータ二値モデルを上回ることを示しています。

結果

• 意味モデリング（BBBench）：BBCritic-3B は、二値クリティック（GAIA、GUI-Critic-R1 など）および汎用 VLM に比べ、正規化割引累積ゲイン（NDCG）とペアワイズ選好精度（PPA）で優れた成績を収めました。特に、同じバックボーン上で微調整された二値クリティックは、BBBench においてベースモデルよりも性能が低下することが多く、「アフォーダンスの崩壊」仮説を裏付けています。
• テスト時スケーリング（TTS）：オフライン TTS 設定（AndroidControl、GUI Odyssey）において、BBCritic-3B はベースラインに対して成功率（SR）とトークン効率（TR）を大幅に改善しました。例えば、AndroidControl-High では、ベースラインに対して 8.6% の絶対的改善を達成し、より大規模な 7B 二値モデルを上回りました。
• 一般化：このモデルは、モバイルデータのみで訓練されたにもかかわらず、デスクトップおよび Web 環境（ScreenSpotV2）へのゼロショット転移と、タスク間一般化（Mind2Web）において強力な性能を示しました。これは、モデルがプラットフォーム固有の視覚パターンではなく、不変のアクション意味を学習していることを示唆しています。
• ロバスト性：アブレーション研究により、BBCritic はラベルノイズ下でも安定した決定マージンを維持するのに対し、二値モデルは急速な性能崩壊を被ることが示されました。

意義と主張
本論文は、GUI 批判は本質的に分類問題ではなく、メトリック学習問題であると主張しています。機能的等価性と連続的意味整合の観点からタスクを再構築することで、著者らは高価な多レベル教師信号なしに GUI アフォーダンスの微細な階層性を回復可能であることを実証しました。この研究は、現在の TTS エージェントの限界がモデル容量の不足によるものではなく、二値目的と GUI 意思決定の連続的性質との構造的なミスマッチによるものであることを示唆しています。BBBench の導入は、このより微細な構造を評価するために必要な基盤を提供し、単純な二値正誤を超えて分野を前進させるものです。