技術要約：GUIエージェントのための長さ認識型対照学習 (LACL-GUI)

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）を活用したグラフィカルユーザーインターフェース（GUI）エージェントは、多様なデジタル環境におけるタスクの自動化を目指している。検証可能な報酬を用いた強化学習（RLVR）が支配的な学習パラダイムとして台頭している一方で、既存の手法には最適化の効率性と安定性における重大な限界が存在する。

具体的には、広く用いられているアルゴリズムであるGroup Relative Policy Optimization (GRPO) は、**報酬と勾配の不整合（reward–gradient misalignment）**という問題に直面している。近年の理論的分析（例：Zhai et al., 2026）によれば、GRPOには以下の2つの勾配の病理が特定されている：

1. ポジティブ・トラジェトリにおける勾配の誤割り当て： 成功した軌跡（トラジェトリ）内の高確率トークンには不釣り合いに大きな更新が行われる一方で、同じ成功した軌跡内の低確率トークンには弱い勾配しか与えられない。
2. ネガティブ・トラジェトリにおける勾配の支配： 勾配の大きさが少数の高確率なネガティブ・トークンに過度に集中し、それらが最適化プロセスを支配してしまう。

これらの問題を軽減するため、近年の研究（例：REAL, CLIPO）では、RLVRを対照的または分類ベースの目的関数へと再定式化している。しかし、これらの手法は通常、アウトカムレベルの監督（成功または失敗のバイナリラベル）に依存している。この粗粒度なアプローチは、同じアウトカム・カテゴリに属するすべての軌跡を同等に扱うため、以下のような細粒度の差異を捉えることができない：

• 効率性： 成功した軌跡であっても、長さや冗長性は大きく異なる場合がある。
• 失敗の質： 失敗した軌跡であっても、タスク完了にどの程度近づいたか（例：早期に逸脱したのか、あるいは終盤で逸脱したのか）によって性質が異なる。

本論文が取り組む核心的な課題は、分類ベースの目的関数が提供する最適化の安定性を損なうことなく、いかにして軌跡レベルの品質信号（具体的には長さと逸脱度）を対照的RLVRフレームワークに組み込むかである。

2. 手法：LACL-GUI

著者らは、成功および失敗の軌跡グループの両方に構造化された選好（プリファレンス）を導入しつつ、基礎となる成功・失敗の決定境界を維持するフレームワークである、Length-Aware Contrastive Learning for GUI Agents (LACL-GUI) を提案する。

2.1 アーキテクチャ

LACL-GUIは、以下の4つのモジュールからなる非同期トレーニング・アーキテクチャを採用している：

• Rollout Service： 複数のGUI環境から並列に軌跡を収集する。
• Data Manager： 判別的な監督を確保するため、すべてのサンプルが同じアウトカム（すべて成功またはすべて失敗）を共有する軌跡グループを除外する。
• Success Buffer： 逸脱推定のための参照サンプルとして機能し、現在のロールアウトによる成功例が少ない場合に学習を補強するための、成功した軌跡のリポジトリを保持する。
• Trainer： フィルタリングされた軌跡グループを用いて非同期的にポリシーを最適化し、データ収集とポリシー更新をデカップル（分離）する。

2.2 LACL-GUIの目的関数

対照損失を用いてRLVRをバイナリ分類問題として定式化するREAL (Rewards as Labels) の目的関数に基づき、LACL-GUIは細粒度な選好をエンコードするために**ロジット摂動（logit perturbations）**を導入する。

ポジティブ・グループへの摂動（効率性の選好）

成功した軌跡（$T^+$）に対して、本フレームワークは簡潔な実行を促す。現在のロジットに基づく加重平均軌跡長（$\mu_w$）を計算し、以下のようにロジット（$\tilde{s}_\theta$）を摂動させる：
$$\tilde{s}_\theta(\tau^j) = \bar{s}_\theta(\tau^j) + \epsilon (|\tau^j| - \mu_w)$$
ここで、$\epsilon$ は摂動係数である。この調整により、バイナリの成功ラベルを変更することなく、冗長なアクションを含む可能性が高い長い成功軌跡の重みを下げ、短い軌跡の重みを上げる。

ネガティブ・グループへの摂動（逸脱を考慮した精緻化）

失敗した軌跡（$T^-$）に対して、本フレームワークは「情報量の多い」ニアミス（成功に近い失敗）と、根本的に誤った試行を区別する。

1. 参照の選択： 参照となる成功した軌跡（$\tau^+_{ref}$）を選択する（通常、バッファまたは現在のバッチ内の最短の成功軌跡）。
2. 逸脱の推定： 構造的類似性指数（SSIM）を用いて、失敗した軌跡をステップごとに参照と比較し、成功経路から大きく逸脱するまでのステップ数である逸脱長（divergence length）（$d_j$）を特定する。
3. エラーの深刻度： エラーのステップ数は $E_j = |\tau^j| - d_j + 1$ として計算される。
4. ロジット摂動： ポジティブ・グループと同様に、加重平均（$\mu_e$）からのエラー・ステップ（$E_j$）の偏差に基づいてロジットを摂動させる：
   $$\hat{s}_\theta(\tau^j) = \bar{s}_\theta(\tau^j) + \epsilon (E_j - \mu_e)$$
   これにより、早期に逸脱した失敗（高い $E_j$）に対しては強い抑制を、成功パスに長く留まった失敗（低い $E_j$）に対しては緩やかなペナルティを与える。

2.3 理論的特性

著者らは、LACL-GUIが以下を満たすことを示す**一次不変定理（First-Order Invariance Theorem）**を証明している：
$$L_{LACL-GUI} = L_{REAL} + O(\epsilon^2)$$
これは、提案された摂動が元のREAL手法の一次最適化目的関数を保持していることを示している。したがって、本フレームワークは、成功・失敗の分類境界を変更することなく、アウトカム・グループ内での勾配割り当てと局所的な最適化幾何学を精緻化し、安定性を確保する。

3. 主な貢献

1. 対照的RLVRにおける軌跡レベルの監督： 既存の手法が持つ、グループ内の軌跡の違いに対する「盲目さ」に対処するため、細粒度な品質信号（長さと逸脱度）を対照的RLVRに組み込む新しいメカニズムを導入した。
2. 構造化された選好モデリング： 成功した軌跡（長さ認識型）と失敗した軌跡（逸脱認識型）の両方に対して具体的なロジット摂動戦略を提案し、効率性を促進し、情報量の多い失敗を区別する。
3. 安定した最適化フレームワーク： ゼロ平均のロジット変調とグループ統計に対するストップグラディエント操作を利用することで、分類ベースの目的関数が持つ勾配の安全性と安定性を維持しながら、細粒度なガイダンスを実現した。
4. 非同期トレーニング・インフラストラクチャ： 報酬の希薄性と長期的なホライゾンを持つGUIタスクを扱うために特別に設計された、Success Bufferと軌跡フィルタリングを備えたデカップルされたアーキテクチャを実装した。

4. 実験結果

著者らは、バックボーンとしてQwen3-VL-Thinkingモデル（4Bおよび8Bパラメータ）を用い、OSWorldベンチマークでLACL-GUIを評価した。

• 全体的なパフォーマンス： LACL-GUI-8Bは、全体的なタスク成功率**50.0%**を達成し、ベースとなるQwen3-VL-8B-Thinking（+7.3%）、GRPOベースライン（+2.8%）、およびREALベースライン（+2.7%）を上回った。
• SOTAとの比較： 本モデルは、DART-GUI-7B (46.7%) や DeepMiner-Mano-7B (47.9%) を含む、強力なオープンソースおよびクローズドソースのベースラインを凌駕した。
• 効率性の向上： すべての手法が同じアウトカムを達成したタスクに焦点を当てたアブレーション研究において、LACL-GUIは成功した軌跡の平均長を10.3%（REALの9.13ステップから8.19ステップへ）短縮し、失敗した軌跡の平均長も**10.5%**短縮した。
• 堅牢性： 感度分析により、逸脱推定のための類似性閾値（$\Theta$）が異なっていても、本手法は安定した性能を維持しており、失敗の相対的な順序付けがパラメータの変化に対して堅牢であることが示された。

5. 意義と主張

本論文は、LACL-GUIが対照的RLVRフレームワーク内における軌跡レベルの監督の価値を実証していると主張している。バイナリのアウトカムラベルを超えて、より情報量の多い学習信号を提供することで、エージェントをより効率的な実行へと導き、ニアミス（失敗寸前）の失敗からも学習することを可能にする。

著者らは、本アプローチがマイルストーンベースの報酬とは異なり、追加のモデルやタスク固有の監督を必要とせず、統一された対照的フレームワーク内で相互作用データから直接品質信号を導出している点を強調している。結果は、勾配割り当てを軌跡の品質に基づいて精緻化することが、特に報酬が希薄でホライゾンが長い環境におけるGUIエージェントの学習の安定性と効率性を向上させるための有効な道であることを示唆している。