技術概要：AQuaUI：適応型クアッドツリーを用いた GUI エージェント向け視覚トークン削減

問題定義

大規模マルチモーダルモデル（LMM）は、高解像度のスクリーンショットを解釈してタスクを実行するグラフィカルユーザーインターフェース（GUI）エージェントの基盤となっています。しかし、これらのスクリーンショットを処理すると膨大な数の視覚トークンが生成され、高い計算コスト、推論遅延の増大、会話履歴のためのコンテキストウィンドウ容量の制限といった課題が生じます。

既存の解決策は、主に以下の 2 つの限界に直面しています：

1. トレーニング依存性: 多くのトークン削減手法はモデルの再トレーニングを必要とし、市販のエージェントへの適用性を制限しています。
2. 不適切な圧縮: 自然画像向けに設計された手法（アテンションベースのプルーニングなど）は、GUI スクリーンショットの固有の空間構造を無視しているため、GUI では機能しないことが多いです。GUI は高度に不均一な情報密度を示します。広大な領域は均質（背景、余白）である一方、重要な情報は小さく構造化された領域（テキスト、アイコン）に集中しています。すべてのトークンを同様に重要とみなすか、アテンションマップのみに依存することは、不可欠な空間的文脈を破棄するか、UI の規則的なレイアウトを活用できない結果を招きます。

手法：AQuaUI

本論文は、GUI スクリーンショットの構造的レイアウトを活用して視覚トークンを削減する、トレーニング不要の推論時フレームワークであるAQuaUIを提案します。この手法は以下の 3 つの中核コンポーネントで構成されます：

1. 適応型クアッドツリートークナイズ

均一なパッチングの代わりに、AQuaUI は入力スクリーンショット上に適応型クアッドツリーを構築し、情報密度に基づいて画像を分割します。

• グリッドアライメント: GUI の寸法が常に 2 のべき乗とは限らないため、画像は正方形のチャンクでタイル化可能な中央領域と境界の余白に分解されます。クアッドツリーは各チャンク内で独立して構築されます。
• 分割基準: ノードはスコア関数 $s(n)$ に基づいて再帰的に分割されます。デフォルトの基準は面積重み付けグレースケール分散（$s(n) = w_n h_n \cdot \text{Var}(\text{grey}(n))$）です。ノードは $s(n) > 1000 \cdot \alpha$ の場合に分割されます。これにより、均質な領域は大きな葉（粗い粒度）で表現され、複雑な領域はより小さなセル（細かい粒度）に分割されます。
• トークン選択: 各最終的な葉ノードに対して、単一の代表トークンが選択されます（デフォルトでは葉の中央ブロック）。このトークンと、その元の空間座標は言語モデルに渡されます。

2. 条件付きクアッドツリー精緻化

マルチステップの GUI 相互作用における時間的整合性（連続するスクリーンショットはほぼ同一であることが多い）に対処するため、AQuaUI は、同じリクエスト内の以前のスクリーンショットに基づいて現在のクアッドツリーを条件付けるヒューリスティックアルゴリズムを導入します。

• 状態分類: アルゴリズムは、現在のチャンクと以前のチャンクの関係を以下の 3 つのモードに分類します：
  • 静的: 領域がほぼ同一（類似度 $\ge \tau_{static}$）の場合。以前のクアッドツリー分割が再利用されます。
  • シフト: 領域がスクロールまたは並進 undergone した場合。アルゴリズムは、重なり合う領域での類似度を最大化するブロックレベルのシフト $\delta$ を探索します。有効なシフトが見つかった場合、前のフレームからの粗い葉が変換されて再利用されます。
  • 置換: 静的でもシフトした条件も満たされない場合、新しいクアッドツリーがゼロから構築されます。
• 微細な保存: このメカニズムにより、以前のフレームで保存された微細な詳細が、わずかなシフトにより後のフレームで誤ってマージされてしまうことを防ぎ、推論の連続性を維持します。

3. 位置符号化の一貫性

重要な技術的貢献として、パイプライン全体を通じて空間的位置を保存することが挙げられます。選択されたトークンは、元のマージされたトークンの座標を保持します。これらの座標はモデルの位置符号化メカニズム（例：M-RoPE）に注入され、モデルが圧縮されたグリッドとしてではなく、正しい幾何学的文脈における疎なトークンを解釈することを保証します。

主要な貢献

1. トレーニング不要フレームワーク: AQuaUI は、モデルの再トレーニングを必要とせず、任意のダウンストリーム LMM に適用可能なプラグアンドプレイ手法です。
2. 構造的活用: 適応型クアッドツリーを活用して、トークン削減を GUI の固有の不均一な情報密度および空間的規則性に整合させ、汎用的なトークンプルーニング手法を上回る性能を発揮します。
3. 時間的整合性: 条件付きクアッドツリーアルゴリズムは、連続するスクリーンショット間の連続性を活用し、静的または軽度のシフト状態にわたって微細な分割を維持し、マルチステップナビゲーションに不可欠です。
4. 実装: 著者は AQuaUI を最先端のモデル（Qwen2-VL、Qwen3-VL、ShowUI、GUI-Owl、MAI-UI）に実装し、複数のベンチマークで検証しました。

実験結果

著者は、グラウンディングベンチマーク（UI-Vision、ScreenSpot-Pro、ScreenSpot-V2、OSWorld-G、MMBench-GUI）およびナビゲーションベンチマーク（AndroidControl、AndroidWorld）において AQuaUI を評価しました。

• 精度と効率のトレードオフ: AQuaUI は、ShowUI の UI 誘導トークン選択やランダムなトークンドロップなどのベースラインと比較して、一貫して優れた精度 - 遅延トレードオフを達成します。
  • Qwen3-VL-32B-Instructにおいて、AQuaUI は13.22% の高速化を達成し、視覚トークンを**29.52%削減しながら、フルトークン性能の99.06%**を維持しました。
  • Qwen2-VL-7B-Instructでは、トークンを約 27% 削減し、精度低下は 3.29 ポイント（ShowUI は 5.95 ポイント）と小さく抑えられました。
• モデルのスケーラビリティ: モデルサイズが大きくなるにつれて、遅延の利点はより顕著になります。大規模なバックボーン（8B、32B）では、クアッドツリー構築のオーバーヘッドを上回る視覚トークン計算の節約により、純粋な遅延の向上が得られます。小規模モデル（2B）では、削減ロジックの固定オーバーヘッドにより、遅延の改善は限定的です。
• アブレーション研究:
  • クアッドツリー vs ランダム: ランダムなトークンドロップは著しい精度低下を引き起こし、適応型構造が不可欠であることを確認しました。
  • 条件付き精緻化: 条件付きクアッドツリーメカニズムを除去すると、長距離ナビゲーションタスク（AndroidWorld）における成功率が一貫して低下し、時間的整合性の維持におけるその価値を実証しました。
  • スコア関数: 分散ベースの分割はより安定した性能を提供する一方、勾配ベースの分割は、過激な設定下での安定性を犠牲にしてより高い圧縮を可能にします。

意義と主張

本論文は、AQuaUI がGUI スクリーンショットの空間的冗長性を、再トレーニングなしで推論時に効果的に活用できることを実証していると主張しています。

著者は、効率的な GUI 知覚は、自然画像圧縮で一般的に焦点が当てられる「どのトークンが重要か」だけでなく、「トークンがどこに位置するか」にも焦点を当てるべきであると強調しています。適応型分割と条件付き精緻化を通じて空間的レイアウトを保存することで、AQuaUI は、GUI エージェントがグラウンディングおよびナビゲーションタスクで高い忠実度を維持しながら、著しく少ないトークンで動作することを可能にします。このアプローチは、推論コストを削減し、特に大規模で高性能なモデルにおいて GUI エージェントのより長い相互作用履歴を可能にする実用的な道筋を提供します。