技術概要：ReVision – 時間的視覚冗長性削減によるコンピュータ使用エージェントの拡張

問題定義

コンピュータ使用エージェント（CUA）は、マルチモーダル大規模言語モデル（MLLM）に依存して、スクリーンショットのシーケンスを処理することでグラフィカルユーザーインターフェース（GUI）と対話します。これらのエージェントを長期的タスクに拡張する際の重要なボトルネックは、視覚トークンコストの急速な増加です。対話経路が長くなるにつれ、過去のスクリーンショットをモデルのコンテキストに付加すると、画像あたり数百から数千の視覚トークンが導入されます。

著者らは、連続する GUI スクリーンショットに顕著な時間的冗長性が存在することを特定しました。ほとんどのステップでは、インターフェースの小さな領域のみが変化します（例：ボタンのクリックやテキストの更新）が、画面の大部分は静的なままです。標準的な MLLM は各画像を独立して処理し、ほぼ同一の視覚トークンを繰り返しエンコードします。この非効率性はコンテキスト予算を枯渇させ、エージェントが有用な履歴情報を破棄せざるを得なくなったり、処理可能な経路の長さを制限したりします。その結果、過去情報が無用であるからではなく、トークン表現が非効率的であるため、履歴を追加するとパフォーマンスが飽和し、場合によっては低下することがあります。

手法：ReVision

この課題に対処するため、著者らはReVisionを導入しました。これは、推論に必要な空間構造とタスク関連情報を維持しつつ、不要な視覚トークンを削減するように設計された、冗長性を考慮したトレーニングフレームワークです。このアプローチは主に 2 つのコンポーネントで構成されます。

1. ReVision トークン選択（RTS）

このフレームワークの中核には、連続するスクリーンショット間の冗長な視覚パッチを特定するようにトレーニングされた軽量な学習済みパッチセレクター（3 層 MLP）があります。

• メカニズム: 経路ステップ $t$ において、RTS モジュールは現在のスクリーンショット（$I_t$）のパッチレベル埋め込みと、前のスクリーンショット（$I_{t-1}$）の対応するパッチを比較します。
• トレーニング監督: モデルは、スクリーンショットをセマンティック領域に分割するOmniParserV2によって生成されたラベルを使用してトレーニングされます。パッチは、連続する画像の対応する領域が高い交差結合率（IoU）を示す場合、つまり変更されていないコンテンツである場合に、冗長としてラベル付けされます。レンダリングノイズやカーソルの移動などのわずかな変動を処理するため、生ピクセルの類似性よりも領域レベルのマッチングが好まれます。
• 出力: RTS は各ステップに対してバイナリマスク $m_t$ を生成し、前のフレームに対して視覚的に冗長なパッチをフィルタリングします。

2. フィルタリングされた経路でのトレーニング

トークン削減をポストプロセッシングステップとして扱うのではなく、ReVision はフィルタリングメカニズムをトレーニングパイプラインに直接統合します。

• データ構築: モデルは、履歴ウィンドウ内のすべての画像から冗長パッチを削除したAgentNet経路でファインチューニングされます（ただし、空間的な整合性を維持するために最初の画像はそのまま保持されます）。
• 推論の一貫性: 推論中は、同じ RTS フィルタリングが適用されます。モデルは完全なテキストコンテキスト（前のステップからの推論と行動）に基づいて条件付けられますが、圧縮された視覚トークンのセット $\{V'_1, \dots, V'_t\}$ を受け取ります。
• 空間的保存: 重要なのは、フィルタリングプロセスが保持されたトークンの元の位置インデックスを維持することです。これにより、モデルの注意メカニズムや位置エンコーディング（例：m-ROPE）が有効なままとなり、モデルは空間的整合性を失うことなくコンパクトな視覚履歴に対して推論を行うことができます。

主要な貢献

本論文は、3 つの主要な貢献を概説しています。

1. 冗長性の定量化: 著者らは、GUI 経路の視覚トークンの相当部分が冗長であることを実証しました。OSWorld、AgentNetBench、WebTailBench などの複数のベンチマークにおいて、連続するステップ間で平均**45.4%**のパッチが変更されていないままであり、一部の環境では 56% 以上の冗長性が示されました。
2. ReVision フレームワーク: 冗長なパッチが動的に削除された経路で MLLM をトレーニングする手法を導入しました。これにより、モデルは基盤アーキテクチャを変更することなく、時間的に分散した証拠に依存してコンパクトな視覚履歴に対して推論を行うことが可能になります。
3. 履歴スケーリングの再評価: この研究は、視覚履歴のパフォーマンスが早期に飽和するという観察に挑戦します。著者らは、飽和は非効率的なトークン表現の結果であることを示しており、冗長性を除去すれば、より多くの過去の観測を取り入れるにつれてパフォーマンスは向上し続けます。

実験結果

著者らは、Qwen2.5-VL-7Bを使用して、OSWorld、WebTailBench、AgentNetBenchの 3 つのベンチマークで ReVision を評価しました。

• トークン効率: 5 枚の履歴スクリーンショットを含む経路を処理する際、ReVision はすべてのパッチを保持するベースラインと比較して、平均して約**46%**のトークン使用量を削減します。
• パフォーマンス向上: トークン数が減少しているにもかかわらず、ReVision は「no-drop」ベースラインに対して成功率を3%向上させます。WebTailBench などの特定のベンチマークでは、改善幅は14 パーセントポイントに達します。
• スケーリング挙動:
  • ベースライン: 標準モデルは、コンテキスト予算の枯渇により、履歴長が増加するにつれて逓減するリターンまたはパフォーマンスの飽和を示します（例：画像 7 枚程度でピークに達する）。
  • ReVision: 冗長トークンを除去することで、飽和点が遅延し（最大 11 枚まで）、モデルは同じ計算予算内でより長い履歴を効果的に利用できるようになります。
• 経路長: ReVision エージェントはタスクをより効率的に解決し、タスク完了に必要な対話ステップ数が少なくなります。例えば、OSWorld では、より高い成功率を達成しながら平均経路長が 4 ステップ削減されました。
• 他の戦略との比較: ReVision は、単純なトークンドロップ戦略（ランダム、スパイラル）や単純な類似性ベースのフィルタリング（ピクセルまたは埋め込みのコサイン類似度）よりも優れています。推論時に OmniParser を使用する領域ベースの手法はわずかに高いパフォーマンスをもたらしますが、許容できない遅延（>550ms）を伴います。ReVision は、低い遅延（約 22ms）で同等の成果を達成します。
• 一般化: この手法は、異なるモデルファミリー（Qwen2.5-VL-7B および Qwen3-VL-8B）間で一般化され、単一画像設定でのパフォーマンスを低下させることなく、トレーニング分布のシフトが標準的なグラウンディング能力を害さないことを確認しました。

意義と主張

本論文は、コンピュータ使用エージェントの拡張における主な障壁は、履歴情報の欠如ではなく、視覚トークン表現の非効率性であると主張しています。時間的冗長性を明示的にモデル化して除去することで、ReVision は効率のフロンティアをシフトさせ、エージェントが計算コストを増やすことなく、より長く、より情報量の多い経路を処理できるようにします。

著者らは、視覚履歴パフォーマンスで一般的に観察される飽和は、情報の有用性の限界ではなく、コンテキスト予算の制約に起因するアーティファクトであると結論付けています。冗長性削減を通じてコンテキスト予算を解放することで、エージェントはより長い履歴を取り込むことができ、これにより長期的な推論と意思決定が向上します。この研究は、視覚推論の将来のスケーリングは、単に生データを蓄積するのではなく、限られた予算内で有用な情報を維持することに焦点を当てるべきであることを示唆しています。