技術サマリー：生成視覚コードモバイルワールドモデル

問題定義

モバイルグラフィカルユーザーインターフェース（GUI）のワールドモデル（WM）は、エージェントのトレーニングおよび推論中のパフォーマンスを向上させるために、将来のインターフェース状態を予測することを目的としています。現在のアプローチは、重要なトレードオフに直面しています：

1. テキストベースのWM： ピクセル空間をテキストに抽象化することで視覚忠実性を犠牲にし、重要な空間配置や視覚属性（例：アイコン、タイポグラフィ）を失います。
2. 視覚（ピクセルベース）のWM： 正確なテキストレンダリングと離散的なGUIダイナミクスに苦慮しています。既存の視覚WM（例：VIMO）は、外部OCR、テキストマスキング、拡散モデル、テキスト埋め込みのためのクローズドウェイトLLMを含む複雑な多段階パイプラインに依存しています。これにより、計算オーバーヘッド、レイテンシ、およびクローズドウェイトに起因する再現性の低下という重大な問題が生じます。

さらに、既存のベンチマークは、動作をテキストに変換するか、分布内シナリオのみをテストすることで問題を単純化しており、ゼロショット汎化やネイティブ視覚動作空間の評価に失敗しています。

手法

著者は、レンダラブルコード生成を介した視覚モバイルGUIワールドモデリングのための新しいパラダイムであるgWorldを提案します。モデルは直接ピクセルを生成するのではなく、ピクセルにレンダリング可能な実行可能なWebコード（HTML/CSS）として次のGUI状態を予測します。

コアアーキテクチャ

• モデル： gWorldは、オープンウェイトのビジョン・ランゲージモデル（VLM）に基づいて構築されており、特にQwen3 VL（8Bおよび32Bパラメータ）の微調整バージョンを使用しています。
• 表現： モデルは構造化されたWebコードを出力します。これにより、正確なテキストレンダリングのためのVLMの言語的事前知識と、高忠実度の視覚生成のための構造化Webコード上の事前学習が活用されます。
• トレーニング目的： モデルは、現在の画像状態（$S_t$）と動作（$A_t$）を与えられた場合、推論トレース（$R_t$）とコードベースの次の状態（$S^{code}_{t+1}$）の両方を予測するようにトレーニングされます。

データ生成フレームワーク

コードベースのGUIワールドモデリング用データセットが存在しないため、著者はトレーニングデータを合成するためのフレームワークを導入しました：

1. 軌道の転用： オフラインモバイルエージェントの方針軌道（AitW、GUIOdyssey、AndroidControl、AMEXから取得）を遷移トリプレット $(S_t, A_t, S_{t+1})$ に変換します。
2. クロスモーダル再ラベリング： 真の次の状態画像（$S^{image}_{t+1}$）を、画像からコードへのプロンプトを介して最先端モデル（Gemini 3 Flash）を使用して、レンダラブルWebコード（$S^{code}_{t+1}$）に変換します。
3. 先読み推論： 推論トレース（$R_t$）は、真の次の状態への「フリー先読み」アクセスを備えた最先端モデルを使用して合成されます。これにより、問題をまず自然言語で状態変化を予測し、その後コードに変換するという段階に分解し、推論と最終出力の整合性を確保します。

ベンチマーク：MWMBENCH

著者は、6つのデータセットで構成される包括的なベンチマークMWMBENCHを導入しました：

• 分布内（ID）： 4つのデータセット（AitW、GUIOdyssey、AndroidControl、AMEX）。
• 分布外（OOD）： 2つの新しいデータセット：
  • AndroidWorld： AndroidWorldベンチマークからの自動収集。
  • KApps： 人気のある韓国語アプリ（例：Baemin、KakaoTalk）を特徴とする手動キュレーションされた韓国語軌道。多言語および地域汎化をテストします。
• 主要な特徴： MWMBENCHは、動作をテキストに変換するのではなく、ネイティブ視覚モダリティ（動作の元の座標を保持）でモデルを評価し、ゼロショット汎化のためのOOD評価を含みます。

主要な貢献

1. gWorldモデル： レンダラブルコード生成を介して動作する、最初のオープンウェイトの単一自己完結型視覚モバイルGUI WM（8Bおよび32B）。
2. データ生成パイプライン： 既存の方針軌道から推論トレースを備えた大規模なコードベーストレーニングデータを自動的に合成するフレームワーク。
3. MWMBENCH： 分布内および分布外の設定でネイティブ視覚動作空間を備えた視覚ワールドモデリングの体系的評価を可能にする新しいベンチマークスイート。
4. 実証的検証： コードベースモデリングがピクセルベース生成およびテキストベース抽象化を上回ることを示し、精度対モデルサイズの新たなパレートフロンティアを確立しました。

結果

6つのベンチマーク（4つのID、2つのOOD）にわたる広範な評価により、以下が示されました：

• パフォーマンス： gWorld 8Bおよび32Bは、すべてのベンチマークで最高および第2位の指示精度（IAcc.）を達成しました。これらは、最大50.25倍大きい8つの最先端オープンウェイトモデル（Llama 4 402BやQwen3 VL 235Bを含む）を上回ります。
• パレートフロンティア： gWorldは、既存の最先端モデルよりもはるかに少ないパラメータで高い精度を達成し、新しいパレートフロンティアを設定しました。
• ロバスト性： モデルはOODベンチマーク（AndroidWorldおよびKApps）で強力な汎化を示し、ID設定と比較してパフォーマンスが著しく低下することはありません。
• レンダリング忠実度： コードベースのアプローチは構造的エラーを事実上排除し、レンダリング失敗率は1%未満です（一部のベースラインでは30%超）。
• スケーリング則： パフォーマンスはデータセットサイズ（37Kから240Kサンプル）に対して予測可能なべき乗則に従い、より多くのデータによるさらなる向上が可能であることを示唆しています。
• ダウンストリーム影響： gWorldをブロードスロールアウトおよび値推定を介して方針エージェント（M3A）に統合すると、方針のみまたはワールドモデルなしの値関数を使用する場合と比較して、大幅なパフォーマンス向上（例：ベースラインに対して平均精度が+22.4%向上）が得られます。
• 効率性： gWorldは、以前のピクセルベースのWM（例：VIMO）よりも大幅に高速です。エンドツーエンドのレイテンシは**0.55秒（8B）および1.30秒（32B）**であり、VIMOの報告値160秒と比較されます。

意義と主張

本論文は、レンダラブルコードワールドモデリングが、スケーラブルで効率的なモバイルGUIエージェントのための実用的な基盤を提供すると主張しています。表現をピクセルからコードへシフトさせることで、gWorldはGUIの構造とテキストの忠実性を保持しつつ、多段階ピクセルベースパイプラインの複雑さとレイテンシを回避します。

著者は以下を強調しています：

• このアプローチは、視覚忠実度とテキスト精度の間のトレードオフを解決します。
• より大規模なクローズドウェイトまたはピクセルベースの代替手段を上回る、オープンウェイトで再現可能なワールドモデルの作成を可能にします。
• この手法は非常に効率的であり、モバイルエージェントのためのリアルタイムワールドモデリングを可能にします。
• 導入されたベンチマークとデータ生成フレームワークは、将来のモバイルGUIワールドモデリング研究に必要なインフラを提供します。

本論文は限界について控えめに述べており、フォトリアリスティックなコンテンツ（例：ビデオプレーヤー内の複雑な自然画像）はWebコードを介して高忠実度で再構築することが困難であると指摘していますが、これはほとんどのGUIタスクにおける意味的有用性に大きな影響を与えないとしています。将来の研究として、長期的な依存関係のための明示的なワーキングメモリの組み込みが提案されています。