技術要約: MIRAGE (Mobile Agents with Implicit Reasoning and Generative World Models)

1. 問題提起

スクリーンショットと言語目標から日常的なアプリケーションを操作するモバイルエージェントは、推論能力とデプロイ効率の間の決定的なトレードオフに直面している。現在の最先端システム（例：UI-TARS, MAI-UI）は、モデルがアクションを実行する前に冗長なテキストによる根拠を生成する**明示的な思考の連鎖（Explicit Chain-of-Thought: CoT）**に依存している。これは意思決定を向上させる一方で、以下のような大きなオーバーヘッドをもたらす：

• 非効率性: 長いテキストの思考を生成することは、デコーディングのレイテンシとトークン消費を増加させ、インタラクティブな制御を遅延させる。
• コスト: 教師あり学習には人間が書いた、あるいは合成された根拠データが必要であり、トレーニングコストを増大させる。
• デプロイメントの制約: 実世界のモバイルシナリオでは、追加のトークンが発生するたびにフィードバックが遅れるため、明示的な推論は低レイテンシのアプリケーションにおいて実用的ではない。

核心となる課題は、明示的なCoTが持つ多段階の推論および将来の状態予測能力を維持しつつ、中間的な思考を可視的なテキストとしてデコードするコストを排除することである。

2. 手法

MIRAGEは、推論を可視的なトークンストリームから**連続的な潜在空間（Continuous Latent Space）**へと移行することで、この課題に対処する。本フレームワークは、2段階のトレーニングパイプラインを採用し、2つの新しいコンポーネントである「近似並列潜在リファインメント（Approximate Parallel Latent Refinement: APLR）」と「Q-Former World Modelヘッド」を導入している。

2.1 潜在的思考の定式化 (Latent-Thought Formulation)

一連のテキストトークン $\tau_t$ に続いてアクション $a_t$ を生成する代わりに、MIRAGEはデコーダーのコンテキスト内で連続的な潜在変数 $z_t = (z_{t,1}, \dots, z_{t,N})$ のシーケンスを生成する。これらの潜在スロットは、デトケナイズ（テキスト化）されることなく、エージェントの内部的な「思考」（観察、根拠、および将来の予測）を表す。推論プロセスでは最終的なアクション・トークンのみをデコードするため、出力長が劇的に減少する。

2.2 近似並列潜在リファインメント (APLR)

逐次的な生成に伴う膨大なコストをかけずに、潜在空間で効果的に推論するようにモデルを訓練するために、MIRAGEはAPLRを導入している。

• 概念: 従来の潜在CoTは逐次的なリファインメント（一度に一ステップずつ）を必要とするが、これは計算コストが高い。APLRは、思考ブロックを $N$ 個のスロットとして扱い、それらを $K$ ラウンドにわたって並列にリファインする（Jacobi方式）。
• メカニズム: 各ラウンド $k$ において、すべての潜在スロット $z_i^{(k+1)}$ は、ラウンド $k$ の値を使用して同時に更新される。
• 理論的保証: この手法は、近似誤差に関する証明可能な境界を提供する。$K$ ラウンド後、最初の $K$ 個の潜在スロットは逐次的な解と正確に一致し、残りの「テイル（末尾）」のスロットは限定された誤差を保持する。
• 効率性: これにより、トレーニングコストを $N$ 回の逐次パスから、少数の同期パス（$K \ll N$、通常は $K=3$）へと削減する。

2.3 Q-Former World Model アライメント

並列リファインメントの限界として、「テイル」部分の潜在スロット（多くの場合、将来の状態予測を含む）は、アクションのみの損失関数では十分に教師あり学習されない可能性がある。これに対処するため、MIRAGEは**ワールドモデル（World Model）**の観点を統合している。

• 目的: モデルは、現在の潜在的な推論状態に基づいて、次のスクリーンショット ($x_{t+1}$) の視覚的特徴を予測するように訓練される。
• アーキテクチャ: 軽量なQ-Formerヘッドが、凍結されたビジョンエンコーダによって抽出された次のスクリーンショットの視覚的特徴と、リファインされた潜在状態をアライメント（整合）させる。
• 利点: これにより、潜在スロットに環境のダイナミクスと遷移予測をエンコードさせ、表現の崩壊を防ぎ、「予測」という思考プロセスの次元に対して密な教師信号を提供する。

2.4 2段階のトレーニングパイプライン

1. ステージ1 (明示的CoTによるウォームアップ): モデルは、<THOUGHT>（観察、根拠、予測）と <ACTION> ブロックを含む構造化されたテキストトレースを用いて訓練される。これにより、バックボーンにモバイルのアクション空間と推論パターンを学習させる。
2. ステージ2 (潜在的蒸留): <THOUGHT> テキストブロックが潜在スロットに置き換えられる。モデルは、APLRを用いたリファインメントと、Q-Formerヘッドを用いたワールドモデルのアライメントを用いて訓練される。結合損失関数は、アクションのクロスエントロピー損失 ($L_{ce}$) とワールドモデルのアライメント損失 ($L_{wm}$) を組み合わせたものである。

3. 主な貢献

本論文は、主に3つの貢献を主張している。

1. MIRAGEフレームワーク: 推論を完全に潜在空間で行うモバイルエージェントであり、デコードされるトークン数を3〜5倍削減しながら、明示的CoTと同等の性能を実現する。
2. APLR: 全逐次的潜在CoTを、極めて低いトレーニングコストで近似する、並列なJacobi方式のリファインメント手順であり、テイルスロットの近似誤差に関する理論的境界を持つ。
3. Q-Former World Model ヘッド: 潜在的な推論状態を将来のスクリーンショットの特徴と一致させるメカニメントであり、これによりエージェントはGUIの状態遷移を予見できるようになり、推論時にピクセルやテキストを生成することなくタスク能力を向上させる。

4. 実験結果

MIRAGEは、AndroidControl（指示への追従性とアクション精度）およびAndroidWorld（動的なオンデバイスタスク完了）を用いて評価された。

• AndroidControl:

  • MIRAGE-4Bは、Qwen3-VL-4Bベースラインと比較して、Exact Match (EM) を68.48%から77.59%へ、Action Accuracyを75.15%から91.09%へと向上させた。
  • トークン削減: ステップあたりの平均生成トークン数は、約115から約19へと減少した（83%の削減）。
  • レイテンシ: 強力なベースラインと比較して、最初のトークンから最後のトークンまでのレイテンシが1.8倍から2倍減少した。

• AndroidWorld:

  • MIRAGE-4Bは、タスク成功率 (SR) 52.6%を達成し、Qwen3-VL-4Bベースライン（42.9%）を9.7ポイント上回った。
  • MIRAGE-8Bは、SR 57.8%を達成し、ベースラインに対して10.2ポイントの改善を示した。
  • 効率性: 高い成功率にもかかわらず、MIRAGEモデルはベースラインよりも約70〜75%少ないトークンを生成した。

• アブレーション研究:

  • ワールドモデルの目的関数を除去した場合（APLRのみ）、性能が低下した（フルMIRAGEのSR 52.6%に対し、48.2%）、これはテイルスロットのリファインメントにおける将来状態アライメントの必要性を裏付けている。
  • 潜在スロットを9から3に減らすと性能が大幅に低下し、複雑な推論を表現するための十分な連続容量の必要性が浮き彫りになった。

5. 意義と主張

本論文は、MIRAGEをモバイルエージェントにおける「推論のボトルネック」に対する解決策として位置づけている。著者らは以下のことを主張している：

• 潜在的推論の実現可能性: 高品質な推論には、冗長なテキスト出力は必要ない。それは潜在状態へと効果的に圧縮できる。
• 犠牲のない効率化: 推論計算をトークンストリームから切り離すことで、エージェントは明示的なCoTの堅牢性を維持しつつ、モバイル展開における厳格なレイテンシとトークン予算の制約を満たすことができる。
• 将来状態の予測: ワールドモデルの目的関数を潜在的な推論プロセスに直接統合することで、エージェントはインターフェースの変化を予見できるようになる。これは、コンパクトな潜在表現において従来困難であった能力である。

著者らは、現在の手法が教師あり学習に依存していること、特徴量レベル（ピクセルレベルではない）のワールドモデリングを使用していること、および実世界へのデプロイ前にプライバシーと安全性の保護策が必要であることを挙げ、限界についても認めている。