OpenMobile: 移動体エージェントのためのタスクと軌道合成によるオープンモデル構築

本論文「OpenMobile: Building Open Mobile Agents with Task and Trajectory Synthesis」は、視覚言語モデル（VLM）を搭載したモバイルエージェント（スマートフォン操作を自動化する自律システム）の性能格差を埋めるための、オープンソースのデータ合成フレームワーク「OpenMobile」を提案するものです。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

近年、VLM を活用したモバイルエージェントは、AndroidWorld などのベンチマークで約 70% のタスク成功率を達成するなど、劇的な進歩を遂げています。しかし、これらの高性能なシステム（Step-GUI, MAI-UI など）は、そのトレーニングデータやタスク生成の手法を非公開（クローズド）にしており、研究コミュニティは再現や発展が困難な状況にあります。

一方、オープンソースコミュニティは AndroidControl や AMEX などの公開データセットに依存していますが、これらは注釈ノイズが多く、思考パターンが乏しいため、AndroidWorld での成功率は約 30% に留まっています。この「性能格差」と「データの透明性不足」が、オープンソース研究の大きな障壁となっています。

2. 提案手法：OpenMobile

OpenMobile は、高品質なタスク指示とエージェントの軌道（実行履歴）を大規模に合成するためのフレームワークです。主に以下の 2 つの核心コンポーネントで構成されています。

2.1 スケーラブルなタスク合成パイプライン（Scalable Task Synthesis）

既存の手法は、単一の探索軌道（ローカルな画面遷移）をコンテキストとして利用してタスクを生成するため、生成されるタスクの多様性が制限されていました。OpenMobile はこれを**「探索」と「生成」を分離**するアプローチに変革します。

1. 環境探索: アプリケーション内でランダムウォークなどの探索を行い、画面遷移データを収集します。
2. グローバル環境メモリの構築: 収集されたデータを統合し、アプリ全体の機能構造を把握する「グローバル環境メモリ」を構築します。
   • スクリーン集約: 視覚的に類似した画面をクラスタリングし、一意の画面セットを定義。
   • 機能抽出: 強力な VLM を用いて、各画面の UI 要素の機能（機能セット）を自然言語で記述。
   • セマンティックインデックス: 機能間の意味的関連性を構築し、アプリ全体で検索可能にします。
3. メモリ強化タスク合成: 生成対象の画面に対して、以下の 3 つのコンテキストを組み合わせて高度なタスクを生成します。
   • 焦点画面: 現在の画面と機能。
   • 短期記憶: 隣接する画面（遷移先・遷移元）の機能。
   • 長期記憶: 同じアプリ内の遠くにある画面から意味的に関連する機能（ユーザーの経験に基づいた横断的な機能結合を促す）。
     これにより、単一の軌道からは導き出せない複雑で多様なタスク指示を生成します。

2.2 ポリシー切り替えによる軌道ロールアウト（Policy-Switching Rollout）

学習用軌道の収集において、単なる「専門家（Expert）による模倣学習」ではエラーからの回復（Error Recovery）データが不足し、「自己進化（Self-Evolution）」では収束が遅いという課題があります。OpenMobile はこれらを統合した**「エラー介入によるポリシー切り替え」**戦略を採用します。

• 学習者（Learner）と専門家（Expert）の交互実行: タスク実行中、学習者が行動を選択しますが、監視モジュールが学習者の行動が目標から逸脱している（エラーが発生している）と検知した場合、即座に専門家のポリシーに切り替えて軌道を修正します。
• 効果: これにより、学習者は「エラーを起こし、それを修正される」という貴重な体験データを獲得できます。これは純粋な模倣学習では得られない、実環境でのエラー回復能力を高めるための重要な信号となります。

3. 主要な貢献

1. OpenMobile フレームワークのオープンソース化:

   • 探索と指示生成を分離し、グローバルメモリを活用するタスク合成手法。
   • エラー回復信号を効率的に収集するポリシー切り替えロールアウト戦略。
   • これらにより、20 の Android アプリを対象に、2,800 のタスク指示と 34,000 のアクションステップ（軌道）を合成したデータセットを公開しました。

2. 3 つの動的ベンチマークでの競争力ある性能:

   • 合成データで微調整した Qwen2.5-VL-7B と Qwen3-VL-8B は、AndroidWorld でそれぞれ 51.7%、64.7% のタスク成功率を達成。
   • 既存のオープンデータ手法（約 30%）を大幅に上回り、クローズドデータを用いた最先端の商用システムと同等かそれ以上の性能を示しました。

3. データ汚染と過学習の透明性ある分析:

   • 合成データがベンチマークのテストセットと重複している（データリーク）のではないかという懸念に対し、厳密な分析を行いました。
   • 合成指示とテスト指示のセマンティック類似度は中程度であり、機能レベルの関連性は高いものの、タスクレベルの単純な複製ではないことを証明。
   • 性能向上は「広範な機能カバレッジ」と「強化されたエラー回復能力」に起因し、ベンチマークへの過学習によるものではないことを実証しました。

4. 実験結果

• ベンチマーク性能:
  • AndroidWorld: Qwen3-VL-8B 微調整モデルは 64.7%（Pass@1）を達成。既存のオープンデータベースライン（ScaleCUA など）を大きく上回る結果となりました。
  • AndroidLab / MobileWorld: 未見のアプリや長期的なクロスアプリタスクを含む MobileWorld でも、9.4% から 17.4% へと大幅な改善が見られました。
• アブレーション研究:
  • タスク合成: 提案する「分離型合成」は、既存の結合型手法や OS-Genesis よりも、より複雑で実行可能なタスクを生成し、高い成功率をもたらしました。
  • ロールアウト戦略: 「エラー介入切り替え」は、ランダム切り替えや自己進化よりも多くのエラー回復事例を含み、テスト時の性能向上に最も寄与しました。
• 機能カバレッジ: 合成データが環境の機能カバレッジを広げるほど、タスクの成功率が向上することが確認されました。

5. 意義と結論

OpenMobile は、クローズドな大規模データに依存していたモバイルエージェント研究において、**「オープンデータによる高性能化」**の道筋を示しました。

• 技術的意義: 探索と生成の分離、およびエラー回復データの体系的な収集という新しいパラダイムを確立しました。
• コミュニティへの貢献: 合成データとコードを公開することで、研究コミュニティが透明性を持ってモバイルエージェントを研究・発展させるための基盤を提供しました。
• 将来展望: 本手法は、単なるタスク実行だけでなく、エラーからの回復を含む堅牢な自律エージェントの構築に不可欠であり、今後のオープンソース AI エージェント研究の重要な足掛かりとなります。

要約すれば、OpenMobile は「クローズドなデータに頼らず、どうやって高品質で多様な学習データ（特にエラー回復データ）を生成し、オープンソースモデルを最先端レベルに引き上げるか」を解明した画期的な研究です。