スマートフォンの使い方をロボットに教えようとしている場面を想像してみてください。ただマニュアルを渡して「あとは頼んだ」とは言わないはずです。おそらく、アプリを開く方法、ボタンをタップする方法、そして間違えて違うところをクリックしてしまった時にどうやって復旧するか、といったことも教えるでしょう。これがGUIエージェントの世界です。これらは「視覚言語モデル（テキストを読み、画像を理解できる、目と脳を持ったロボットのようなもの）」によって動くスマートなコンピュータプログラムです。これらのエージェントは、コーヒーを注文したり、航空券を予約したりといった、あなたのスマホ上での現実的なタスクを実行することを目指しています。しかし、ここには落とし穴があります。これらを学習するためには、「軌跡（トラジェクトリー）」と呼ばれる膨大な練習用のライブラリが必要です。問題は、現在手元にある練習データが、ほとんど「イージーモード」のビデオゲームのようなものだということです。それは、すべてがうまくいく単純で直線的な経路しか示していません。しかし、現実の世界はもっと複雑です。アプリはボタンで溢れかえっており、ポップアップが突然現れたり、時には引き返したり、別のルートを試したりしなければならないこともあります。このような、乱雑で長く、複雑なシナリオでのトレーニングがなければ、私たちのロボットの助手たちは脆弱で、現実世界のアプリに直面するとすぐに迷子になってしまいます。

そこで、ハービン工業大学の研究者によって開発された、このトレーニングのギャップを埋めるための新しい手法、SEEが登場しました。SEEを、単に目的もなく歩き回るガイドではなく、ロボットを送り出す前にあらゆる経路の精巧でインタラクティブな地図を構築する、非常に賢いツアーガイドだと考えてください。単に「推測して試す（当てずっぽうでクリックする）」のではなく（これは時間がかかり、行き止まりに突き当たることも多いです）、SEEはまずアプリを「探索（Explore）」して、すべての画面とボタンを繋ぐグラフを描き出します。そして、その地図を使って知識を「活用（Exploit）」し、複数のステップ、回り道、さらには煩わしいポップアップへの対処を含む、長く複雑な旅を計画します。その結果、これまで見たこともないほど長く、より現実的な練習用のデータセットが生成されます。論文では、この新しい、より手強いデータでトレーニングすることで、ロボットは混沌としたモバイルアプリの世界をナビゲートするのが非常に上手くなり、以前は混乱していたタスクを完遂できるようになると示唆されています。

問題点：アプリストアで迷子になるロボットたち

あなたが犬に、変化し続ける巨大な迷路を通り抜ける方法を教えようとしている場面を想像してみてください。もし、犬が最初の試行で必ずおやつを見つけられるような、狭くて何もない廊下だけで練習させていたら、行き止まりや動く壁、紛らわしい標識がある本当の迷路には決して対処できなくなるでしょう。それが、現在のGUIエージェントに起きていることです。

これらのエージェントは、あなたのスマートフォンの画面を操作するように設計されたAIシステムです。彼らは画面を見て、そこにどんなボタンがあるかを判断し、目的を達成するためにそれらをタップします。しかし、これを学ぶためには、人間がアプリを使っている例を何千回も見る必要があります。問題は、現在あるデータのほとんどが、先ほどの「空っぽの廊下」のようなものだということです。それらは、すべてが完璧に進む、短くて単純なタスクで満たされています。しかし、実際のモバイルアプリは、活気のある都市のようなものです。何百ものボタンがあり、視界を遮る広告のポップアップがあり、「ホーム」から「チェックアウト」へ至るまでの、長く曲がりくねった経路が存在します。

現在のトレーニングデータ作成手法は、コストがかかりすぎる（人間を雇ってあらゆる動きを記録させる）か、あるいは不器用すぎる（AIにランダムにクリックさせる）かのどちらかです。ランダムなクリックは、地図に向かってダーツを投げているようなものです。ターゲットに当たることもありますが、ほとんどの場合は壁に当たります。それは、権限許可のポップアップが表示されたときにどう対処するか、あるいは複雑なメニューをどう進むかといった、稀ではあるものの重要な瞬間を見逃してしまいます。このため、これらのAIエージェントが実際のアプリを使おうとすると、膨大な選択肢や、タスクを完了するために必要な長いステップの連鎖に戸惑い、しばしば行き詰まってしまうのです。

解決策：旅に出る前に地図を作る

SEE（Structure-aware Exploring & Exploiting）の開発者たちは、ダーツを投げるのをやめて、地図を描くことに決めました。彼らのアプローチは、人間が新しい街を学ぶ方法を模倣した、2段階のプロセスです。まず、探索して地図を作り、次に、最適なルートを計画します。

ステップ1：エクスプローラー（地図の構築）
第一段階では、AIエージェントは好奇心旺盛な探検家として振る舞います。単にランダムにクリックするのではなく、アプリのレイアウトを発見するためのスマートな戦略を用います。画面を見て、ボタンやアイコンを特定し、「これをタップしたらどうなるだろう？」と自問自答します。

• 「構造認識（Structure-Aware）」の部分： エージェントは単に画像を見ているのではありません。彼らは「構造」を理解しています。「戻る」ボタンは通常、前の画面に戻るものであること、「検索」バーは新しいページへと導くものであることを知っています。
• 「リフレクション（内省）」の部分： タップのたびに、エージェントは立ち止まって考えます。「これはうまくいったか？ 期待通りの新しいページに到達したのか、それとも単にポップアップが出ただけか？」もしそのアクションが理にかなっており、新しい状態へと導いたのであれば、その接続をメンタルマップ（精神的な地図）に追加します。もしそれが行き止まりであったり間違いであったりした場合は、それも記録します。
• 結果： このプロセスによって、**トランジション・グラフ（遷移グラフ）**が構築されます。スマートフォンの各画面を駅とし、押せるボタンを路線とする地下鉄の路線図を想像してください。この地図には、簡単な経路だけでなく、「サインイン」の壁をどう突破するか、あるいはシステム通知をどう扱うかといった、トリッキーな経路も含まれています。

ステップ2：プランナー（ルートの描画）
地図が完成すると、第二段階が始まります。ここが**ロングホライゾン（長期的な展望）**タスクが発生する魔法の部分です。毎回ゼロから旅を計画する代わりに、プランナーは地図を参照します。

• ホーム画面（出発点）と、決済画面（目的地）を選択します。
• そして、地図を使って経路を見つけ出します。ここでの素晴らしい点は、複雑な旅を計画できることです。「ホームから『アニメ』セクションへ行き、特定のシャツを見つけ、ウィッシュリストに追加し、最後にそれを共有する」といったことが可能です。
• 事前に構築された地図を使用しているため、推測する必要はありません。どのボタンを押せば次の画面へ進めるかを正確に把握しています。さらに、「サブゴール（中間目標）」を設定し、大きなタスクを管理しやすい小さな塊に分解することもできます。

この手法により、SEEは平均14.8ステップにおよぶ膨大な練習用データを生成することができます。比較のために言えば、既存のデータセットの多くは、タスクの長さがわずか5〜8ステップ程度です。SEEは、ロボットにジョギングではなく、マラソンをさせるためのトレーニングを行っているのです。

分かったこと：より厳しく、よりスマートな訓練場

研究者たちは、この新しい手法を用いてSEEというデータセットを作成し、他の手法と比較するテストを行いました。結果は非常に印象的でしたが、同時に現実のスマートフォン利用がいかに困難であるかも浮き彫りにしました。

1. データがより豊かであること
SEEデータセットには複雑さが詰まっています。他のデータセットの画面には約14個のボタンしかない場合がありますが、SEEの画面には平均24.63個のインタラクティブな要素が存在します。これは、AIが混雑し、混乱した群衆の中から正しいボタンを選び取らなければならないことを意味します。また、タスクもより長く、他のデータセットの短いタスクに対し、1回の行程あたり平均14.8ステップとなっています。

2. ロボットは苦戦する（しかし学習する）
研究者たちが既存のAIエージェントをこの新しい、より手強いデータでテストしたところ、エージェントの成績は芳しくありませんでした。彼らは「タップ」や「スワイプ」といったアクションの種類は推測できても、正しいボタンを選ぶことはできませんでした。これは「グラウンディング（接地）」の問題と呼ばれます。それは、「左に曲がる必要があることは分かっているが、間違った通りを左に曲がってしまう」ようなものです。

• 成功率： 追加のトレーニングなしでは、最高のモデルでもテストセットに対して約**39.92%**の成功率しか達成できませんでした。
• ボトルネック： 主な問題は、ステップの計画ではなく、似たような見た目のものが溢れる画面の中から、正しいボタンを見つけ出すことでした。

3. SEEでのトレーニングは大きな違いをもたらす
しかし、AIモデルを（SEEデータで）ファインチューニング（特定の学習）させたところ、結果は劇的に跳ね上がりました。

• ファインチューニングされたモデルの成功率は**77.29%**へと急上昇しました。
• 正しいボタンを選ぶ能力（グラウンディング精度）は、**60.79%から69.91%**へと向上しました。
• さらに重要なことに、このトレーニングは、まだ見たことのない他のアプリにおいても、ロボットのパフォーマンスを向上させました。これは、複雑で長いタスクでの学習が、新しい状況にも転用できる一般的なスキルを教えていることを示唆しています。

4. 地図の重要性
研究者たちは、この「地図作り（探索段階）」が実際に機能しているかどうかも確認しました。その結果、「リフレクション（内省）」のステップ、つまりAIが自分の動きが理にかなっているかを再確認する工程が極めて重要であることが分かりました。これがない場合、地図には多くのエラー（約**27.1%の誤った接続）が含まれていました。リフレクション工程を加えることで、地図は非常にクリーンになり、エラーはわずか9.1%**となりました。これは、一瞬立ち止まって何が起きたかを考えることが、システム全体の信頼性を大幅に高めることを証明しています。

なぜこれが重要なのか

この論文は、人間のデモンストレーションにさらなる資金を投入したり、ランダムなクリックがロボットにスマホの使い方を教えてくれると期待したりするだけでは不十分であることを示唆しています。現実世界はあまりにも複雑です。構造を認識し、まず地図を作り、それから長く現実的な旅を計画するというアプローチを用いることで、モバイルアプリの混沌とした現実に対して、AIを真に準備させることができるのです。

SEEフレームワークは、適切な種類の練習――長く、複雑で、現実世界の邪魔が入るような練習――を行うことで、AIエージェントがデジタル世界をより効果的にナビゲートできることを示しています。これは、単に単純な指示に従うだけでなく、変化し続けるスマートフォンの混沌とした世界の中で、実際に物事を成し遂げる方法を見つけ出せるロボットへの一歩です。まだ課題は残っており、成功率は完璧ではありませんが、このアプローチは、私たちのデジタルアシスタントを真に役立つ存在にするための有望な道筋を提示しています。