Covering Human Action Space for Computer Use: Data Synthesis and Benchmark
本論文は、CUActSpotベンチマークとレンダラーベースのデータ合成パイプラインを導入することで、複雑で低頻度のインタラクションにおけるコンピュータ操作エージェントの信頼性の低さに対処し、これらによって40億パラメータモデルが多様なGUIモーダルにわたる大規模なオープンソースモデルを上回る性能を発揮することを可能にします。
原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボット執事にご自身のパソコンの使い方を教える場面を想像してください。ボタンをクリックし、メールを入力し、ファイルを整理する作業を、ご自身と同じように実行してほしいと願います。長年にわたり、研究者たちはこれらのロボットを主に「単純なクリックタスク」、つまり「送信」ボタンを押したり、リンクをクリックしたりする作業で訓練してきました。これは、ロボットにベルを押す方法だけを教えるようなものです。
しかし、実際のパソコンの使用ははるかに複雑です。時にはファイルをあるフォルダから別のフォルダへ「ドラッグ」したり、写真を切り抜くためにその周りに円を「描画」したり、削除する特定の段落を「選択」したりする必要があります。この論文は、現在のロボット執事がこれらの「ロングテール」タスクに失敗しているのは、十分な練習を積んでいないからだと主張しています。これらは、多肢選択問題の試験の勉強しかしていない学生に、突然論文を書くように求められたようなものです。
以下に、著者たちがこの問題を解決するために何を行ったかを、簡単なアナロジーを用いて解説します。
1. 問題：「クリックのみ」の罠
著者たちは、GPT-5.4 などの高度な AI モデルがパソコンの操作に失敗する理由を調査しました。その結果、ロボットは単純なクリックには慣れているものの、スプレッドシートのセルをドラッグしたり、図形を描画したりといった複雑な作業を求められた際には混乱することがわかりました。
- アナロジー： 運転免許試験で、練習したことが点火キーを回すことだけだと想像してください。もし突然、路肩駐車や高速道路への合流を求められたら、事故を起こしてしまうでしょう。現在の AI モデルはキーを回すこと（クリック）は得意ですが、駐車（ドラッグや描画）は苦手です。
2. 解決策その 1：新しい「運転免許試験」（CUActSpot）
これを解決するため、チームは CUActSpot という新しいベンチマークを構築しました。これはロボット向けの、より困難な新しい運転免許試験のようなものです。
- 何が違うのか？ ロボットに「赤いボタンをクリックする」ことだけを求めるのではなく、この試験では以下のようなことを求めます。
- ファイルをゴミ箱へドラッグする。
- 2 つの図形を繋ぐように線を描画する。
- 文書内の特定の単語を選択する。
- 写真から人物を切り抜く。
- 5 つの世界： この試験は、画面内の 5 つの異なる「世界」をカバーします。標準的なアプリ（GUI）、テキスト文書、スプレッドシート（表）、描画キャンバス、そして自然写真です。
- ルール： ロボットを評価するための厳格なルールが作成されました。ロボットがファイルをドラッグしようとした際、誤って「禁止」エリア（ポップアップ広告など）をクリックしてしまった場合は、即座に不合格となります。これにより、ロボットが単に運が良かっただけではなく、正確であることを保証します。
3. 解決策その 2：「魔法の工場」（データ合成）
最大の課題は、ロボットに教えるためのこれらの複雑な動作の例が不足していたことです。人間がドラッグや描画の動作を数百万時間録画するのを待つことはできません。時間がかかりすぎるからです。
- アナロジー： 実際のドライバーが練習するのを待つ代わりに、チームはビデオゲームシミュレーターを構築しました。
- 仕組み： 彼らはコードを作成し、自動的に数百万枚の架空のパソコン画面を生成しました。
- 無作為な数値を含む架空のスプレッドシートを作成しました。
- キャンバス上に架空の図形を描画しました。
- 実際の写真を取り込み、特定の部分をマーキングしました。
- 「教師」（LLM）： 彼らは、これらの架空の画面を見て、「緑色の矢印を黄色い円の上部へドラッグせよ」といった指示を書き出すために、高度な AI（LLM）を使用しました。また、ロボットが移動すべき正確な座標も AI が計算しました。
- 結果： 彼らは5000 万の練習サンプルを生成しました。これは、ロボットが実車に触れる前に、シミュレーターで 100 万時間の運転練習を積ませるようなものです。
4. 発見：量よりも多様性
チームは、何がロボットをより賢くするかを実験しました。そして、驚くべき発見をしました。
- 従来の方法： ロボットに同じものを「もっと」与えること（例：ボタンクリックの例を 1000 万個与えること）は、あまり役立ちませんでした。
- 新しい方法（多様性のスケーリング）： ロボットに異なる種類のタスク（クリック、ドラッグ、描画、表、テキスト）を与えることで、はるかに賢くなりました。
- アナロジー： これは料理人のようなものです。玉ねぎを切る練習だけをすれば、玉ねぎは上手に切れるようになります。しかし、玉ねぎを切る、トマトをスライスする、ステーキを焼く、パンを焼くといった練習をすべて行えば、どんなレシピにも対応できる巨匠シェフになれます。ロボットは、特定の物体を動かすことよりも、マウスを動かす「スキル」そのものが重要であることを学びました。
5. 結果：新しいロボット（Phi-Ground-Any-4B）
この新しい「運転免許試験」と「データの魔法の工場」を用いて、彼らは Phi-Ground-Any-4B という新しいモデルを訓練しました。
- 成果： このモデルは比較的小さい（パラメータ数は 40 億のみ）にもかかわらず、これらの複雑なタスクにおいて、320 億パラメータを超えるようなはるかに巨大なオープンソースモデルよりも優れた性能を発揮しました。
- 注意点： このモデルは、従来のスタイルのテスト（標準的なボタンのクリックのみを重視するもの）ではやや弱いです。しかし、実際のパソコン使用において真に重要な、新しい複雑なタスクにおいてはチャンピオンです。
まとめ
この論文はこう述べています。「ロボットにクリックする方法だけを教えるのをやめなさい。実際のパソコン使用には、ドラッグ、描画、編集が含まれます。私たちはこれらのスキルを測定する新しい試験を構築し、数百万の練習例を生成する工場を作り、ロボットに幅広い動作を教えることが、単にクリックを教えるよりもパソコンを操作する能力を大幅に向上させることを証明しました。」
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。