DragOn: A Benchmark and Dataset for Drag-Based GUI Interactions
本論文は、ドラッグ操作に基づくGUIインタラクションデータの不足に対処するため、4つのドメインにわたる28.6万枚のスクリーンショットと350万のタスクで構成される包括的なベンチマークおよびデータセットであるDragOnを導入しており、このデータセットでファインチューニングを行うことで、複雑なコンピュータ操作タスクにおける最先端の視覚言語モデルの性能が大幅に向上することを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ロボットにコンピュータの使い方を教えているところだと想像してみてください。これまでは、ロボットにボタンを「クリック」する方法を教えることには非常に長けてきました。それは、子供に写真を見て「そこを触って！」と教えるようなものです。こうした例は数百万件もあり、ロボットはかなり上手になっています。
しかし、もっと難しいスキルがあります。それが「ドラッグ」です。
ドラッグを、重い箱を持ち上げて新しい場所に移動させたり、ページをスクロールするために指でスワイプしたり、写真の角を掴んでサイズを大きくしたりすることだと考えてみてください。これらの動作には、単に「どこに触れるか」だけでなく、「地点Aから地点Bへどのように動くか」を理解する必要があります。現在、ロボットはこの作業が苦手です。彼らは、おもちゃを指差すことはできても、それを持ち上げて部屋の端まで運ぶ方法がわからない幼児のような状態なのです。
この論文では、この問題を解決するための新しいツール「DragOn」を紹介しています。その仕組みを、簡単に説明します。
1. 問題点：「ドラッグ」の練習不足
著者たちは、ロボットにクリックを教えるための膨大なデータライブラリがある一方で、ドラッグを教えるためのデータはそれよりも10倍から100倍も少ないことに気づきました。このため、OpenAIやAnthropicのような最も賢いAIモデルであっても、テキストのハイライト、ウィンドウのサイズ変更、スライダーの操作といったタスクに苦戦します。彼らは混乱し、しばしば失敗してしまいます。
2. 解決策：「レンダリングによる教師あり学習（Rendering-as-Supervision）」
人間を何千人も雇って手動でクリックやドラッグをさせることなく、膨大なドラッグの例のライブラリを構築するために、著者たちは「レンダリングによる教師あり学習」と呼ばれる巧妙なトリックを考案しました。
- 従来の方法： 人間が画面を見ながら、単語の周りにボックスを描き、その座標を書き留める。これは時間がかかり、コストも高い作業です。
- DragOnの方法： ドキュメント（PDFやスプレッドシートなど）の「魔法の設計図」があると想像してください。コンピュータはそのドキュメントを自ら作り上げたものなので、すべての文字やセルの正確な位置を知っています。画像を見て推測する代わりに、コンピュータは設計図にこう尋ねます。「『Hello』という単語はどこにある？」すると設計図は、「それはこれらの正確な座標にある」と答えます。
コンピュータはその後、画像を「レンダリング（描画）」し、設計図に基づいてドラッグ操作の開始点と終了点を自動的にラベル付けします。これは、実際に車を走らせる前に、すべての道路標識の正確な位置を知っているGPSを持っているようなものです。これにより、350万件ものトレーニングタスクを非常に迅速かつ安価に作成することができました。
3. データセット：4つの新しい「遊び場」
彼らは単一のドラッグタスクを作ったのではありません。ロボットが練習するための4つの異なる「遊び場」を構築しました。
- テキストのハイライト： 文章の上をドラッグして選択する（教科書の単語をハイライトするように）。
- セルの選択： スプレッドシートのグリッド上をドラッグして、数字のブロックを選択する。
- 要素のサイズ変更： 写真やウィンドウの角を掴んで、引き伸ばしたり縮小したりする。
- スライダー操作： スライダーバー（音量調節のようなもの）を掴んで、左や右にスライドさせる。
合計で、ロボットが学習するための28万6,000枚のスクリーンショットを作成しました。
4. 結果：練習が完璧を作る
著者たちは、この新しいデータセットを世界で最も賢いAIモデルでテストしました。
- ベースライン： 最良の「既製品」のAIモデル（GPTやClaudeなど）は、これらのタスクにおいて30%未満のスコアでした。彼らは本質的に、成功するよりも失敗することの方が多い状態でした。
- ブレイクスルー： 著者たちは、オープンソースのAIモデルを取り出し、この新しいDragOnデータセットを用いて特別にトレーニングを行いました。
- 成果： このトレーニングを受けたモデルは、精度35.3%へと跳ね上がりました。これは大きな数字には聞こえないかもしれませんが、ベースとなるモデル（わずか2.3%でした）と比較すると劇的な向上であり、4つのタスクのうち3つにおいて、最も高価なプロプライエタリ（非公開型）モデルを上回りました。
まとめ
この論文は、スマートで自動化された設計図の手法によって作成された、大規模で高品質な「ドラッグ」の例のライブラリをAIモデルに与えることで、複雑なコンピュータ操作をはるかに上手く扱えるようになることを主張しています。これは、**「データこそが鍵である」**ことを証明しています。適切な種類の練習用データがあれば、標準的なオープンソースモデルであっても、最も高価な商用モデルを凌駕することができるのです。
著者たちは、この新しいベンチマークとデータセットが、将来のロボットが単にクリックするだけでなく、人間と同じようにドラッグ、ドロップ、サイズ変更、スワイプができる信頼できる「コンピュータユーザー」になる助けとなることを期待しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。