Tactile: Giving Computer-Using Agents Hands and Feet
Tactileは、異種混合のUIエビデンスを意味論的で検証可能なアクションオブジェクトへと変換することで、コンピュータを使用するエージェントを強化するオープンソースのツールレイヤーであり、それによって脆弱な座標ベースのインタラクションを、複数のモデルにわたってタスク成功率を大幅に向上させる信頼性の高い「観察・接地・実行・検証」のループへと置き換えます。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、コンピューターの使い方を教えられている超スマートなロボットだと想像してください。現在、ほとんどのロボットは、厚手の曇ったゴーグルをかけ、目隠しをした状態で車を運転しようとしている人のような状態です。彼らは画面を単なる「一枚の絵（スクリーンショット）」としてしか見ることができません。ボタンをクリックするために、彼らは「座標450, 200をクリックせよ！」と叫んで、正解を当てることを祈るしかないのです。もしボタンが動いたり、画面が少し変化したりすれば、ロボットは混乱してクラッシュしてしまいます。これが現在の「コンピューター使用エージェント」の状態です。彼らは賢いのですが、写真を通して世界を見ているため、手先が非常に不器用なのです。
しかし、もしコンピューターがその秘密を直接ロボットにささやいてくれたらどうでしょう？ 現代のオペレーティングシステムには、視覚障害を持つ人々を助けるためのスクリーンリーダーのように、人間が助けを必要とするために設計された、隠された情報のレイヤーがすでに存在します。このレイヤーは、そのボタンが何であるか、何をするのか、そして押す準備ができているかどうかを正確に伝えてくれます。科学者たちが問いかけている大きな疑問はこうです。「私たちのロボットエージェントに、この秘密のレイヤーへの直通回線を与えることはできるだろうか？ もしできれば、ロボットは単に画面を『見る』だけでなく、それを『理解』できるようになり、会議のスケジューリングやファイルの整理といった実務において、はるかに優れた能力を発揮できるのではないか？」ということです。
ロボットに手足を与える：TACTILEプロジェクト
新しいオープンソースツールであるTACTILEをご紹介しましょう。これは、コンピューターを使用するエージェントのための「翻訳機」であり、「スーパーハンド（超高性能な手）」として機能します。TACTILEの開発者たちは、ロボットは賢くなっている一方で、コンピューター上で実際に「何かを行う」能力はまだ不安定であることに気づきました。ロボットはしばしば、コンピューターの画面を一枚の絵のように扱います。画面を見て、どこを突くべきかを推測し、あとはうまくいくことを祈るだけです。TACTILEは、ロボットをコンピューターの内部的な「アクセシビリティ」システム（人間が画面を操作するのを助けるためのシステムと同じもの）に直接接続することで、この状況を一変させます。
これまでのやり方を、棚にある特定の本を探すために、棚のぼやけた写真を見ているようなものだと考えてみてください。あなたは「3段目の左から2番目」と推測するかもしれませんが、もし誰かが本を1インチでも動かしていたら、あなたの推測は外れてしまいます。TACTILEは、ロボットに「あなたが探している本は『宇宙の歴史』です。現在は棚3にあり、ハードカバーで、引き出すことができます」と教えてくれる魔法のリストを与えるようなものです。それは、画面の乱雑で視覚的な混沌を、ロボットが実際に触れて利用できる、整理されたオブジェクトのリストへと変換します。
TACTILEの仕組み：「手がかりの梯子」
この論文では、「オペレーティング・ラダー（操作の梯子）」と呼ばれる巧妙な戦略を紹介しています。ロボットに「見る（画面を見る）」ことか「読む（コンピューターの内部データを使う）」かのどちらかを選ばせるのではなく、TACTILEはロボットが最善の答えを見つけるために「手がかりの梯子」を登らせます。
- 最上段（アクセシビリティ）： もしコンピューターが「ここに『送信』という名前の、押す準備ができているボタンがあります」と言えば、TACTILEは即座にその情報を取得します。これは最も強力で信頼できる手がかりです。
- 中段（OCR）： もしコンピューターが特定のパーツについて沈黙している場合、TACTILEは画面を見つめ、文字認識（OCR）によってテキストを読み取り、「よし、『送信』という言葉がここにある」と判断します。これは優れたバックアップですが、内部データほど精密ではありません。
- 下段（視覚的フォールバック）： もしコンピューターが完全に不透明な場合（ビデオゲームやカスタム描画など）、TACTILEは単に画像を見て座標を推測するという、従来のロボットと同じ方法へとフォールバックします。
魔法のポイントは、TACTILEが単に一つを選ぶのではなく、それらを組み合わせる点にあります。基本的にはコンピューターからの内部的な「ささやき」を好みますが、コンピューターが頑固な場合には「見る」ことに切り替える方法も知っています。また、すべてのステップの詳細な日記を保持するため、もし問題が発生した場合、後で振り返って、ロボットが何を見て、何を推測し、どこで立ち往生したのかを正確に確認することができます。
研究結果
研究者たちは、単純なクリックから複雑なワークフローまで、96種類の異なるコンピュータータスクを用いて、4種類のAIエージェント（Codex、Claude Code、OpenCode、Goose）でTACTILEをテストしました。結果は有望でしたが、魔法のような万能薬ではありませんでした。
TACTILEを導入したことで、ロボットのタスク完了率は大幅に向上しました。Codexエージェントの場合、全体の成功率は**41.1%から50.0%へと上昇しました。この向上は、コンピューターが親切で内部の秘密を共有してくれる「アクセシビリティ適応済みタスク」においてさらに顕著であり、成功率は45.2%から55.3%**へと上がりました。秘密を隠している難しいタスクにおいても、ロボットは依然として改善を見せ、**27.8%から33.3%**へと上昇しました。
この研究は、ロボットにこの構造化された「手に触れる」レイヤーへのアクセスを与えることが、より高い信頼性をもたらすことを示唆しています。これは、私たちにはより賢い脳（より優れたAIモデル）だけでなく、より優れた体（実行ツール）も必要であり、それらが思考を意味のある形で世界に作用させることを可能にするのだということを証明しています。
TACTILEが「しない」こと
TACTILEが「行わない」ことも明記しておく必要があります。それは、ロボットが画面を見る必要性をなくすことではありません。時として、コンピューターの内部データは壊れていたり、欠落していたり、あるいは単に間違っていたりすることがあります。そのような場合、TACTILEは視覚的な手がかりへとフォールバックする方法を知っています。また、これはロボットにどう考えるかを教える「学習されたポリシー」ではなく、ロボットの既存の思考をより実行しやすくするための「ツール層」です。研究者たちは、これらの結果は予備的なものであることを強調しており、これは大きな一歩ではあるものの、エージェントを完璧にするためにはまだやるべきことが残されていると述べています。
なぜ重要なのか
論文は、遊び心がありながらも深い洞察を含むアイデアで締めくくられています。「エージェントが利用しやすいソフトウェアは、人間にとってアクセシブルなソフトウェアであるはずだ」。もし私たちがロボットにとって使いやすいコンピューターを作ることができれば、それは同時に、障害を持つ人々にとっても使いやすいコンピューターを作ることにもなります。アクセシビリティデータを共有のインフラストラクチャとして扱うことで、TACTILEは、ロボットを助けることと人間を助けることが同じ目標になり得ることを示しています。それは、コンピューターの画面を、平坦で混乱した画像から、触れることができ、理解でき、検証できるオブジェクトに満ちた世界へと変えるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。