PreAct: Computer-Using Agents that Get Faster on Repeated Tasks
PreActは、成功した実行を検証可能な状態マシンプログラムへとコンパイルすることで、コンピュータ操作エージェントによる反復タスクを加速させるシステムであり、正確性を保証し誤ったスクリプトの蓄積を防ぐ組み込みの安全性チェックを備えつつ、8.5〜13倍高速なリプレイを可能にします。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
非常に賢いけれど、非常に高価なロボット助手がいると想像してみてください。このロボットは、あなたのコンピュータ画面を見つめ、どのボタンをクリックすべきかを判断し、会議の予約や連絡先の追加といった作業を行うためにテキストを入力することができます。
問題は、このロボットが無駄遣いをすることです。同じタスクを2回行うたびに、ロボットは自分がしたことをすべて忘れてしまいます。毎回、画面を最初から見直し、すべてのステップをゼロから考え直さなければなりません。そして、そのたびに莫大な「思考料」（高価なAIコンピューティング・パワー）を支払うことになります。これは、一度博物館を案内した後、翌日も全く同じ博物館を案内するために、また新しいガイドを雇わなければならないツアーガイドのようなものです。たとえ二人とも、その博物館のレイアウトを完璧に把握していたとしてもです。
PreActは、このロボットに「忘れっぽさ」ではなく「流暢さ」を教える新しいシステムです。以下に、日常的な例えを用いてその仕組みを説明します。
1. 「レシピ本」対「シェフ」
通常、ロボットは料理を作るたびにすべての材料を味わい、レシピを再発明するシェフのように振る舞います。
PreActはこのゲームのルールを変えます。ロボットがタスク（連絡先の追加など）を初めて正常に完了したとき、それは単に忘れるわけではありません。代わりに、ロボットは完璧でステップ・バイ・ステップのレシピ（「状態遷移プログラム」）を書き留めます。
- 初回： ロボットは、タスクを解決するために高価な「思考脳」を使用し、レシピを書き込みます。これには時間と費用がかかります。
- 2回目以降： 高価な脳を使う代わりに、ロボットは単にレシピを読み取り、指示に従います。考える必要はなく、ただ実行するだけです。これにより、8.5倍から13倍速くなり、実行コストはほぼ無料になります。
2. 「安全確認」（盲目的に従うのではなく）
あなたはこう心配するかもしれません。「もし画面が違っていたら？ もしポップアップウィンドウが表示されたら？」
もしロボットが単にレシピに盲目的に従ったとしたら、間違ったボタンをクリックして、何かを壊してしまうかもしれません。
PreActは賢く設計されています。レシピのすべてのステップを実行する前に、画面をちらりと見て、レシピが想定している通りの見た目になっているかを確認します。
- 一致している場合： 考える必要なく、即座にボタンをクリックします。
- 一致しない場合： 即座に停止し、「待ってください、何かがおかしいです」と言って、新しい状況を判断するために高価なロボットの脳を呼び戻します。
これは、GPSのルートに従いつつも、常に道路に目を向けているドライバーのようなものです。もし道路が封鎖されていたら、壁に向かって盲目的に運転し続けるのではなく、立ち止まって新しい指示を求めます。
3. 「品質管理ゲート」（最も重要な部分）
ここがトリッキーな部分です。もしロボットが、完成しているように見えるけれど、実際には失敗しているレシピを書いてしまったらどうなるでしょうか？
例： レシピには「名前を入力し、保存をクリックする」とあります。しかし、おそらくロボットは実際に名前を入力するのを忘れており、保存をクリックしたときには何も起こりません。もしロボットがこの悪いレシピを保存してしまったら、後でそのレシピを使ってタスクを実行しようとするたびに、必ず失敗することになります。
PreActには、厳格な品質管理ゲートがあります。
新しいレシピをライブラリに追加する前に、ロボットはコンピュータをリセットし、レシピを最初から実行して、それが本当に機能するかどうかを確認します。
- レシピが機能した場合： ライブラリに追加されます。
- レシピが失敗した場合（たとえ最後まで実行されたとしても）： ゴミ箱に捨てられます。
研究によれば、このゲートがない場合、ロボットのライブラリは「悪いレシピ」で埋め尽くされ、タスクを行うにつれて実際には性能が悪化してしまいます。このゲートがあることで、ロボットはタスクを繰り返すごとに、どんどん賢くなっていくのです。
結果
研究者たちはこれを、スマートフォン、デスクトップコンピュータ、およびウェブサイトでテストしました。
- スピード： タスクの繰り返しが8.5倍から13倍速くなりました。
- コスト： ロボットは、繰り返しのタスクに対して高価な「思考料」を支払うことがなくなりました。
- 信頼性： 各ステップで画面をチェックし、悪いレシピを排除することで、システムは単に速くなっただけでなく、時間の経過とともに精度も向上しました。
要約すると： PreActは、毎回車輪を再発明するロボットを、スキルを習得し、それを書き留め、何かが変わるまでそのスキルを完璧かつ即座に実行できるロボットへと変えるものです。それは、一度数学の問題を暗記した生徒と、毎日忘れ去って再学習しなければならない生徒の違いのようなものです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。