Understanding User Experiences of Computer Use Agents: Design Space and Opportunities for Building Agent UX Prototypes
本論文は、デザイン・タクソノミーの開発、エキスパート調査を通じたプロトタイピング要件の特定、および開発者が多様なエージェントのインタラクション手法を設計・評価することを可能にするツール「AgentUXlab」の導入により、これまで研究が進んでいなかったコンピュータ利用エージェントのユーザーエクスペリエンスに対処するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたの質問に答えるだけでなく、実際に「行動」してくれる、ものすごく賢いデジタルアシスタントがいることを。それはボタンをクリックしたり、ウェブサイトをスクロールしたり、フォームに入力したり、さらにはあなたの代わりにコーヒーを買ったりすることさえできます。これは、あなたの画面を観察し、あなたが何を望んでいるかを理解することで実現します。これは魔法ではありません。「コンピュータ使用エージェント（computer use agent）」と呼ばれる新しい種類のコンピュータプログラムです。ブラウザの中に住んでいるロボット執事のようなものだと考えてください。長い間、科学者たちはこれらのロボットがいかに賢く、速くなるかを教えることに注力してきました。その焦点は、彼らの「脳」（コードやモデル）にありました。しかし、彼らは最も重要な問いを忘れていました。「ロボットの執事を持つことは、どのような『感覚』なのか？」という問いです。例えば、自分が何をしているのか決して教えてくれないアシスタントや、尋ねもせずにあなたの財布を掴み取るようなアシスタントを、あなたは望まないはずです。あなたには、信頼しやすく、止めやすく、理解しやすいロボットアシスタントが必要です。この論文は、これらデジタルヘルパーの「性格」と「振る舞い」を掘り下げ、彼らが私たちを怖がらせたり、修正不可能なミスを犯したりしないように設計する方法を解明しています。
Jenny T. Liang氏率いる研究チームによるこの研究は、こうした強力なエージェントを構築している一方で、彼らが私たちの前でどのように振る舞うべきかという「ルールブック」が実質的に存在しないという事実に気づきました。これを解決するために、彼らは「デザインスペース」（エージェントが振る舞い得るあらゆる方法）をマッピングし、設計者がそれらの振る舞いをテストするための特別なツールを構築するという、3部構成の冒険に乗り出しました。
まず、彼らは探偵のように振る舞い、すでに世の中に存在する11種類のコンピュータエージェントを調査しました。エージェントを構築している8人の専門家にインタビューを行い、さらに20人の一般の人々に偽のエージェントをテストしてもらいました。これによって、設計者が考慮すべき21の異なる要素からなる巨大な「メニュー」を作成しました。彼らはこれらを以下の4つの主要なカテゴリーに分類しました。
- ユーザーのクエリ（照会）： あなたがエージェントとどのように対話するか。一つの大きなコマンドを与えるのか、それとも対話を繰り返すのか？音声、テキスト、あるいは画像を使用するのか？
- 説明可能性（Explainability）： エージェントがいかに自分の作業を示すか。クリックしている箇所を教えてくれるのか？行動する前に自分の「思考」を見せるのか？
- ユーザーコントロール： あなたがいかにエージェントを停止したり変更したりできるか。一時停止できるのか？エージェントが行き詰まったときに、自分で操作を引き継げるのか？
- メンタルモデル： あなたがエージェントに「何ができると考えているか」。エージェントが自身の限界を明確に示し、不可能なことを期待させないようにしているか？
このメニューを作成した後、彼らは次の問いを投げかけました。「では、これらのアイデアを実際にどのように『構築』し、『テスト』するのか？」エージェントを設計することは、何かを行わせるためにコンピュータプログラマーである必要があるため、非常に困難です。そこでチームは、専門家と一般ユーザーを含む12名へのインタビューを通じて、どのようなツールがあればこれが容易になるかを調査しました。その結果、設計者には5つの主要な活動が必要であることが分かりました。それは、エージェントができることを定義すること、表示する情報を決定すること、対話方法を設計すること、エージェントを実行して何が起こるかを確認すること、そして故障した際に修正することです。
これを解決するために、彼らは AgentUXlab という素晴らしい新しいツールを構築しました。ビデオゲームのレベルで、あなたが設計者になっている場面を想像してください。複雑なコードを書く代わりに、「ここをクリック」「ユーザーの待機」「プランを表示」といったブロック（フローチャートのパーツ）をドラッグ・アンド・ドロップして、エージェントがどのように振る舞うべきかのフローチャートを作成します。その後、「再生」を押すと、あなたのエージェントが実際のブラウザ上で、本物のウェブサイトを使ってコーヒーを注文しようとする様子を観察できます。もしエージェントが、あなたが望んでいないものを買おうとしたら、「一時停止」を押して操作を引き継ぎ、修正することができます。このツールを使うことで、設計者はエージェルドの異なる「性格」を実験できます。例えば、非常に話し好きで許可を求めるタイプにするか、あるいは、非常に高速で、何も言わずにすべてをこなすタイプにするか、といった具合です。
最後に、彼らはソフトウェアエンジニアからエージェントを使ったことがない人まで、さまざまな経験レベルを持つ14名の人々を用いてこのツールをテストしました。その結果、ツールはうまく機能しましたが、同時にいくつかの難しい側面も明らかになりました。例えば、視覚的な「フローチャート（ブロック）」は全体像を把握するには素晴らしいものでしたが、一部の人々にとっては記述するのが紛らわしいと感じられました。一方で、指示を自然な英語で入力するだけの方法は柔軟ですが、時として曖昧すぎることがありました。最大の驚きは、エージェントを「設計する側」の人間は、デバッグのために（エージェントの内部思考や画面の詳細など）より多くの情報を必要とする一方で、「利用する側」のユーザーはおそらくそのようなノイズを見たいとは思わないだろう、という点でした。
この論文は、これらのエージェントを安全かつ有用にするためには、設計者がこれら異なるインタラクションのスタイルを簡単に切り替えられるツールが必要であると示唆しています。これはすべてを解決したと主張するものではありません。ユーザーがエージェントの能力を真に理解できるようにする方法については、まだ大きな疑問が残っています。しかし、次世代の人間にとって親しみやすいAIアシスタントを構築しようとするあらゆる人々にとって、この研究は強固な地図と新しい遊び場を提供しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。