AI-assisted Script Management for Requirements Elicitation Interviews
本論文は、要件定義インタビューのためのAI支援型スクリプト管理ワークフローを提示および評価するものであり、準実験的研究を通じて、当該ワークフローが、より少ないトピックを扱うにもかかわらず、より高品質なスクリプトの生成、より深い追質問の実現、およびより洗練されたゴールモデルの作成を実現することで、トレーニングのみのアプローチを凌駕することを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ミステリーを解決しようとしている探偵だと想像してください。ただし、現場は犯罪現場ではなく、新しいビデオゲームやショッピングアプリに対して、ユーザーが何を求めているのかを突き止めるための聞き取り調査です。ソフトウェアエンジニアリングの世界では、この探偵のような仕事は「要件抽出（requirements elicitation）」と呼ばれます。目標は、プログラマーが構築を開始する前に、ユーザーが正確に何を望んでいるのかを明らかにするために、適切な質問を投げかけることです。もし手がかりを見逃したり、間違った質問をしてしまったりすると、最終的な製品は壊れたり、使いにくかったり、あるいは単に役に立たないものになってしまうかもしれません。
これを上手に行うために、インタビュアーは通常、「スクリプト（台本）」、つまりすべての重要な要素を網羅するように設計された質問リストを用意します。しかし、ここが難しいところです。実際の会話は混沌としています。目撃者（ユーザー）が脱線したり、あるいはインタビュアーが緊張しすぎて、最も重要な質問を忘れてしまったりすることもあります。それは、計画に従うことと、相手が実際に話している内容に耳を傾けることの間の、絶妙なバランス取りなのです。長い間、専門家たちは人間にこのスキルを向上させるための訓練を行ってきましたが、もし、インタビュー中に耳元でヒントを囁いてくれる、スマートで目に見えない助手を与えることができたらどうでしょうか？ それが、この論文が探求している大きな問いです。人工知能（AI）は、人間がより良い質問をし、より良い答えを得るための助けとなるのでしょうか？
カーネギーメロン大学の研究者たちは、この検証を行うために、デジタルな「コパイロット（副操縦士）」を構築することにしました。彼らは2段階のシステムを作成しました。第一に、AIはプランナーとして機能し、企業の大きなビジネス目標（例：「人々にもっと動画を見てもらう」など）を読み取り、それをスマートなインタビュー質問リストへと変換します。第二に、実際のインタビュー中、AIはライブアシスタントとして機能します。AIは会話を聞き、リスト内のどの質問が既になされたかを追跡し、インタビュアーが行き詰まったり、より深く掘り下げる必要がある場合に、フォローアップ質問の提案を画面上にポップアップ表示します。
これが機能するかどうかを確認するために、彼らは2つのグループによる対決を設定しました。一つのグループは、聞き取りに関するクラスを受講したスマートな大学院生たちのグループ（「トレーニングのみ」グループ）です。もう一つのグループは、特別な訓練は受けていないものの、AIコパイロットを与えられた同様の学生たちのグループ（「AI支援」グループ）です。それは、ルールを熟知したベテラン探偵と、超高性能なGPSと参考書を与えられた新人探偵を比較するようなものでした。
結果は驚くべきもので、AIは単に助けただけでなく、インタビューのスタイルそのものを変えてしまいました。AIが生成したスクリプトの質は非常に高く、人間が書いたもの（74.8点）に対して92.8点を記録しました。しかし、本当の魔法はインタビュー中に起こりました。AI支援を受けたインタビュアーは、長いトピックのリストを急いで消化しようとはしませんでした。代わりに、より少ないトピックに焦点を当て、その分、より深く掘り下げました。彼らは議論したトピックごとに平均3.4回のフォローアップ質問を行いましたが、訓練を受けた人間はわずか1.15回でした。
宝探しをしているところを想像してみてください。訓練を受けた人間は、広い範囲に大きな網を投げて、多くの場所から少しずつ魚を捕まえる人々のようでした。一方、AI支援を受けたインタビュアーは、たった一つの深い穴を掘る人々のようでした。彼らは一つの場所に留まって深く掘り下げ、より詳細で具体的な「宝（研究者が『低レベル要件』と呼ぶもの）」を掘り出したのです。深く掘り下げたことで、ユーザーが何を求めているかを示す最終的な地図は、より詳細で有用なものになりました。
しかし、この論文は、AIがすべてを解決する魔法の杖であるとは述べていません。研究者たちは、AIの「フォローアップ質問」の提案は必ずしも完璧ではなく、インタビュアーは、その言葉が少し型通りで遅いと感じたために、AIが提案した具体的な言葉を無視することがよくあったことを発見しました。むしろ、AIの真のスーパーパワーは「トピック・トラッカー（話題の追跡）」にありました。それは、「ログイン画面についてまだ聞いていませんよ」とか、「支払いのことについて長く話しすぎているので、ここをもっと深掘りしてみては？」といった具合に、インタビュアーに教えてくれるフレンドリーなダッシュボードのようなものでした。インタビュアーはこの機能を最も有用な部分として高く評価しました。
では、結論は何でしょうか？ この研究は、訓練を受けた人に何の助けも与えないよりも、訓練を受けていない人にスマートなAIアシスタントを与える方が、実際により良い結果を生み出す可能性があることを示唆しています。AIは、インタビュアーが集中力を保ち、より多くのフォローアップ質問を行い、ユーザーが本当に必要としている詳細な情報をより深く掘り起こすのを助けました。しかし同時に、AIは人間の判断に取って代わるものではないことも示しました。最良の結果は、AIが追跡や計画といった重労働を担い、人間がそのサポートを利用して、より自然で深い会話を行うことで得られました。それは、AIに仕事をさせることではなく、人間が手がかりをより明確に見つけられるように、AIが懐中電灯を持って照らしてくれるということなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。