AI-Conducted Interviews in Empirical Software Engineering: An Experience Report
本経験報告は、AIが実施する自己完結型のインタビューが、短期間かつ低リスクの経験的ソフトウェア工学研究において運用上実行可能であり、参加者からも好意的に受け入れられていることを示すものであるが、深さ、感受性、およびプライバシーに関する制限があるため、現時点では人間主導のインタビューを補完するツールとして最も適している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ソフトウェアエンジニアリングの世界を、デジタルな摩天楼を建設するチームが働く、巨大で賑やかな建設現場だと想像してみてください。これらの建設者たちがどのように働いているかを理解するために、研究者たちはしばしばメモ帳を手にやってきて、「インタビュー」と呼ばれる手法で質問を投げかけます。それは、犯罪がどのように起きたかを解明しようとする探偵が目撃者に話を聞くようなものですが、調査対象は犯罪ではなく、プログラマーがどのようにバグを修正し、一日を整理し、あるいは新しいツールを使用しているのかといったことです。伝統的に、これには人間の研究者が座って質問をし、メモを取る必要があり、これは時間がかかる上に、全員が異なるタイムゾーンにいたり異なる言語を話したりしている場合には非常に困難な作業です。
最近、新しい種類の「デジタル探偵」が登場しました。それが人工知能（AI）です。AIを、何百万冊もの本を読み、人間のように話すことを学べる超スマートなロボットだと考えてください。これらのロボットが会話において非常に上手くなっているため、研究者たちはこう考え始めました。「ロボットにインタビューをさせてみてはどうだろうか？」これが、この論文が取り組んでいる大きな問いです。ロボットがソフトウェア開発者にチャットし、彼らの仕事について尋ね、人間が電話を手に取ることもなく、有用なストーリーを集めることができるのかどうか、という問いです。研究者たちは、ロボットが人間よりも「優れている」ことを証明しようとしているのではなく、むしろ、十分に有用なツールとして「可能であるか」を検証しようとしているのです。
実験：ロボットにマイクを渡す
この研究では、ブラジルの研究者たちがこのアイデアの試運転を行うことにしました。彼らは2つのカスタム「AIインタビュアー」（これをMyGPTsと呼びました）を作成し、それらをソフトウェアの専門家たちに送り出し、対話をさせました。一方のロボットは、「リファクタリング」――コードを整理して動作を良くするという、少し難しい言葉――について尋ねるように設計されました。もう一方のロボットは、「スクラム」と呼ばれる、チームが業務を整理するための一般的な手法の中で、AIツールを使用することについて尋ねました。
ビデオ通話の予定を立てる代わりに、研究者はリンクを送信しました。参加者はそのリンクをクリックして、自分のスマートフォンやコンピュータでチャットを開き、会話を開始しました。彼らはスマートアシスタントと話す時のように、声を使ってロボットに話しかけることもできました。ロボットは一連の質問を行い、回答を聞き、最後に会話の整った要約を自動的に作成しました。その後、参加者はその要約を研究者に送り返すためにボタンをクリックする必要がありました。これはセルフサービスのインタビューでした。人間の研究者がその場にいることも、スケジュールの調整が必要になることもなく、参加者が好きな時にすべてが行われました。
結果：良かった点、奇妙な点、そして不具合
研究者たちは、完了した66件のインタビューを分析しました。データが示した内容は、良いニュースと修正すべき点に分けて説明できます。
良いニュース：人々は満足した
インタビューを完了したほとんどの人々は、それがかなり素晴らしい体験だったと考えていました。
- 快適さ： 約91%の人が、質問に答えることに抵抗を感じませんでした。
- 明快さ： 約96%の人が、ロボットの質問は理解しやすいと言いました。
- ペース： 97%以上が、会話の進み具合は適切だと感じました。
- 意欲： 約90%が、再びこれを行ってもよいと考えていました。
実際、多くの人はロボットと話すというアイデアを好んでいました。人間と話すよりもプレッシャーを感じず、誰かに時計をチェックされる心配をせずに、自分のペースで回答できることを高く評価していました。
「おや、どうしたのかな？」という瞬間
しかし、完璧ではありませんでした。ロボットと人間を比較する質問に対して、結果は少し混在していました。約42%の人は、どちらが良いわけでも悪いわけでもない、ちょうど中間だと感じました。約38%は人間と話す方を好みましたが、ロボットを好んだのはわずか約20%でした。
最大の不満は、ロボットが時として一般的すぎる質問をしたり、回答に対して深く掘り下げられなかったりすることでした。約29%の人が、ロボットが彼らの具体的なストーリーに対して十分に敏感ではないと感じ、さらに27%の人が、会話が十分に深まらなかったと感じました。また、人間とのつながりを惜しみ、機械ではなく人間と話していることに少し違和感を覚える人もいました。
技術的な不具合
実用的な問題もいくつかありました。
- 間違った要約： 約9%のケース（66件中6件）で、参加者が間違ったものを送り返していました。ロボットが生成した整った要約ではなく、チャットの一部や構造化されていないテキストを貼り付けてしまったのです。
- 間違ったトピック： 2件のケースで、参加者は「スクラム」についての質問に答えていたにもかかわらず、「リファクタリング」に関する要約を送り返していました。これは、人間が一人で行う作業において、質問と回答の結びつきが混乱してしまうことを示しています。
- 音声の問題： 声を使用していたため、ロボットが音を誤解することがありました。ある人は、咳の音が誤って回答として記録され、インタビューの流れを混乱させたと言及しました。
大きな教訓：頼れる相棒であって、代わりにはならない
この論文が私たちに伝えている最も重要なことは、AIインタビアーに「できること」と「できないこと」です。
研究者は非常に明確に述べています。彼らは、ロボットが人間のインタビュアーに取って代われることを証明したわけではありません。 ロボットの要約が、人間のメモと同じくらい正確で、深く、豊かなものであるかどうかは検証していません。彼らは単に、プロセスが機能するかどうか、そして人々がそれを受け入れられるかどうかを確認しただけです。
結論として、AIインタビューは補完的なツールとして優れています。一般的な意見を知りたいだけの、迅速で短時間の、リスクの低いチャットには最適です。スケジュールの調整時間を節約し、人々が好きな時に話せるようにする点において非常に有用です。しかし、複雑な感情を深く掘り下げたり、非常にデリケートな秘密を扱ったり、あるいは非常に困難な問題に対する超深い理解が必要な場合は、依然として人間のインタビュアーが最良の選択です。
AIインタビュアーを、食料品店のセルフレジのようなものだと考えてください。数点の買い物であれば、速くて便利です。しかし、変なクーポンがあったり、重いジャガイモの袋があったり、あるいは青果物について質問したい場合は、やはり人間のレジ係が必要です。この研究は、ソフトウェア研究者にとって「セルフレジ」は利用可能な状態にあるものの、データの質を確保するために、依然として人間の介在が必要であることを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。