AI-Conducted Interviews in Empirical Software Engineering: An Experience Report
本经验报告表明，对于短期、低风险的实证软件工程研究，由人工智能进行的自导式访谈在操作上是可行的，且深受参与者欢迎，尽管由于在深度、敏感性和隐私保护方面的局限性，它们目前最适合作为人类主导访谈的补充工具。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，软件工程的世界就像一个繁忙、喧闹的建筑工地，团队们正在那里建造数字摩天大楼。为了了解这些建设者是如何工作的，研究人员经常会带着剪贴板并提出问题，这种方法被称为“访谈”。这就像是侦探在与目击者聊天以查明犯罪经过，只不过他们调查的不是犯罪，而是程序员如何修复漏洞（bug）、如何组织他们的日常工作，或者如何使用新工具。传统上，这需要一名人类研究员坐下来提问并做笔记，这既耗时又困难，尤其是当每个人都处于不同的时区或说着不同的语言时。
最近，一种新型的“数字侦探”来到了现场：人工智能（AI）。把 AI 想象成一个超级聪明的机器人，它能阅读数百万本书并学会像人类一样交谈。因为这些机器人的对话能力正变得越来越好，研究人员开始思考：“我们能否让机器人来代替人类进行访谈？”这就是这篇论文所探讨的核心问题。它在问：机器人是否可以成功地与软件开发人员聊天，询问他们关于工作的问题，并收集有用的故事，而无需人类拿起电话？研究人员并不是试图证明机器人比人类更优秀，而是想看看它是否是一个能够良好运作且具有实用价值的可能工具。
实验：让机器人接过麦克风
在这项研究中，来自巴西的研究人员决定测试一下这个想法。他们创建了两个定制的“AI 访谈员”（他们称之为 MyGPTs），并将它们派出去与软件专业人士交谈。其中一个机器人被设计用来询问关于“重构”（refactoring）——这是一个关于清理混乱代码以使其运行得更好的高级词汇——的问题。另一个机器人则询问关于在“Scrum”（一种流行的团队组织方式）中使用 AI 工具的情况。
研究人员没有安排视频通话，而是发送了一个链接。参与者点击链接，在自己的手机或电脑上打开聊天界面，然后开始交谈。他们甚至可以使用语音与机器人交流，就像使用智能助手一样。机器人提出了一系列问题，倾听回答，并在结束时自动生成了一份整洁的对话摘要。随后，参与者只需点击一个按钮，即可将该摘要发回给研究人员。这是一个自助式访谈：现场没有人类研究员，没有调度冲突，整个过程完全由参与者根据自己的意愿进行。
研究发现：好的、奇怪的以及出故障的部分
研究人员查看了这 66 场已完成的访谈。以下是数据告诉他们的内容，分为好消息和需要改进的地方。
好消息：人们很喜欢它
大多数完成访谈的人认为这是一次相当酷的体验。
- 舒适度： 约 91% 的人觉得回答问题很自在。
- 清晰度： 接近 96% 的人表示机器人的问题易于理解。
- 速度： 超过 97% 的人觉得对话节奏适中。
- 意愿： 几乎 90% 的人表示愿意再次参与。
事实证明，许多人其实很喜欢与机器人交谈的想法。有些人觉得这比面对人类压力更小，并且他们很欣赏能够按照自己的节奏回答问题，而不必担心有人在盯着表看。
“等等，什么？”时刻
然而，情况并非完美。当被要求将机器人与人类访谈员进行比较时，结果有些复杂。约 42% 的人觉得处于中间状态——既不比人类好，也不比人类差。约 38% 的人觉得他们更喜欢与人类交谈，而只有约 20% 的人更倾向于机器人。
最大的抱怨在于，机器人有时提出的问题显得过于笼统，或者没有对答案进行深入挖掘。约 29% 的人觉得机器人对他们的特定经历不够敏感，另有 27% 的人觉得对话挖掘得不够深。一些人也怀念人类的连接感，觉得对着机器而不是对着人说话感觉有点怪异。
技术故障
还存在一些实际操作中的小问题。
- 错误的摘要： 在大约 9% 的案例中（66 例中的 6 例），参与者发回了错误的内容。他们没有发送机器人生成的整洁摘要，而是粘贴了聊天中的随机部分或非结构化文本。
- 错误的话题： 在 2 个案例中，参与者回答了关于“Scrum”的问题，却发回了关于“重构”的摘要，这表明当人类独自完成工作时，问题与答案之间的联系可能会发生混淆。
- 语音问题： 由于人们使用了语音，有时机器人会误解声音。一位参与者提到，一次咳嗽被误录为了一个回答，从而干扰了访谈的流程。
核心结论：一个得力的助手，而非替代品
这篇论文告诉我们的最重要的一点是 AI 访谈员能做什么以及不能做什么。
研究人员非常明确地指出：他们并没有证明机器人可以取代人类访谈员。 他们并没有检查机器人的摘要是否像人类的笔记一样准确、深刻或丰富；他们仅仅检查了这一流程是否可行，以及人们对它的接受程度如何。
结论是，AI 访谈是一种极佳的补充性工具。它们非常适合快速、简短、低风险的闲聊，当你只需要了解人们的普遍看法时，它们非常有用。它们在节省调度时间以及让人们随时随地交谈方面表现出色。但是，如果你需要深入挖掘复杂的情感、处理非常敏感的秘密，或者需要对一个棘手问题进行超深度的理解，人类访谈员仍然是最佳选择。
可以将 AI 访谈员想象成超市里的自助结账机。它快速、方便，处理几件商品时效果很好。但如果你有一个奇怪的优惠券、一袋沉重的土豆，或者关于农产品的问题，你仍然需要一名人类收银员。这项研究表明，对于软件研究人员来说，“自助结账”已经可以使用了，但他们仍需要保持“人在回路中”，以确保数据的质量。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。