Generative AI-Based Virtual Assistant using Retrieval-Augmented Generation: An evaluation study for bachelor projects
本文提出并评估了一种基于检索增强生成的虚拟助手，旨在为马斯特里赫特大学学生提供针对特定项目的规章制度支持，并展示了其在克服大语言模型常见局限（如幻觉）以及确保在专业教育领域提供准确且符合上下文的响应方面的有效性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下一个繁忙的大学部门，数百名学生正在完成毕业项目。他们必须遵守堆积如山的规则、条例和考试细节。通常，当一名学生感到困惑时——例如：“如果我的公交车抛锚了，我可以跳过这次会议吗？”——他们必须通过电子邮件联系一位疲惫的项目协调员。这位协调员会被数百封类似的电子邮件淹没，而学生则要等待数天才能得到回复。
本文介绍了一个由学生和研究人员组成的团队，他们开发了一位智能数字助手来解决这一拥堵问题。请不要将这位助手视为无所不知的魔法神谕，而应将其视为一位极其迅速、极其有条理的图书管理员，他已阅读过大楼内的每一本规则手册。
以下是他们如何开发它以及发现了什么，简单说明如下：
问题：“幻觉”图书管理员
通常情况下，当您向标准人工智能（如聊天机器人）提出关于校规的具体问题时，它会编造内容。这就像一位过于自信的图书管理员，因为找不到那本书，便直接编造了一条规则。这被称为“幻觉”。在学校环境中，编造规则是危险的。
解决方案：“检索增强”图书管理员
为了防止人工智能编造内容，团队开发了一个名为RAG（检索增强生成）的系统。
- 检索部分：在人工智能回答之前，它会先跑到图书馆（官方文档数据库），找出与问题完全相关的确切页面。这就像图书管理员在开口说话之前，先从书架上把规则手册物理地取下来。
- 生成部分：然后，人工智能阅读这些特定页面，并撰写一份完全基于其所发现内容的回答。
- 自我反思（“第二意见”）：这是最巧妙的部分。在人工智能撰写完回答后，它会进行“自我检查”。它会问自己：“我刚才是在编造吗？这真的与我取出的页面相符吗？”如果答案是“不”，它会尝试重新回答，或请学生澄清问题。这就像老师在提交作业前批改自己的作业。
实验：课堂测试
该团队在马斯特里赫特大学用真实学生测试了这位助手。
- 设置：他们将学生分为两组。一组必须用自己的大脑（或许辅以向人类咨询）回答有关项目规则的难题。另一组则被允许使用人工智能助手。
- 问题：问题包括诸如“我因公交车晚点而错过了一次会议。这对我的成绩会有什么影响？”这样的场景。
他们的发现
- 人工智能变得更聪明了：当学生使用助手时，他们获得正确答案的频率要高得多。例如，在一个场景中，给出正确答案的学生比例从 32% 上升到了 57%。
- 减少猜测：在使用人工智能之前，许多学生只是说：“我不知道。”在使用人工智能后，回答“我不知道”的情况显著减少。人工智能帮助澄清了困惑。
- 速度：助手大约在10 秒内做出回应。与等待电子邮件回复相比，学生们对这一速度感到满意。
- 尚不完美：
- 在一些棘手的情景中，人工智能实际上让学生回答问题的表现变差了。这是因为官方文档缺乏细节，或者人工智能无法区分“会议”和“考试”。
- 一些学生试图通过直接复制粘贴问题而不是自然提问来欺骗系统，这迫使团队进行拦截。
- 人工智能有时会混淆不同类型的课程，这表明它需要一个更好的“词典”来理解学校术语。
结论
该文章得出结论，这位“智能图书管理员”是一个极佳的工具，可帮助学生在不使人类员工不堪重负的情况下， navigating 复杂的校规。它速度快，减少了“我不知道”的回答数量，并让学生总体上显得更自信。
然而，它还不是人类的完美替代品。它需要更好的训练数据（更完整的规则手册）以及更智能的方法来应对规则未明确涵盖的情况。但作为第一步，它成功证明了：如果给予人工智能正确的工具来核查自己的工作，它就可以成为教育领域一位有益且可靠的伙伴。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。