LLM-assisted sentiment analysis for integrated computational and qualitative mixed methods education research: A case study of students' written reflection assignments
本文呈现了一项混合方法案例研究，展示了如何利用大语言模型辅助的情感分析来高效识别并解释多种人口统计学变量对留学体验的影响，具体揭示了过往的海外生活经历会独特地影响学生对语言和交流的情感态度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你是一位老师，试图了解 51 名学生对他们为期一个月的日本之行的感受。你手头有 151 本手写日记，里面写满了他们的想法、担忧和“顿悟”时刻。逐字阅读每一篇以寻找模式，就像试图从消防水龙带中喝水：令人应接不暇、耗时费力，而且你可能会错过水流中微妙的暗流。
本文旨在构建一个智能数字助手，帮助研究人员从那条消防水龙带中喝水而不被淹没。
问题：大海捞针
研究人员想知道：学生对外语交流的感受是否因其身份不同而有所差异？（例如，曾经有过海外生活经历是否会改变你对语言障碍的感受？）
传统上，人类研究人员必须阅读每一本日记，标出相关部分，猜测“情绪”（积极、消极或中性），然后尝试统计结果。为多组学生做这件事，就像试图完全靠手工将一大堆混杂的乐高积木按颜色和大小分类。这需要耗费永恒的时间，你可能会因疲惫而犯错。
解决方案：“情感侦探”机器人
研究人员引入了一种大语言模型（LLM）——一种先进的人工智能——作为共同调查员。请将人工智能视为人类的替代者，而是一位超级快速、不知疲倦的实习生，它能在几秒钟内阅读数千页内容。
以下是他们如何使用这位“数字实习生”的：
- 人类制定规则：人类研究人员首先阅读日记，提取出关于交谈和沟通的具体句子。
- 人工智能承担重活：他们将句子输入人工智能（具体是一个名为 Llama3 的开源模型），并要求它将每句话标记为快乐（积极）、悲伤/焦虑（消极）或仅事实性（中性）。
- 人类双重检查：人工智能并不完美。有时它会感到困惑，就像一个学生误以为中性的陈述实际上是观点。人类研究人员审查了人工智能的工作，修正了错误。这就像老师批改实习生的作业，以确保逻辑站得住脚。
结果：“消防水龙带”揭示了什么
一旦人工智能协助对数据进行了分类，研究人员终于能够看到那些肉眼难以察觉的微小模式。他们考察了七种不同的学生身份（如性别、收入或第一代大学生身份），以观察是否有任何因素改变了学生对交流的感受。
重大发现：
在他们检查的所有不同背景中，只有一件事至关重要：该学生此前是否曾在国外生活过？
- “老兵”（曾在国外生活过的学生）：
- 开始时：他们实际上比其他人更紧张。他们深知语言障碍是真实存在的，并担心犯错或冒犯他人。
- 结束时：他们意识到自己的恐惧是真实但可控的。他们将交流辅助工具（如翻译应用）视为陷入困境时的“最后手段”。
- “新手”（从未在国外生活过的学生）：
- 开始时：他们充满乐观，但抱有不切实际的期望。他们以为这会很容易，或者认为每个人都会说英语。
- 中期：他们撞上了墙。他们感到沮丧，因为他们的准备不起作用，并觉得自己毫无准备。
- 结束时：他们发生了重大转变。他们从沮丧变得自信。他们意识到挣扎是学习过程的一部分，并开始将翻译应用视为有用的工具，而非拐杖。
启示：一种新的烹饪方式
该论文认为，这种“人类 + 人工智能”团队是一种进行研究的强大新方式。
- 人工智能是搅拌机：它快速且一致地处理原始数据。
- 人类是厨师：他们决定使用哪些食材，品尝菜肴，并在人工智能加盐过多时调整调味。
研究人员发现，虽然人工智能速度快且大部分准确（与人类的一致性约为 60-67%，在该领域被视为“实质性”），但它仍然需要人类来清理其造成的混乱。人工智能有时会话痨或错误标记，因此人类必须进行最终的“后处理”。
简而言之：这项研究表明，通过让人工智能完成枯燥、重复的情感计数工作，人类研究人员可以将时间花在理解数字背后的故事上。在这个具体案例中，故事是：过去的旅行经历会改变你应对新语言冲击的方式，将可怕的障碍转化为学习机会。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。