Socratic generative AI feedback improves learning transfer and confidence calibration in second language learning
这项随机对照研究表明，与直接答案相比，苏格拉底式生成式人工智能反馈在显著增强第二语言学习中的延迟近迁移准确度和远迁移产出能力的同时，也改善了置信度校准，尽管它诱发了更高的认知负荷。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
长期以来，语言学习者一直依赖教师和教科书来纠正错误，但一种新的工具已经进入了课堂：生成式人工智能。这些系统可以瞬间识别句子中的错误并提供修正方案，或者引导学生自己找到修正方法。教育工作者和研究人员面临的问题不是这些工具是否有效，而是如何让它们发挥最佳作用。是直接把正确答案交给学习者能帮助他们学得更快，还是通过让他们自己摸索的过程能带来更深刻的理解？这个困境触及了学习科学中的一个基本概念：感觉自己知道某事与日后实际能够运用某事之间的区别。当信息获取过于容易时，大脑往往会将这种“易得性”误认为是“掌握”，导致学生认为自己学到的比实际掌握的更多。本研究调查了人工智能提供反馈的方式是否不仅会改变即时得分，还会影响学习者在几天后使用语言技能的能力以及自身自信心的准确度。
来自华中师范大学、郑州工业科技大学和佩奇大学的研究人员设计了一个受控实验来测试这一点。他们招募了七十名以中文为母语的成年学习者，并要求他们练习英语冠词系统——即使用“a”、“an”和“the”等词的规则。这一特定的语法点对于使用不含冠词语言的学习者来说是出了名的难，因此是一个完美的测试案例。参与者被分为两个相等的组。两组使用相同的语言模型，并在相同的时间内学习相同的材料。唯一的区别在于当他们犯错时，人工智能如何做出反应。一组接收直接答案：人工智能立即提供正确的句子并附带简短的解释。另一组接收苏格拉底式反馈：人工智能通过提问来促使学习者思考错误，并引导他们自己生成正确的形式，在学习者尝试之前并不直接给出答案。
研究追踪了练习结束后立即发生的情况，以及七天后学习者在没有任何人工智能帮助的情况下进行的新测试情况。结果显示，两种方法之间存在明显的差异。接收直接答案的学习者在当下感到更有信心，但他们的信心是错位的。平均而言，他们高估了自己的准确度超过十二个百分点，认为自己对材料的掌握程度比实际要好。相比之下，那组必须通过回答问题来寻找答案的学习者对自己的知识水平感到更加现实，其表现的高估程度仅约为两个百分点。直接回答组发现这个过程更容易且心理负担较小，而苏格拉底组在练习期间报告了显著更高的心理努力程度。
当研究人员观察一周后学习者的知识留存情况时，发现通过问题进行摸索的那组表现更好。在涉及从未见过的句子的测试中，苏格拉底组的准确率明显高于直接回答组。在自由写作任务中，他们也比仅仅被给予答案的那组能产出更多的正确句子。然而，研究发现这种优势仅限于将规则应用于新情境。当被要求回忆练习过的精确句子或在时间压力下快速判断语法时，两组的表现相似。这表明提问式风格带来的益处不在于记忆特定的例子，而在于建立一种能够迁移到新语境中的灵活理解。
研究人员还探讨了信心差异是否解释了长期表现的差异。是否存在这样一种可能：苏格拉底组表现更好仅仅是因为他们意识到自己在挣扎并因此更加努力学习，而直接回答组因为感到过于自信而没有投入精力？数据显示，虽然反馈风格强烈影响了信心，但信心与随后测试成绩之间的联系过于微弱，不足以证明存在直接的因果链。相反，证据表明，生成答案本身所需的额外心理努力才是关键因素。任务的难度（即让学习过程在当下感觉更难的部分）似乎强化了记忆以及日后应用规则的能力。
这项研究并非声称一种方法适用于每种情况，也并非认为它解决了语言学习中的所有问题。样本量规模适中，且实验专注于单一语法规则和单一学习群体。然而，研究结果清晰地展示了反馈风格如何塑造学习。提供即时答案是高效且不易产生挫败感的，但它可能会制造一种会迅速消逝的“胜任感幻觉”。引导学习者寻找答案需要更多的工作并感觉更困难，但它能带来对自身知识更准确的感知，以及在工具消失后仍能更强有力地运用所学知识的能力。研究表明，对于持久的学习而言，阻力最小的路径并不总是最有效的路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。