The comparative evaluation of explanations for algorithmic programming problems provided by a Human vs. ChatGPT: an exploratory online user study

在教室里，学生与教师之间的关系长期以来一直由知识的交换所定义，即一位人类引导者将复杂的概念拆解为易于理解的步骤。今天，一种新型的引导者进入了教室：人工智能。这些系统能够生成文本、解决数学问题并编写计算机代码，其速度足以媲美人类专家。但对于教育工作者和家长而言，一个关键的问题仍然存在：当一名学生试图学习时，谁来讲解真的重要吗？由人编写的解决方案与由机器生成的解决方案之间是否存在本质的区别，学习者能否分辨出来？这项探究正处于一项近期研究的核心，该研究探讨了学生如何看待针对困难编程任务的解释，特别是当这些解释是由数字角色而非真人进行传达时。

研究人员是由来自哈萨克斯坦大学的科学家组成的团队，他们通过一组三十七名高中生来测试这种新兴技术的极限。这些参与者并非初学者；他们年龄在十五至十七岁之间，来自一所专门培养数学和科学竞赛学生的专业学校。他们已经学习编程多年，其中许多人早在小学阶段就开始了。目标是观察这些经验丰富的年轻程序员是否能够区分出由人类讲师编写的解决方案与由大型语言模型（一种能够生成文本和代码的人工智能类型）生成的解决方案。为了使测试公平并消除基于声音或外貌的偏见，研究人员使用了一个3D动画角色，即虚拟化身（avatar），来传递解释。这个数字形象使用计算机合成的声音说话，以确保学生无法依靠语气或情感等人类线索来猜测答案的来源。

实验结构类似于一系列挑战。学生们看到了五个不同的编程问题，每个问题都配有一个解决方案和一个解释。这些问题取自一个用于竞技编程的流行在线平台。对于每个问题，解释都是由同一个3D虚拟化身进行的，但代码的来源各不相同。在某些情况下，代码和解释来自在网站上解决该问题的专家。在其他情况下，代码则由人工智能系统生成。学生们观看虚拟化身解释解决方案，然后回答一系列问题。他们必须评价自己对材料的理解程度，猜测代码是由人类还是机器编写的，并对虚拟化身本身进行评估。研究人员还检查了学生的编程经验或之前与数字虚拟化身的互动是否影响了他们辨别差异的能力。

研究结果为学生如何与这项技术互动提供了令人惊讶的洞察。当被要求识别代码来源时，数据揭示了一种微妙的模式：对于实际上由ChatGPT提供的任务，参与者选择“由ChatGPT提供”的频率更高且更为果断。然而，对于人类提供的任务，他们的表现则更为犹豫，在选择来源时在人类和AI之间表现得较为均衡。这表明，虽然学生能够以一定程度的信心识别AI生成的内容，但区分人类解决方案则更具挑战性，导致了一系列正确与错误猜测的混合，而非清晰、一致的辨别能力。无论代码来自人还是机器，学生对解决方案理解程度的评分是相似的。此外，研究发现学生的背景并不会改变结果。无论一名学生是在小学还是高中开始学习编程，或者此前是否与数字助手有过互动，都不会显著影响他们辨别来源的能力或参与度。

虽然学生们无法轻易分辨两种来源，但他们对交付方式的反馈则更为挑剔。作为人类和机器解决方案叙述者的3D虚拟化身收到了褒贬不一的评价。许多学生指出，该角色的声音单调，缺乏人类语言的自然节奏。他们指出，虚拟化身的动作有时是重复性的，并且并不总是与所说的文字相匹配，这使得理解复杂的代码逻辑变得更加困难。一些学生认为，角色的机械性质使得学习体验感觉不够个性化，且难以跟进。尽管存在这些批评，整体情绪仍是乐观的。大多数学生认为，此类技术在未来是很有用的，特别是在老师不在场时，作为解释困难概念的工具。他们承认，虽然当前版本的虚拟化身存在缺陷，但通过改进语音和动画，它可以成为教育领域的重要补充。

研究结论认为，虽然人工智能在产生清晰度和准确度方面已能迅速达到与人类解释无异的水平，但交付媒介仍然至关重要。学生们愿意接受这项技术作为学习辅助工具，但他们也敏锐地指出了当前数字虚拟化身的局限性。研究表明，随着这些工具的演进，关注点不仅应在于它们生成的代码质量，还应在于它们提供的交互质量。对于教育工作者而言，研究结果意味着学生可能很快就能从机器生成的内容中有效地学习，但教师的人文触感在连接、适应和参与方面仍然是独特的，这是静态、单调的虚拟化身目前尚无法复制的。教育的未来很可能涉及人类教师与智能机器之间的伙伴关系，但通往这种伙伴关系的路径需要不断完善这些数字工具，使其像它们旨在辅助的人类一样具有吸引力。