How to Protect Learner Autonomy in the Age of Generative AI: EMM
本文介绍了 EMM，这是一个以教育为中心的基准测试，旨在评估生成式人工智能在同时识别操纵性导师话术并生成比例得当的第一人称学生回复方面的能力，从而揭示了准确的操纵检测与恰当的自主回复之间存在的关键差距。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在研究生阶段那寂静而高压的世界里，学生经常面临艰难时刻：收到一条来自导师的消息，感觉沉重、令人困惑，或者甚至是不公平的。学生必须决定如何回复。是应该立即道歉？是应该据理力争？还是说这种压力仅仅是严苛学术训练的一部分？正是在这里，有益的指导与心理操纵之间的界限变得极其危险且模糊。随着人工智能工具变得越来越普遍，许多学生转向它们来寻求撰写这些回复的帮助，希望机器能提供一个中立的视角。然而，一项新的研究表明，尽管这些人工智能工具在识别问题方面正在进步，但它们还不擅长知道何时该适可而止。核心挑战不仅在于识别一条有害的信息，还在于如何撰写一份既能保护学生的独立性，又不会将合理的学术要求演变成一场危机的回复。
华东师范大学和卡尔顿大学的研究人员开发了一种新方法，来测试人工智能如何处理这种微妙的平衡。他们创建了一个名为 EMM 的基准测试，即“教育心理操纵”（Educational Mental Manipulation）。他们并没有简单地要求人工智能阅读一段对话并将其标记为“好”或“坏”，而是要求人工智能同时完成两件事：首先，它必须扮演学生，撰写一封可以直接发送给导师的回复；其次，它必须扮演观察者，将导师原始的消息分类为十四个类别之一，范围涵盖从健康的压力要求到各种形式的操纵。该数据集包含了从种子对话和场景池中生成的超过一千个中文案例，涵盖了导师可能扣留资源、质疑学生稳定性或设定不可能完成的截止日期等情况。至关重要的是，测试中包含了许多虽然严厉但合理的学术请求，以确保人工智能不会仅仅假设每一条高要求的消息都是虐待。
结果显示，在“认知”与“行动”之间存在显著差距。人工智能模型在观察者任务方面表现得相当出色；它们通常能正确识别出导师是否在使用操纵手段。然而，当被要求扮演学生撰写实际回复时，这些模型却经常无法将这种知识转化为有益的响应。在许多情况下，人工智能识别出了操纵行为，但写的回复仍然过于顺从，实际上强化了导师带来的压力。在另一些情况下，模型则变得过度防御，将正常的、严厉的学术反馈视为攻击，这可能会将健康的专业关系升级为冲突。这种“识别-响应差距”意味着，一个模型可以聪明到能看到问题，却不够睿智到能在不使情况恶化的情况下解决问题。
研究人员还测试了这个问题是否存在于生活的其他领域，例如经理与员工之间，或父母与孩子之间。他们发现，同样的问题在所有这三种关系中都普遍存在。当他们尝试通过训练大量来自这三个领域的示例来改进人工智能时，结果褒贬不一。训练有助于模型更频繁地发现操纵行为，但也使其更容易对正常的、健康的压力做出过度反应。人工智能开始在不存在威胁的地方看到威胁，这表明仅仅向其喂入更多数据并不能自动教会它区分严厉但合理的指令与真正的心理压力所需的细微差别。
其中一个最引人注目的发现是，任务的框架方式并不如模型的内部调优那样重要。无论人工智能是被要求以第一人称（“我会这样做”）还是第三人称（“学生应该这样做”）来撰写回复，结果都没有显示出对其中任何一种方式的持续优势。模型对提示词保持敏感，但在寻找中间地带方面却表现挣扎。研究结论指出，虽然人工智能可以作为分析对话的有用工具，但它尚未准备好成为保护学生自主权的可靠伙伴。这项技术可以识别危险，但还无法可靠地驾驭应对这些时刻所需的复杂社交与情感地形，从而以恰当的坚定程度与尊重进行回应。在这一差距被填补之前，依赖人工智能来调解这些关键时刻，面临着要么让学生在压力面前变得脆弱，要么将他们推入不必要冲突的风险。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。