Do Academic Credentials Still Predict Professional Competence After Generative AI?
尽管有人担心生成式人工智能通过降低评估作品的生产成本从而贬低了学术凭证的价值，但一项针对美国法学院学生群体及执业许可结果的大规模分析显示，并无证据表明这些凭证对专业能力的预测能力有所减弱，这表明人工智能对评估成本的影响要么与能力成比例，要么具有互补性而非退化性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个这样的世界：大学学位与其说是一张证明学生学到了什么的证书，不如说是一个信号，证明他们有能力忍受一个艰难的过程。几十年来，经济学家和教育工作者一直通过这种视角来看待学术资历：即获得学位证明了学生拥有完成挑战性任务的自律能力和智力，即便他们提交的具体作业并不完全是他们原创的。这个系统依赖于一个简单的假设：即学生提交的作品是其自身思想的真实反映。然而，在2022年末，一项新技术出现了，它威胁到了这一假设。生成式人工智能能够撰写论文、解决问题并起草复杂的论点，这使得学生能够以极小的努力产出高质量的作品。人们立即担心，这项技术会掏空学位的价值。如果任何人都能产出这些作品，那么信号就会变得毫无意义，学位与实际职业技能之间的联系将会断裂。
这个问题不仅仅关乎学术不端，更关于整个职业认证体系是否仍然有效。当一名法学院毕业生参加律师资格考试，或一名护理专业毕业生参加执照考试时，他们正在参加一种高风险且受监督的测试，这种测试是无法外包给计算机的。这些考试是最后的检查点，是检验学位承诺是否符合现实的时刻。如果通往这些考试之前的课程学习过程被人工智能破坏了，那么学位可能不再能预测谁能真正胜任这份工作。人们担心，这项技术降低了产生这种“信号”的成本，以至于它不再能区分有能力者与无能力者，从而让雇主和公众面对一个不再具有原有含义的凭证。
一组研究人员试图用硬数据来测试这种担忧，观察生成式人工智能的到来是否真的破坏了学术资历与职业能力之间的联系。他们专注于两个截然不同的职业：法律和护理。选择这两个领域是因为它们在日常工作对语言和文本的依赖程度上处于光谱的两端。法律是一个高度依赖语言任务的领域，使其成为最容易受到文本生成工具冲击的候选领域。而护理虽然需要批判性思维，但涉及大量的动手操作、体力劳动和人际沟通，这些是计算机很难模拟的。通过对比这两个领域，研究人员可以观察到，这种资历侵蚀现象是否更多地发生在受该技术影响程度更高的领域。
研究人员建立了一个庞大的数据集，追踪了全美数千所法学院和护理课程。他们查看了学生在进入这些项目时的学术记录——特别是他们的标准化考试成绩和大学成绩——然后追踪了这些相同的群体在三年后参加职业执照考试的表现。这创造了一个清晰的时间线：研究人员可以观察那些在入学时拥有强大学术背景的学生，在接受教育后是否依然成为了最优秀的专业人士，以及这种关系在人工智能广泛普及后是否发生了变化。他们检查了从2014年到2025年的数据，涵盖了技术到来前的九年和到来的三年。
结果出人意料地清晰，且与普遍的焦虑相反。研究人员发现，在生成式人工智能出现之后，入学学术能力与职业执照成功率之间的联系并未削弱。事实上，在某些统计指标中，这种关系在技术发布后的几年里依然保持强劲，甚至略有增强。数据显示，即使在学习期间可以使用人工智能，那些在进入法学院时拥有较高考试成绩的学生，其通过律师资格考试的比例依然较高。同样的模式也出现在护理项目中。研究人员计算得出，如果人工智能导致了预测能力的显著下降，这种现象在数据中会非常明显。然而，证据排除了超过约20%的降幅，最可能的情况是，这种下降微乎其微，甚至根本不存在。
最令人震惊的发现之一是，数据中出现的重大偏差并非发生在人工智能到来之时。研究人员注意到数据在2022年左右出现了一次转变，但这次转变发生在那些在技术公开发布前就已经完成了大部分课程的学习群体中。这表明，造成这种破坏的是疫情以及向远程学习的混乱转型，而非人工智能。那些在学习过程中实际使用该技术的学生，并没有表现出通过最终受监督考试的能力下降。数据表明，虽然这项技术可能改变了学生完成日常作业的方式，但它并未摧毁学位预测现实世界成功能力的底层逻辑。
研究还调查了该技术是否帮助了较弱的学生实现“追赶”，从而有效地将所有人“池化”，使高低表现者之间的区别消失。这是一个特定的担忧：即人工智能将允许表现欠佳的学生产出看起来与顶尖学生水平相当的作品，从而抹平性能曲线。研究人员没有发现这种证据。得分分布并没有按照理论预测的那样发生压缩。表现优异者依然与表现较差者保持着明显的区别，两者之间的差距并未消失。技术并未成为一种抹杀学生能力差异的“伟大平衡器”；通过最终职业能力对学生进行排序的机制依然完好无损。
在人工智能时代，这对于学位的价值意味着什么？研究结果表明，职业认证体系比许多人担心的要更加稳健。决定谁能从事法律或医疗工作的最终受监督考试，充当了可靠的过滤器，捕捉到了在早期非受监督课程学习阶段可能出现的任何能力缺失。学位仍然传达了一个信号，即一个人具备通过那场最重要的考试的能力。然而，这并不意味着系统是完美的，或者日常作业的完整性是安全的。研究人员指出，风险只是向“上游”转移了。危险不再是最终考试会被破坏，而是学习过程本身——即日常作业和技能的发展——可能已经以最终考试无法察觉的方式发生了改变。学位仍然能预测考试的成功，但它可能不再保证学生在整个过程中学到了他们本该学到的所有内容。
研究结论认为，生成式人工智能的到来尚未破坏学术资历的信号功能。学生在开始时的知识水平与他们在结束时的表现能力之间的联系依然紧密。这项技术既没有让学位变得毫无意义，也没有模糊有能力者与无能力者之间的界限。相反，系统吸收了这一冲击，最终的高风险考试继续作为衡量专业准备程度的可信度量。教育者和机构面临的真正挑战不是保护最终考试（因为它已被证明具有韧性），而是确保在考试之前的数年间的学习过程依然是真实且有效的。学位依然有效，但它所认证的学习旅程可能已经发生了我们才刚刚开始理解的变化。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。