Quantifying Predictive Uncertainty in Student Academic Outcomes Using Conformal Prediction

每年，世界各地的大学都面临着一场无声的危机：大量学生在获得学位之前就离开了学校。这不仅是学生个人的损失——他们往往因此面临较差的就业前景和较低的收入——也是对这些机构沉重的财务打击。几十年来，研究人员一直试图通过构建能够识别哪些学生可能辍学的计算机程序来解决这个难题。这些被称为机器学习模型的程序，通过分析学生的历史记录——包括他们的成绩、经济状况和背景——来预测他们的未来。其目标始终是及早发现处于风险中的学生，以便学校能在为时已晚之前提供帮助。然而，这些努力中一直存在一个关键缺陷：虽然计算机可以做出预测，但它们很少告诉学校应该在多大程度上信任该预测。模型可能会说一名学生处于风险之中，但它无法说明这一警告是一个可靠的事实，还是一个不靠谱的猜测。如果不知道预测的可信度，学校就有可能在其实际情况良好的学生身上浪费资源，或者更糟的是，错失那些真正需要帮助的学生。

肯塔基大学的研究员卡齐·萨比尔·艾哈迈德·纳欣（Kazi Sabbir Ahmad Nahin）通过改变这些预测的交付方式，解决了一个新问题。这项研究不再要求计算机给出一个单一且确定的答案，例如“这名学生将会辍学”或“这名学生将会毕业”，而是使用了一种称为“符合性预测”（conformal prediction）的方法。这种方法要求计算机提供一组可能的结局，并保证这组结果在多大频率下是正确的。这就像是天气预报员说“明天会下雨”而不提供任何背景信息，与说“有95%的概率会下雨，如果我们错了，错误也会发生在这个特定的范围之内”之间的区别。研究人员将这种方法应用于来自葡萄牙一所大学的4,400多名学生的数据，测试了六种不同类型的计算机模型，以观察哪些模型最能准确预测学生是会毕业、辍学还是继续在读。

研究发现，计算机模型确实非常擅长区分那些会完成学位和那些会离开的学生。表现最好的模型使用了先进的技术从数据中学习，在仅考虑“毕业”或“辍学”这两个最终结果时，能正确识别约90%的情况。然而，真正的突破在于研究人员加入了“不确定性”这一层。当模型被要求保持高度自信时——具体来说，是要求达到95%的正确率时——它们并没有强行为每个学生给出一个单一的标签。相反，对于大约9%到12%的学生，模型返回了一个同时包含“毕业”和“辍学”的集合。这并不是计算机的失败，而是新方法的成功。这意味着对于这些特定的学生，现有的证据还不足以确定其中一个未来。计算机诚实地承认：“我现在还不能确定。”

当研究人员加入第三个类别——即仍在就读但尚未毕业的学生时，这种不确定性变得更加显著。在这种更复杂的情景下，模型发现对于近40%的学生来说，证据指向了多种可能的未来。“仍在就读”这一群体代表了一个过渡状态，其人生轨迹尚处于不确定之中。通过强行给这些学生贴上单一标签，以往的研究可能会掩盖预测本身并不稳固的事实。而新的框架则让这种模糊性变得可见。它表明，对于很大一部分学生群体而言，其发展轨迹尚未明朗，计算机无法自信地预测最终结果。这对学校管理人员来说是一个至关重要的区别，因为它防止了他们将一个不靠谱的猜测视作确凿的事实。

除了衡量不确定性之外，研究还探讨了驱动这些预测的因素。通过使用一种能够拆解计算机决策过程的技术，研究人员发现，最强的信号来自于学生的学术进展。具体而言，学生通过课程的数量以及他们在第二学期的成绩，是预测其未来的最有力指标。经济压力也起到了重要作用；拖欠学费或背负债务的学生更有可能被标记为处于风险之中。这些发现与关于学生为何离校的长期理论相一致，证实了学术融入和经济稳定是维持学业的关键支柱。该研究并未声称这些因素会导致学生辍学，而是指出它们是计算机识别困境时最可靠的线索。

这项研究对于大学如何管理资源具有实际且直接的影响。研究提出了一种根据预测采取行动的分层系统。如果一个学生的预测集合中仅包含“辍学”，学校可以优先对其进行密集支持，如辅导或财务咨询。如果集合中仅包含“毕业”，则可以让学生继续其学业，无需不必要的干预。但是，对于那些预测集合包含多种结果（即计算机无法做出判断）的学生，研究建议采取不同的方法。这些学生应该被转交给人类顾问进行更深入的观察。辅导员可以收集更多信息，例如通过与学生交谈或查看其出勤情况，以在做出决定之前消除这种不确定性。这使计算机从一个最终的裁判变成了一个能够指出人类判断最需要介入之处的辅助工具。

最终，这项研究表明，学生支持的未来不在于构建总是正确的计算机，而在于构建能够诚实面对自身不确定性的系统。通过量化不确定性，学校可以停止猜测，开始做出明智的决策。他们可以将有限的资源投入到最需要的学生身上，同时避免在结果其实很明确的情况下进行干预所带来的污名化和资源浪费。研究结论指出，虽然机器学习是识别学生数据模式的强大工具，但它必须与衡量可靠性的方法相结合。只有这样，这些系统才能真正实现帮助每一位学生顺利抵达终点的目标。