Incremental Value of Structured Metadata for Text Based Risk Triage in a Role Play Derived University Counselling Corpus
本研究发现，在基于文本的分级分类器中添加结构化元数据对于大学心理健康风险分诊并无一致性的增益作用，因为仅凭消息文本的表现优于仅使用结构化模型及结合式方法，尽管数据的角色扮演性质以及缺乏自主层面的性能表现使得有必要在真实的咨询记录上进行进一步验证。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在大学心理咨询中心那静谧的空间里，学生们带着难以言喻的重担前来。他们谈论着焦虑、孤独或绝望，希望能找到一种方法来理清自己的情绪并获得正确的帮助。几十年来，人类咨询师依靠他们的专业训练和直觉来倾听这些故事，并决定哪些学生需要立即关注，哪些可以稍后处理。如今，随着寻求帮助的学生人数增长速度超过了可用咨询师的数量，研究人员正在探讨计算机是否能提供帮助。这个被称为自然语言处理的领域，试图教会机器阅读人类文本并识别出预示危险的模式。核心问题不仅在于计算机能否读懂一条信息，而在于加入关于一个人的简单事实——如年龄、性别或就读年级——是否能让计算机在识别危机方面比仅阅读文字时表现得更好。
赞比亚大学的一个研究小组通过使用一组独特的叙事集来测试这一想法。他们没有使用真实的患者记录，因为那些记录过于私密且复杂，难以共享。相反，他们创建了一个包含 1,672 个短篇场景的库。在这些故事中，学生和咨询师扮演对话中的角色，学生表达出处于困境中的人的忧虑，而咨询师则进行专业的回应。每个故事都由扮演咨询师角色的那个人进行了标注，将情况标记为低风险、中风险、高风险或危急情况。随后，研究人员构建了三个不同的计算机模型来预测这些风险水平。第一个模型仅阅读学生信息的文本内容。第二个模型仅观察结构化事实，例如学生的性别和就读年级。第三个模型则尝试将文本与事实结合起来使用。
结果是明确且有些令人惊讶的。仅阅读文本的计算机表现优于仅观察事实的计算机。当研究人员将文本与人口统计学细节结合在一起时，计算机并没有变得更好；事实上，它的表现有时甚至略有下降。关于学生身份的额外信息并没有像文字本身那样帮助机器理解危险。唯一显示出一定前景的结构化信息是问题的类别，例如故事是否涉及创伤或暴力。然而，这些类别直接源自故事的内容，因此它们并非真正的独立事实，而是对已表达内容的总结。至于性别或居住地等人口统计学细节，对预测几乎没有任何贡献。
即使是使用表现最好的纯文本模型，研究人员也发现该系统尚未准备好独立做出生死攸关的决策。为了捕捉 95% 的最危险案例，计算机必须将近 80% 的学生标记为需要帮助。这将使咨询中心不堪重负，因为这意味着要将几乎所有人视为紧急情况。在原始的故事集中，使用标准设置时，该模型漏掉了四分之三的最严重案例。虽然增加故事库中的故事数量改善了数据，但该系统在没有人工监督的情况下，仍然难以可靠地识别最严重的状况。
这项研究还强调了数据创建过程中的一个显著局限性。由于所有的故事都由同一小群人编写，计算机可能会学会识别这些特定作者的写作风格，而非真正的危机征兆。此外，为每个故事评分的人正是刚刚参与表演的咨询师，这意味着他们并非对背景信息不知情。这表明，与陌生人在现实世界中阅读真实的、未经剧本编写的信息相比，这些评分可能会偏高。
最终，这项研究表明，对于这类特定数据，学生所写的文字远比关于他们的事实更为重要。计算机学到的是，痛苦存在于信息之中，而非元数据之中。然而，这项研究并未断言计算机已经准备好取代大学咨询中的人类判断。这些模型尚未准确到可以被信任用于安全关键型的决策，且用于训练的数据是精心构思而非从真实患者那里收集的。这项工作提供了一种测试这些工具行为的谨慎方法，表明虽然文本具有强大的力量，但在能够用于筛选真正需要帮助的真实学生之前，开发一个安全的自动化系统还需要更多的验证。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。