Explainable Job Category Detection Using DistilBERT: A Three-Class Transformer Model for Classifying Real, Fake, and Invalid Online Job Offers
本研究提出了一种基于 DistilBERT 的可解释、轻量化系统，通过将职位发布分类为真实、虚假和无效三类，以 98.74% 的准确率提升了在线职位筛选效率，并通过平衡的三分类方法和基于 SHAP 的可解释性，解决了传统二分类模型的局限性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
数字化的求职景观已从地方报纸的分类广告栏转型为一个全球性的、即时的市场。像 LinkedIn 和 Indeed 这样的平台允许雇主瞬间触达数百万候选人，但这种开放性同时也为一种特定类型的网络犯罪提供了温床：在线招聘欺诈。骗子精心制作虚假广告，旨在窃取资金、搜集个人数据进行身份窃取，或诱导受害者参与非法计划。多年来，研究人员一直试图构建能够识别这些虚假帖子的计算机系统。早期的尝试依赖于简单的规则和基础的统计模式，但当骗子学会模仿合法公司的语言时，这些方法往往会失效。近年来，科学家们转向了先进的人工智能模型，这些模型能够理解人类语言的上下文和细微差别，类似于人类读者感知故事是否感觉不对劲的方式。然而，这些强大的模型通常对于实时使用来说过于缓慢，而且大多数现有系统都局限于一个简单的“是或否”的决策：这份工作是真的还是假的？这种二元方法在应对互联网的复杂现实时显得力不从心，因为许多帖子并非恶意骗局，而仅仅是破损、不完整或毫无意义的。
尼日利亚大学的一组研究人员开发了一种新方法来解决这些局限性。他们创建了一个不仅询问职位是否真实或虚假，还增加了第三个类别：“无效”的系统。这种区分至关重要，因为它允许系统将危险的骗局与无害的错误（例如缺少关键细节或包含乱码的帖子）区分开来。为了构建这个工具，研究人员结合了三种不同的招聘广告集合。其中一组包含来自以往研究的数千条经过验证的真实和虚假帖子；另一组则提供了明显破损或格式错误的文本示例。最终生成的数据集包含超过 34,000 条记录，但数据分布严重倾斜，真实的职位要比虚假和无效的职位多得多。为了有效地教导计算机，该团队并没有简单地通过复制粘贴示例来平衡数量——这是一种可能会产生人工数据的常见技术——而是通过重新排列单词并添加噪声，仔细减少了真实示例的数量并创建了新的、多样化的虚假和无效文本示例，从而确保计算机学习的是真实的语言模式而非合成的重复内容。
该系统的核心是一个名为 DistilBERT 的大型语言模型的精简版本。可以将这个模型想象成一名非常高效的学生，他读过数百万本书并掌握了语言规则，但比其庞大的同类模型更小、更快。研究人员在他们包含 9,000 条职位帖子的平衡数据集上训练了这个模型，教会它识别合法邀约、骗局和破损帖子之间的微妙差异。训练过程在标准计算机上耗时不到十分钟，之后，该模型在一个全新的、从未见过的 1,350 份职位邀约测试集上进行了测试。结果非常精准。该系统在近 99% 的案例中正确识别了职位类别的属性。它在识别无效帖子方面表现尤为出色，在测试组中实现了百分之百的准确率，并且以 98% 的成功率成功识别了虚假骗局。这种准确度具有重要意义，因为尽管这个新系统必须解决一个更困难的三分类问题，但它的表现优于以往仅限于二元选择的系统。
除了做出预测之外，研究人员还希望确保系统的透明度。他们集成了一个解释计算机为何做出决策的功能。当系统标记一份工作为骗局时，它会高亮显示触发警报的具体词汇，例如对银行详情的紧急请求或不切实际的薪水承诺。如果帖子被标记为无效，系统会指出使内容变得毫无意义的破碎句子或随机字符。这种能力建立了信任，允许人类用户看到分类背后的证据，而不仅仅是接收到一个“黑箱式”的判决。该团队还构建了一个演示这项技术实时运行的 Web 应用程序。当用户将职位描述粘贴到界面中时，系统会在一到三秒内分析文本并返回分类及置信度评分。这种速度证明了复杂的先进人工智能可以在无需大规模计算能力的情况下，部署到实用的日常工具中。
研究人员还将他们的精简模型与另外两种人工智能架构进行了比较，一种是处理顺序文本的模型，另一种则更为简单。虽然这些替代模型表现良好，但精简后的语言模型仍然是最准确的，它以最高的成功率正确分类了职位邀约。研究人员承认他们的系统并不完美，且现实世界的欺诈手段在不断演变。他们指出，其训练数据仅限于英语帖子，且测试集是人工平衡过的，这可能无法反映自然状态下骗局的稀缺性。然而，这项工作证明了三类框架不仅可行，而且非常有效。通过区分真实、虚假和无效内容，并提供决策的清晰理由，该系统为在日益复杂的数字环境中保护求职者提供了一种更可靠、更用户友好的方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。