JobHop v2: A Large-Scale Career Trajectory Dataset from Unstructured Resumes
本文介绍了 JobHop v2，这是一个通过稳健的大语言模型提取流水线从匿名化多语言简历中获取的、包含超过 355,000 条职业轨迹的公开数据集，它提供了丰富的标注和更高的可靠性，以推动劳动力规划和劳动力市场研究。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，职场世界就像一座巨大且混乱的图书馆，每一本书都是一个人的简历。多年来，试图理解人们如何在不同工作之间流动的研究人员一直陷入困境，因为这些“书”是用不同的语言编写的，有着奇怪的格式，而且充满了计算机无法读取的涂鸦。这就像是试图仅凭破碎、手写的笔记来绘制一张城市地图。
此前，现有的地图要么规模极小（只有几千份笔记），要么是由虚假数据组成的，或者被锁在无人能开启的私人保险库中。曾有一个名为“JobHop v1”的前期尝试，但它有点不稳定；有时计算机会被杂乱的笔记搞糊涂，并吐出无法使用的损坏文件。
JobHop v2 正式登场了，这是一个由庞大的人工智能（AI）大脑驱动的、全新的、超级聪明的图书管理员。研究人员给了这个 AI 一叠约 440,000 份来自佛兰德斯公共就业服务中心（VDAB）的真实、匿名化的简历。这些简历是荷兰语、法语和英语的混乱混合体，姓名和地点都通过 <MASK> 标记进行了隐藏，以保护隐私。
神奇的技巧：推理机器人
这个新的 AI 不仅仅是在靠直觉猜测，而是使用了一种“推理控制”的方法。把它想象成一个侦探，他不仅会阅读线索，还会停下来思考：“等等，这个日期合理吗？这是一份工作还是一个课程？”如果 AI 卡住了或者生成了混乱的文件（比如一个无法打开的 JSON 文件），它有一个特殊的“重试”按钮。它会带着更多的专注力再次尝试。
结果如何？在通过初步清洗的约 400,000 份简历中，AI 成功地将 100% 的简历转化成了整洁、有序的数字文件。这是一个完美的得分！它提取了 355,315 个独特的职业故事，详细记录了 1,993,291 项工作经历和 923,981 项教育条目。
盒子里装了什么？
JobHop v2 就像是一个职业数据的宝库。它不仅仅列出职位名称；它还使用一个名为 ESCO 的标准全球词典来组织这些职位。它能准确告诉你某人何时开始和结束了一份工作（精确到年份的季度，例如“2020年第一季度”），教育程度的高低（从小学到博士学位），甚至包括他们使用的特定工具（如 Python 或 Spark）。
它真的做得更好吗？
研究人员并不仅仅是口头上说它“好”；他们对其进行了测试。他们将 AI 的工作成果与三组由人类和 AI 生成的“黄金标准”答案进行了对比。
- 评分： 他们最优秀的 AI 版本（使用了一个巨大的 1200 亿参数 模型）所获得的分数，与人类和其他 AI 达成共识的“天花板”极其接近。它仅比完美的共识极限低了 1.1 到 2.7 个百分点。
- 对决： 在一场盲测中（评委不知道哪个是哪个），他们将新版 JobHop v2 与旧版 JobHop v1 进行对比，新版在 68.3% 的情况下胜出，而旧版本仅在 29.9% 的情况下胜出。评委指出，v2 在处理简历中杂乱且隐藏的部分以及理解不同语言中的日期方面表现得出色得多。
它“不是”什么
重要的是要了解这个数据集“不是”什么。研究人员明确排除使用虚假的、编造的简历，或在提取发生之前由 AI 合成的预标准化代码。他们想要的是来自真实人物的真实、原始文本。此外，他们非常小心，没有过度猜测：大约 6.9% 的工作条目被标记为“未知”，因为 AI 认为承认自己不知道比猜错要安全得多。他们并没有试图强行给所有内容贴上标签。
底线
JobHop v2 表明，我们终于可以将数百万份简历那混乱、非结构化的碎片，转化为一份整洁、庞大的数据集，从而帮助我们理解职业究竟是如何演变的。它并不是一个能完美预测未来的魔力水晶球，但它提供了有史以来最准确、最大规模的、基于真实非结构化文本的职业路径地图。研究人员正在向公众发布这张地图以及构建它所用的工具，希望其他人能够利用它来研究劳动力市场和职位推荐，而不必从零开始。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。