Unified Semantic Modeling Framework for Large-Scale Job Understanding at LinkedIn

想象一下，你正走进一座巨大的、混乱的图书馆，其中的每一本书都是一份职位发布信息。有些书是用完美的、整齐的句子写成的；而另一些则是在餐巾纸上随手涂鸦，充满了拼写错误、术语和令人困惑的细节。现在，想象你需要将这数百万本书分类到完美的类别中，以便任何寻找“护士”或“软件工程师”的人都能立即找到他们所需的内容。这就是**自然语言理解（Natural Language Understanding）**的世界——它是计算机科学的一个分支，研究如何让机器阅读并理解人类文本。这里的大挑战在于，人类语言是杂乱无章的，要创建一个能够完美理解数百万种不同工作的系统，就像是试图教一个机器人同时学会地球上每一种语言的每一种方言。通常，为了实现这一点，公司必须为每一个职位类别都构建一个单独的、昂贵的机器人，这既缓慢、昂贵又难以管理。

这篇来自 LinkedIn 的论文讲述了他们如何构建一个更聪明、更灵活的“超级机器人”来解决这个问题。他们没有构建成千上万个微小的、专门化的机器人，而是创建了一个小语言模型（Small Language Model, SLM）——把它想象成一个非常聪明、高效的学生，只要教导得当，他几乎可以学习任何知识。团队发现，通过给这个学生喂食大量由超智能 AI（GPT-4）生成的练习题，这个学生可以学会以惊人的准确度来理解职位描述，即使是面对它从未见过的职位。然后，他们给了这个学生一副“专业眼镜”（称为适配器/Adapters），这些眼镜可以被瞬间更换。当学生需要理解一份护士的工作时，他们戴上“护士眼镜”；当处理律师工作时，他们切换到“律师眼镜”。这使得他们只需用一个大脑就能处理极其多样的工作，让系统变得更快、更便宜且更准确。当他们在现实世界中测试这个新系统时，它的表现优于旧方法，帮助人们更容易地找到合适的工作。

混乱的职位图书馆

LinkedIn 是一个巨大的市场，人们在这里找工作，公司在这里找人才。但他们图书馆里的“书”——即职位发布信息——往往很混乱。一份职位描述可能是一个冗长的、东拉西扯的段落，充满了拼写错误、奇怪的格式和隐藏的细节。为了使这些信息有用，LinkedIn 需要将这些混乱的文本转化为干净、有序的事实，例如：“这是一个高级护士职位”、“这是一个远程职位”或“它的薪资是 80,000 美元”。这个过程被称为职位理解（Job Understanding）。

长期以来，LinkedIn 尝试通过为每一个职位属性构建一个单独的机器学习模型来解决这个问题。如果他们想知道职位的“资历（Seniority）”，他们就构建一个模型；如果想知道“工作场所类型（Workplace Type）”，他们就构建另一个。这就像是为图书馆的每一个书架都雇佣了一名不同的图书管理员。这既昂贵、更新缓慢，而且往往无法很好地理解文本的微妙含义。

“超级学生”与“神奇教科书”

作者们决定尝试一些不同的方法。他们不再雇佣许多图书管理员，而是训练了一个极其聪明的小语言模型（SLM）。把这个 SLM 想象成一个阅读能力极强、动作极快的学生，但他需要合适的学习材料才能脱颖而出。

团队意识到，他们没有足够的带有完美答案（标注）的真实世界案例来教这个学生学习一切。因此，他们使用了一个聪明的技巧：他们要求一个规模更大、功能更强大的 AI（GPT-4）为他们编写一本合成教科书。这不仅仅是一份事实清单；这是一套包含推理过程的练习题，GPT-4 会拿走一份混乱的职位描述，找出答案，并且——最重要的是——写下它的推理过程。它会解释为什么某个职位是“高级”角色，或者为什么它是“远程”办公。

通过在这些富有推理能力的案例上训练这个学生（SLM），模型不仅学会了答案，还学会了如何思考。这赋予了模型一种被称为**零样本学习（Zero-shot Learning）**的超能力。这意味着模型即使面对一个从未见过的全新职位类型，也能通过利用从训练中学到的逻辑，正确地推测出答案。

“可更换眼镜”策略

即便有了超级聪明的学生，仍然存在一个问题：有些工作非常特殊。一份“护士”的工作会有像“班次（Shift）”或“执照（License）”这样的特殊细节，而一份“教师”工作的细节则完全不同。如果模型试图同时学习所有这些内容，它可能会感到困惑。

为了解决这个问题，团队引入了一个多适配器（Multi-Adapter）系统。想象一下，这个学生戴着一副透明、中性的眼镜（基础模型）。当他需要理解护士工作时，他不需要重新学习一切，只需要夹上一副“护士眼镜”（即适配器）。这些适配器是极其轻量级的插件，它们教会模型处理特定职位组所需的足够知识，而不会干扰它已经掌握的知识。

为了保持有序，他们并没有为每一个职位都制作一副眼镜。相反，他们使用了一种智能的分组策略。他们观察不同职位之间的相似性，并将它们归类在一起。例如，护士和仓库工人所有与“班次”相关的属性可能足够相似，从而可以共享同一副眼镜。这意味着他们可以用仅有的几十个适配器来管理数百个不同的职位属性，使系统运行起来更加轻松。

结果：更快、更聪明、更便宜

团队通过两种方式测试了这个新系统。首先，他们在计算机上进行了测试（离线测试），以观察其预测结果的好坏。他们将其与旧的、独立的模型进行对比，发现这个带着可更换眼镜的“超级学生”要准确得多。例如，在预测“职业（Occupation）”时，旧模型的正确率约为 71%，而新模型达到了 83%；在预测“工作场所类型”时，新模型的正确率为 98%，而旧模型为 95%。

随后，他们通过向真实的 LinkedIn 用户展示该系统，在现实世界中进行了测试（在线测试）。他们进行了一项测试，一半的用户看到的是旧系统，另一半看到的是新系统。结果显而易见：新系统帮助用户找到了更好的工作。诸如“职位会话量（Job Sessions）”（即人们查看职位的次数）等指标上升了，而且人们点击“踩（Thumbs Down）”表示不满意的情况减少了。

该系统也非常高效。它在一个由 50 个强大计算芯片（GPU）组成的集群上运行，平均可以在约 0.8 秒内处理完一份职位描述。因为它使用的是一个小巧、高效的模型，而不是一个庞大、昂贵的模型，所以运行成本要低得多。

简而言之，这篇论文表明，通过利用合成推理教一个小 AI 模型像人类一样思考，并赋予它为不同工作更换专业“眼镜”的能力，你可以构建一个比旧方法更聪明、更快、更便宜的系统。这对公司来说是双赢，对任何正在寻找下一个大机会的人来说也是如此。