Unified Semantic Modeling Framework for Large-Scale Job Understanding at LinkedIn

想像してみてください。あなたは、あらゆる本が求人票になっている、巨大で混沌とした図書館に足を踏み入れたところです。ある本は完璧で整然とした文章で書かれていますが、別の本はナプキンに殴り書きされたり、誤字脱字や専門用語、混乱を招く詳細が含まれていたりします。ここで、あなたがこれら数百万冊の本を完璧なカテゴリーに分類し、「看護師」や「ソフトウェアエンジニア」を探している人が、瞬時に必要なものを見つけられるようにしなければならないと想像してください。これは、コンピュータサイエンスの一分野である**自然言語理解（Natural Language Understanding）**の世界であり、機械が人間のテキストを読み、その意味を理解しようとする試みです。ここでの大きな課題は、人間の言語は非常に乱雑であり、何百万もの異なる職種に対して完璧に理解できるシステムを作ることは、ロボットに地球上のあらゆる言語のあらゆる方言を同時に話せるよう教え込むようなものだからです。通常、これを実現するために、企業は個々の職種カテゴリーごとに別々の、高価なロボットを構築しなければなりません。これは時間がかかり、コストがかかり、管理も困難です。

LinkedInによるこの論文は、彼らがこの問題を解決するために、いかにしてよりスマートで柔軟な「スーパーロボット」を構築したかという物語を伝えています。数千もの小さくて特化したロボットを作る代わりに、彼らは一つの小規模言語モデル（SLM）、つまり「正しい方法で教えれば、ほとんど何でも学ぶことができる、非常に聡明で効率的な学生」のようなものを作り上げました。チームは、超知能AI（GPT-4）によって作成された膨大な量の練習問題をこの学生に与えることで、見たことがない仕事であっても、驚異的な精度で求人内容を理解させることができることを発見しました。そして、彼らはこの学生に、瞬時に付け替えることができる一組の「専門的なメガネ」（アダプターと呼ばれます）を与えました。看護師の仕事を理解する必要があるときは「看護師用のメガネ」をかけ、弁護士の場合は「弁護士用のメガネ」に切り替えます。これにより、一つの「脳」だけで膨大な種類の仕事を扱うことができ、システムをより速く、より安価に、そしてより正確にすることができました。彼らがこの新しいシステムを実世界でテストしたところ、従来の方法よりも優れた結果が得られ、人々が適切な仕事を見つけやすくなることが分かりました。

混沌とした仕事の図書館

LinkedInは、人々が仕事を探し、企業が人材を探す巨大なマーケットプレイスです。しかし、彼らの図書館にある「本」、つまり求人票は、しばしばひどい状態です。一つの求人票は、誤字脱字や奇妙なフォーマット、隠れた詳細が含まれた、長くとりとめもない段落であることもあります。これを有用なものにするために、LinkedInは、その乱雑なテキストを「これはシニア看護師の仕事である」「これはリモート勤務である」「給与は8万ドルである」といった、整理された明確な事実へと変換する必要があります。このプロセスを**ジョブ・アンダースタンディング（Job Understanding）**と呼びます。

長い間、LinkedInは、あらゆる種類の仕事の属性に対して個別の機械学習モデルを構築することで、この問題を解決しようとしてきました。もし「経験レベル（Seniority）」を知りたいのであれば、一つのモデルを作りました。もし「勤務形態（Workplace Type）」を知りたいのであれば、また別のモデルを作りました。それは、図書館の棚ごとに異なる司書を雇うようなものでした。これは費用がかかり、更新に時間がかかり、テキストの微妙な意味を理解することにもあまり長けていませんでした。

「スーパー学生」と「魔法の教科書」

著者たちは、別の方法を試すことにしました。多くの司書を雇う代わりに、彼らは一人の非常に賢い**小規模言語モデル（SLM）**を訓練することにしました。このSLMを、読解力には優れているが、輝くためには適切な学習教材を必要とする「スーパー快速な学生」だと考えてください。

チームは、この学生にすべてを教えるための、完璧な答え（アノテーション）が付いた現実世界の例が十分に足りないことに気づきました。そこで、彼らは巧妙なトリックを使いました。より大規模で強力なAI（GPT-4）に、彼らのために**合成教科書（synthetic textbook）を書かせたのです。これは単なる事実のリストではありませんでした。GPT-4が、乱雑な求人票を取り込み、答えを導き出し、そして最も重要なこととして、その推論（reasonceoning）**を書き記すという、練習問題のセットでした。つまり、なぜ特定の仕事が「シニア」なのか、あるいはなぜそれが「リモート」なのか、その理由を説明させるのです。

この推論豊かな例を用いて学生（SLM）を訓練することで、モデルは単に答えを知るだけでなく、「考え方」を学びました。これにより、モデルには**ゼロショット学習（zero-shot learning）**というスーパーパワーが備わりました。これは、モデルが一度も見聞きしたことがない新しい種類の仕事を見ても、学んだ論理を用いることで、正解を推測できることを意味します。

「付け替え可能なメガネ」戦略

スーパー賢い学生であっても、問題がありました。仕事によっては非常に特殊な詳細があるからです。「看護師」の仕事には「シフト」や「免許」といった特別な詳細がありますが、「教師」の仕事には異なる詳細があります。もしモデルがこれらすべてを一度に学ぼうとすると、混乱してしまう可能性があります。

これを解決するために、チームは**マルチアダプター（Multi-Adapter）**システムを導入しました。学生が透明でニュートラルなメガネ（ベースモデル）をかけていると想像してください。看護師の仕事を理解する必要があるとき、彼らはすべてを学び直す必要はありません。ただ「看護師用のメガネ」（アダプター）をクリップで留めるだけです。これらのアダプターは、非常に軽量な追加パーツであり、すでに知っていることを壊すことなく、その特定のグループの仕事を扱うために必要な知識だけをモデルに教えます。

整理を保つために、彼らはすべての仕事に対して別々のメガネを作ったわけではありません。代わりに、スマートなグルーピング戦略を用いました。彼らは異なる仕事がどの程度似ているかを調べ、それらをグループ化しました。例えば、看護師と倉庫作業員における「シフト」に関連する属性は、同じメガネを共有できるほど似ているかもしれません。これにより、数百もの異なる仕事の属性を、わずか数十個のアダプターだけで管理することができ、システムをはるかに運用しやすくしました。

結果：より速く、より賢く、より安く

チームはこの新しいシステムを二つの方法でテストしました。第一に、コンピューター上（オフライン）で実行し、どれだけ正確に答えを推測できるかを確認しました。彼らはこれを従来の個別のモデルと比較し、新しい「スーパー学生」と付け替え可能なメガネの組み合わせが、はるかに正確であることを発見しました。例えば、「職種（Occupation）」を推測する場合、旧モデルの正解率は71%でしたが、新モデルは83%に達しました。「勤務形態（Workplace Type）」については、旧モデルが95%であったのに対し、新モデルは98%でした。

次に、実際のユーザーに示して、実世界（オンライン）でのテストを行いました。彼らは、半数のユーザーには旧システムを、もう半数のユーザーには新システムを見せるテストを実施しました。結果は明白でした。新システムはユーザーがより良い仕事を見つける助けとなりました。「ジョブ・セッション（仕事を見た回数）」などの指標は上昇し、不適切な推奨に対して「低評価（thumbs down）」をクリックする人も減少しました。

このシステムは非常に効率的です。50基の強力なコンピューターチップ（GPU）のフリート上で動作し、求人票を平均約0.8秒で処理できます。大規模で高価なモデルではなく、小さく効率的なモデルを使用しているため、運用コストも大幅に抑えられています。

要約すると、この論文は、合成的な推論を用いて人間のように考えるように小さなAIモデルを教え、さらに異なる仕事に合わせて専門的な「メガネ」を付け替える能力を与えることで、従来の方法よりも賢く、速く、そして安価なシステムを構築できることを示しています。これは会社にとっても、そして次の大きなチャンスを探しているすべての人にとっても、勝利なのです。