Unified Semantic Modeling Framework for Large-Scale Job Understanding at LinkedIn

Imaginez que vous entriez dans une bibliothèque immense et chaotique où chaque livre est une offre d'emploi. Certains sont écrits en phrases parfaites et soignées ; d'autres sont griffonnés sur des serviettes en papier, remplis de fautes de frappe, de jargon et de détails confus. Maintenant, imaginez que vous deviez trier ces millions de livres dans des catégories parfaites afin que quiconque cherchant un « Infirmier » ou un « Ingénieur Logiciel » puisse trouver exactement ce dont il a besoin instantanément. C'est le monde de la Compréhension du Langage Naturel (Natural Language Understanding), une branche de l'informatique où les machines tentent de lire et de donner du sens au texte humain. Le grand défi ici est que le langage humain est désordonné, et créer un système capable de le comprendre parfaitement pour des millions de métiers différents revient à essayer d'apprendre à un robot à parler tous les dialectes de toutes les langues de la Terre en même temps. Habituellement, pour faire cela, les entreprises doivent construire un robot distinct et coûteux pour chaque catégorie de métier, ce qui est lent, coûteux et difficile à gérer.

Ce document de LinkedIn raconte comment ils ont construit un « super-robot » plus intelligent et plus flexible pour résoudre ce problème. Au lieu de construire des milliers de petits robots spécialisés, ils ont créé un seul Petit Modèle de Langage (SLM) — voyez cela comme un étudiant très brillant et efficace qui peut tout apprendre si on lui enseigne de la bonne manière. L'équipe a découvert qu'en nourrissant cet étudiant avec une quantité massive de problèmes d'entraînement créés par une IA super-intelligente (GPT-4), l'étudiant pouvait apprendre à comprendre les descriptions de postes avec une précision incroyable, même pour des emplois qu'il n'avait jamais vus auparavant. Ils ont ensuite donné à cet étudiant un ensemble de « lunettes spécialisées » (appelées adaptateurs) qui pouvaient être échangées instantanément. Quand l'étudiant avait besoin de comprendre le poste d'un infirmier, on lui mettait les « lunettes d'infirmier » ; pour un avocat, on changeait pour les « lunettes d'avocat ». Cela leur a permis de gérer une immense variété de métiers avec un seul cerveau, rendant le système plus rapide, moins cher et beaucoup plus précis. Lorsqu'ils ont testé ce nouveau système dans le monde réel, il a fonctionné mieux que leurs anciennes méthodes, aidant les gens à trouver les bons emplois plus facilement.

La bibliothèque désordonnée des emplois

LinkedIn est un marché géant où les gens cherchent des emplois et les entreprises cherchent des talents. Mais les « livres » de leur bibliothèque — les offres d'emploi — sont souvent un désordre. Une seule description de poste peut être un paragraphe long et décousu, rempli de fautes de frappe, de formats étranges et de détails cachés. Pour rendre cela utile, LinkedIn doit transformer ce texte désordonné en faits propres et organisés, comme : « Ce poste est pour un Infirmier Senior », « C'est un poste en Télétravail » ou « Il paie 80 000 $ ». Ce processus est appelé Compréhension de l'Emploi (Job Understanding).

Pendant longtemps, LinkedIn a tenté de résoudre cela en construisant un modèle d'apprentissage automatique distinct pour chaque type d'attribut de poste. S'ils voulaient connaître l'« Ancienneté » d'un emploi, ils construisaient un modèle. S'ils voulaient connaître le « Type de lieu de travail », ils en construisaient un autre. C'était comme embaucher un bibliothécaire différent pour chaque étagère de la bibliothèque. C'était coûteux, lent à mettre à jour et souvent peu performant pour comprendre la nuance subtile du texte.

Le « Super-Étudiant » et le manuel magique

Les auteurs ont décidé d'essayer quelque chose de différent. Au lieu d'embaucher de nombreux bibliothécaires, ils ont entraîné un Petit Modèle de Langage (SLM) incroyablement intelligent. Considérez ce SLM comme un étudiant super rapide qui est excellent en lecture, mais qui a besoin des bons supports d'étude pour briller.

L'équipe s'est rendu compte qu'elle ne disposait pas d'assez d'exemples du monde réel avec des réponses parfaites (annotations) pour tout enseigner à cet étudiant. Ils ont donc utilisé une astuce ingénieuse : ils ont demandé à une IA beaucoup plus grande et plus puissante (GPT-4) d'écrire un manuel de synthèse pour eux. Ce n'était pas seulement une liste de faits ; c'était un ensemble de problèmes d'entraînement où GPT-4 prenait une description de poste désordonnée, trouvait la réponse et, surtout, rédigeait son raisonnement. Elle expliquait pourquoi un certain poste était un rôle de niveau « Senior » ou pourquoi il était en « Télétravail ».

En entraîant leur étudiant (le SLM) sur ces exemples riches en raisonnement, le modèle a appris non seulement les réponses, mais aussi comment réfléchir. Cela a donné au modèle un super-pouvoir appelé apprentissage zero-shot (zero-shot learning). Cela signifie que le modèle peut regarder un tout nouveau type d'emploi qu'il n'a jamais vu auparavant et quand même deviner la réponse correctement, simplement en utilisant la logique apprise lors de son entraînement.

La stratégie des « Lunettes Interchangeables »

Même avec un étudiant super intelligent, il y avait un problème : certains emplois sont très spécifiques. Un poste d'« Infirmier » possède des détails particuliers comme l'« Horaire » ou la « Licence », tandis qu'un poste d'« Enseignant » en possède d'autres. Si le modèle essayait d'apprendre tout cela en même même temps, il pourrait s'embrouiller.

Pour corriger cela, l'équipe a introduit un système de Multi-Adaptateurs. Imaginez que l'étudiant porte une paire de lunettes claires et neutres (le modèle de base). Lorsqu'il doit comprendre un poste d'infirmier, il n'a pas besoin de tout réapprendre ; il lui suffit de fixer une paire de « Lunettes d'Infirmier » (un adaptateur). Ces adaptateurs sont des ajouts minuscules et légers qui apprennent au modèle juste assez pour gérer ce groupe spécifique d'emplois sans perturber ce qu'il sait déjà.

Pour rester organisé, ils n'ont pas fabriqué une paire de lunettes distincte pour chaque métier. Au lieu de cela, ils ont utilisé une stratégie de regroupement intelligente. Ils ont regardé comment différents emplois étaient similaires et les ont regroupés. Par exemple, tous les attributs liés aux « horaires » pour les infirmiers et les travailleurs d'entrepôt pourraient être suffisamment similaires pour partager la même paire de lunettes. Cela signifiait qu'ils pouvaient gérer des centaines d'attributs de postes différents avec seulement quelques dizaines d'adaptateurs, rendant le système beaucoup plus facile à gérer.

Les Résultats : Plus Rapide, Plus Intelligent et Moins Cher

L'équipe a testé ce nouveau système de deux manières. D'abord, ils l'ont testé sur un ordinateur (hors ligne) pour voir comment bien il devinait les réponses. Ils l'ont comparé à leurs anciens modèles distincts et ont constaté que leur nouveau « Super-Étudiant » doté de lunettes interchangeables était bien plus précis. Par exemple, lorsqu'il s'agissait de deviner l'« Occupation » d'un poste, l'ancien modèle avait raison environ 71 % du temps, mais le nouveau modèle a réussi à 83 %. Pour le « Type de lieu de travail », le nouveau modèle a atteint 98 % de réussite, contre 95 % pour l'ancien.

Ensuite, ils l'ont testé dans le monde réel (en ligne) en le présentant aux utilisateurs réels de LinkedIn. Ils ont mené un test où la moitié des utilisateurs voyaient l'ancien système et l'autre moitié voyait le nouveau. Les résultats étaient clairs : le nouveau système aidait les utilisateurs à trouver de meilleurs emplois. Des indicateurs tels que les « Sessions d'Emploi » (combien de fois les gens consultent des offres) ont augmenté, et les gens étaient moins enclins à cliquer sur le « pouce vers le bas » pour de mauvaises recommandations.

Le système est également incroyablement efficace. Il fonctionne sur une flotte de 50 puces informatiques puissantes (GPU) et peut traiter les descriptions de postes en environ 0,8 seconde en moyenne. Comme il utilise un modèle petit et efficace au lieu d'un modèle massif et coûteux, il coûte beaucoup moins cher à exploiter.

En résumé, l'article montre qu'en apprenant à un petit modèle d'IA à penser comme un humain grâce au raisonnement synthétique, puis en lui donnant la capacité de changer de « lunettes » spécialisées pour différents métiers, on peut construire un système plus intelligent, plus rapide et moins cher que l'ancienne méthode. C'est une victoire pour l'entreprise, et une victoire pour quiconque cherche sa prochaine grande opportunité.