Unified Semantic Modeling Framework for Large-Scale Job Understanding at LinkedIn
Dit artikel presenteert een verenigd semantisch modelleringsframework voor het grootschalige job-understanding systeem van LinkedIn, dat een gefinetuned klein taalmodel met synthetische redeneertaken en een multi-adapterarchitectuur benut om robuuste zero-shot generalisatie, verbeterde prestaties en verminderde operationele complexiteit te bereiken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme, chaotische bibliotheek binnenloopt waar elk boek een vacature is. Sommige zijn geschreven in perfecte, nette zinnen; andere zijn gekrabbeld op servetten, vol typefouten, jargon en verwarrende details. Stel je nu voor dat je deze miljoenen boeken in perfecte categorieën moet sorteren, zodat iedereen die op zoek is naar een "Verpleegkundige" of een "Software Engineer" direct kan vinden wat hij nodig heeft. Dit is de wereld van Natural Language Understanding (Natuurlijke Taalbegrip), een tak van de informatica waarbij machines proberen menselijke tekst te lezen en te begrijpen. De grote uitdaging hier is dat menselijke taal rommelig is, en het creëren van een systeem dat dit perfect kan begrijpen voor miljoenen verschillende banen, is alsof je een robot probeert te leren elk dialect van elke taal op aarde tegelijkertijd te spreken. Meestal moeten bedrijven hiervoor een aparte, dure robot bouwen voor elke afzonderlijke jobcategorie, wat traag, kostbaar en moeilijk te beheren is.
Dit paper van LinkedIn vertelt het verhaal van hoe zij een slimmere, flexibelere "superrobot" hebben gebouwd om dit probleem op te lossen. In plaats van duizenden kleine, gespecialiseerde robots te bouwen, creëerden ze één Small Language Model (SLM) — denk aan een zeer intelligente, efficiënte student die bijna alles kan leren als hij op de juiste manier wordt onderwezen. Het team ontdekte dat door deze student een enorme hoeveelheid oefenopgaven te voeren die door een superintelligente AI (GPT-4) waren gemaakt, de student leerde om jobbeschrijvingen met ongelooflijke nauwkeurigheid te begrijpen, zelfs voor banen die hij nog nooit eerder had gezien. Vervolgens gaven ze deze student een set "gespecialiseerde brillen" (genaamd adapters) die onmiddellijk kunnen worden verwisseld. Wanneer de student een baan van een verpleegkundige moest begrijpen, zetten ze de "verpleegkundige-bril" op; voor een advocaat wisselden ze over naar de "advocaat-bril". Dit stelde hen in staat om een enorme variëteit aan banen met slechts één brein te verwerken, waardoor het systeem sneller, goedkoper en veel nauwkeuriger werd. Wanneer ze dit nieuwe systeem in de echte wereld testten, werkte het beter dan hun oude methoden, waardoor mensen gemakkelijker de juiste banen konden vinden.
De Rommelige Bibliotheek van Banen
LinkedIn is een enorme marktplaats waar mensen naar banen zoeken en bedrijven naar talent zoeken. Maar de "boeken" in hun bibliotheek — de vacatures — zijn vaak een rommeltje. Een enkele jobbeschrijving kan een lange, warrige paragraaf zijn vol typefouten, vreemde opmaak en verborgen details. Om dit bruikbaar te maken, moet LinkedIn die rommelige tekst omzetten in schone, georganiseerde feiten, zoals: "Deze baan is voor een Senior Verpleegkundige", "Het is een Remote positie" of "Het betaalt $80.000". Dit proces wordt Job Understanding genoemd.
Lama lang probeerde LinkedIn dit op te lossen door voor elk type jobattribuut een apart machine learning-model te bouwen. Als ze de "Senioriteit" van een baan wilden weten, bouwden ze één model. Als ze het "Werkplektype" wilden weten, bouwden ze een ander model. Het was alsof ze voor elke plank in de bibliotheek een andere bibliothecaris inhuurden. Dit was duur, traag om bij te werken en vaak niet erg goed in het begrijpen van de subtiele betekenis van de tekst.
De "Superstudent" en het Magische Handboek
De auteurs besloten iets anders te proberen. In plaats van veel bibliothecarissen in te huren, trainden ze één ongelooflijk slim Small Language Model (SLM). Denk aan dit SLM als een super snelle student die erg goed is in lezen, maar de juiste studiematerialen nodig heeft om te schitteren.
Het team realiseerde zich dat ze niet genoeg praktijkvoorbeelden met perfecte antwoorden (annotaties) hadden om deze student alles te leren. Dus gebruikten ze een slimme truc: ze vroegen een veel grotere, krachtigere AI (GPT-4) om een synthetisch handboek voor hen te schrijven. Dit was niet alleen een lijst met feiten; het was een reeks oefenopgaven waarbij GPT-4 een rommelige jobbeschrijving nam, het antwoord bepaalde en — het allerbelangrijkste — ook de redenering opschreef. Het legde uit waarom een bepaalde baan een "Senior" rol was of waarom het "Remote" was.
Door deze student (het SLM) te trainen op deze door redenering rijke voorbeelden, leerde het model niet alleen de antwoorden, maar ook hoe het moet denken. Dit gaf het model een superkracht genaamd zero-shot learning. Dit betekent dat het model een gloednieuwe soort baan kon bekijken die het nog nooit eerder had gezien, en toch het juiste antwoord kon raden, simpelweg door de logica te gebruiken die het tijdens de training heeft geleerd.
De Strategie van de "Vervangbare Brillen"
Zelfs met een superintelligente student was er een probleem: sommige banen zijn zeer specifief. Een baan voor een "Verpleegkundige" heeft speciale details zoals "Diensttijd" of "Licentie", terwijl een baan voor een "Docent" andere details heeft. Als het model probeerde om dit allemaal tegelijk te leren, zou het in de war kunnen raken.
Om dit op te lossen, introduceerde het team een Multi-Adapter systeem. Stel je voor dat de student een bril met heldere, neutrale glazen draagt (het basismodel). Wanneer ze een baan voor een verpleegkundige moeten begrijpen, hoeven ze niet alles opnieuw te leren; ze klikken gewoon een paar "Verpleegkundige-brillen" (een adapter) vast. Deze adapters zijn kleine, lichtgewicht toevoegingen die het model net genoeg leren om die specifieke groep banen te behandelen zonder te verstoren wat het al weet.
Om de boel georganiseerd te houden, maakten ze niet voor elke baan een aparte bril. In plaats daarvan gebruikten ze een slimme groeperingsstrategie. Ze keken naar hoe vergelijkbaar verschillende banen waren en groepeerden ze samen. Bijvoorbeeld: alle aspecten gerelateerd aan "diensttijden" voor verpleegkundigen en magazijnmedewerkers waren vergelijkbaar genoeg om dezelfde bril te delen. Dit betekende dat ze honderden verschillende jobattributen konden beheren met slechts een paar dozijn adapters, wat het systeem veel gemakkelijker te beheren maakte.
De Resultaten: Sneller, Slimmer en Goedkoper
Het team testte dit nieuwe systeem op twee manieren. Eerst draaiden ze het op een computer (offline) om te zien hoe goed het de antwoorden raadde. Ze vergeleken het met hun oude, afzonderlijke modellen en ontdekten dat hun nieuwe "Superstudent" met vervangbare brillen veel nauwkeuriger was. Bijvoorbeeld, bij het raden van de "Beroepsgroep" van een baan was het oude model in 71% van de gevallen correct, maar het nieuwe model had het in 83% van de gevallen goed. Voor "Werkplektype" was het nieuwe model in 98% van de gevallen correct, vergeleken met 95% voor het oude model.
Daarna probeerden ze het in de echte wereld uit (online) door het aan echte LinkedIn-gebruikers te laten zien. Ze voerden een test uit waarbij de helft van de gebruikers het oude systeem zag en de andere helft het nieuwe. De resultaten waren duidelijk: het nieuwe systeem hielp gebruikers om betere banen te vinden. Metrieken zoals "Job Sessions" (hoe vaak mensen naar banen kijken) gingen omhoog, en mensen klikten minder vaak op "duim omlaag" bij slechte aanbevelingen.
Het systeem is ook ongelooflijk efficiënt. Het draait op een vloot van 50 krachtige computerchips (GPU's) en kan jobbeschrijvingen in gemiddeld ongeveer 0,8 seconden verwerken. Omdat het een klein, efficiënt model gebruikt in plaats van een enorm, duur model, kost het veel minder om te draaien.
Kortom, het paper laat zien dat door een klein AI-model te leren om als een mens te denken met behulp van synthetische redenering, en het vervolgens de mogelijkheid te geven om gespecialiseerde "brillen" te wisselen voor verschillende banen, je een systeem kunt bouwen dat slimmer, sneller en goedkoper is dan de oude methode. Het is een win voor het bedrijf, en een win voor iedereen die op zoek is naar zijn volgende grote kans.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.