Unified Semantic Modeling Framework for Large-Scale Job Understanding at LinkedIn
यह शोध पत्र लिंक्डइन के बड़े पैमाने के जॉब अंडरस्टैंडिंग सिस्टम के लिए एक एकीकृत सिमेंटिक मॉडलिंग फ्रेमवर्क प्रस्तुत करता है, जो मजबूत ज़ीरो-शॉट जनरलाइजेशन, बेहतर प्रदर्शन और कम परिचालन जटिलता प्राप्त करने के लिए सिंथेटिक रीजनिंग टास्क और मल्टी-अडैप्टर आर्किटेक्चर के साथ एक फाइन-ट्यून्ड स्मॉल लैंग्वेज मॉडल का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय में जा रहे हैं जहाँ हर किताब एक जॉब पोस्टिंग है। कुछ किताबें एकदम सटीक, साफ वाक्यों में लिखी गई हैं; कुछ नैपकिन पर उकेरी गई हैं, जिनमें गलतियाँ, अनौपचारिक भाषा (jargon) और भ्रमित करने वाले विवरण भरे हुए हैं। अब, कल्पना कीजिए कि आपको इन लाखों किताबों को सटीक श्रेणियों में छाँटना है ताकि कोई भी जो "नर्स" या "सॉफ्टवेयर इंजीनियर" की तलाश कर रहा है, उसे तुरंत वही मिल सके जिसकी उसे आवश्यकता है। यह नेचुरल लैंग्वेज अंडरस्टैंडिंग (Natural Language Understanding) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ मशीनें मानव पाठ को पढ़ने और समझने की कोशिश करती हैं। यहाँ बड़ी चुनौती यह है कि मानवीय भाषा अव्यवस्थित होती है, और एक ऐसा सिस्टम बनाना जो लाखों अलग-अलग नौकरियों के लिए इसे पूरी तरह से समझ सके, ऐसा है जैसे किसी रोबोट को दुनिया की हर बोली और हर भाषा बोलने के लिए सिखाना। आमतौर पर, इसे करने के लिए, कंपनियों को हर एक जॉब कैटेगरी के लिए एक अलग, महंगा रोबोट बनाना पड़ता है, जो धीमा, खर्चीला और प्रबंधित करने में कठिन होता है।
लिंक्डइन का यह शोध पत्र बताता है कि उन्होंने इस समस्या को हल करने के लिए एक स्मार्ट, अधिक लचीला "सुपर-रोबोट" कैसे बनाया। हजारों छोटे, विशिष्ट रोबोट बनाने के बजाय, उन्होंने एक स्मॉल लैंग्वेज मॉडल (SLM) बनाया—इसे एक बहुत ही बुद्धिमान, कुशल छात्र के रूप में सोचें जो लगभग कुछ भी सीख सकता है यदि उसे सही तरीके से सिखाया जाए। टीम ने पाया कि इस छात्र को एक सुपर-इंटेलिजेंट AI (GPT-4) द्वारा बनाए गए भारी मात्रा में अभ्यास प्रश्नों (practice problems) के माध्यम से प्रशिक्षित करके, वह अविश्वसनीय सटीकता के साथ जॉब डिस्क्रिप्शन को समझ सकता था, यहाँ तक कि उन नौकरियों के लिए भी जिन्हें उसने पहले कभी नहीं देखा था। इसके बाद, उन्होंने इस छात्र को "विशेषज्ञ चश्मे" (जिन्हें एडैप्टर/adapters कहा जाता है) का एक सेट दिया जिसे तुरंत बदला जा सकता था। जब छात्र को एक नर्स की नौकरी समझने की आवश्यकता होती, तो वे उसे "नर्स वाले चश्मे" पहना देते; वकील के लिए, वे "वकील वाले चश्मे" बदल देते। इसने उन्हें केवल एक ही मस्तिष्क के साथ नौकरियों की एक विशाल विविधता को संभालने में सक्षम बनाया, जिससे सिस्टम तेज़, सस्ता और बहुत अधिक सटीक हो गया। जब उन्होंने वास्तविक दुनिया में इस नए सिस्टम का परीक्षण किया, तो यह उनके पुराने तरीकों से बेहतर काम कर रहा था, जिससे लोगों को सही नौकरियां खोजने में अधिक आसानी हुई।
नौकरियों का बिखरा हुआ पुस्तकालय
लिंक्डइन एक विशाल मार्केटप्लेस है जहाँ लोग नौकरियां खोजते हैं और कंपनियां प्रतिभा खोजती हैं। लेकिन उनके पुस्तकालय की "किताबें"—यानी जॉब पोस्टिंग्स—अक्सर अव्यवस्थित होती हैं। एक अकेला जॉब डिस्क्रिप्शन लंबा, भटका हुआ पैराग्राफ हो सकता है जिसमें गलतियाँ, अजीब फॉर्मेटिंग और छिपे हुए विवरण हों। इसे उपयोगी बनाने के लिए, लिंक्डइन को उस बिखरे हुए टेक्स्ट को साफ, व्यवस्थित तथ्यों में बदलने की आवश्यकता होती है, जैसे कि "यह नौकरी एक सीनियर नर्स के लिए है," "यह एक रिमोट पोजीशन है," या "इसका वेतन $80,000 है।" इस प्रक्रिया को जॉब अंडरस्टैंडिंग (Job Understanding) कहा जाता है।
लंबे समय तक, लिंक्डइन ने प्रत्येक प्रकार के जॉब एट्रिब्यूट (job attribute) के लिए एक अलग मशीन लर्निंग मॉडल बनाकर इसे हल करने की कोशिश की। यदि वे "सीनियरिटी" जानना चाहते थे, तो उन्होंने एक मॉडल बनाया। यदि वे "वर्कप्लेस टाइप" जानना चाहते थे, तो उन्होंने दूसरा बनाया। यह पुस्तकालय के हर शेल्फ के लिए एक अलग लाइब्रेरियन रखने जैसा था। यह महंगा था, अपडेट करने में धीमा था, और अक्सर टेक्स्ट के सूक्ष्म अर्थों को समझने में बहुत अच्छा नहीं था।
"सुपर-स्टूडेंट" और "जादुई पाठ्यपुस्तक"
लेखकों ने कुछ अलग करने का निर्णय लिया। कई लाइब्रेरियन नियुक्त करने के बजाय, उन्होंने एक अविश्वसनीय रूप से स्मार्ट स्मॉल लैंग्वेज मॉडल (SLM) को प्रशिक्षित किया। इस SLM को एक बहुत तेज़ छात्र के रूप में समझें जो पढ़ने में बहुत अच्छा है लेकिन चमकने के लिए उसे सही अध्ययन सामग्री की आवश्यकता है।
टीम ने महसूस किया कि उनके पास इस छात्र को सब कुछ सिखाने के लिए पर्याप्त वास्तविक दुनिया के उदाहरण (एनोटेशन) नहीं थे। इसलिए, उन्होंने एक चतुर तरीका अपनाया: उन्होंने एक बहुत बड़े, अधिक शक्तिशाली AI (GPT-4) से उनके लिए एक सिंथेटिक टेक्स्टबुक (synthetic textbook) लिखने को कहा। यह केवल तथ्यों की सूची नहीं थी; यह अभ्यास प्रश्नों का एक सेट था जहाँ GPT-4 एक बिखरे हुए जॉब डिस्क्रिप्शन को लेता, उत्तर निकालता और—सबसे महत्वपूर्ण बात—अपने तर्क (reasoning) को लिखता। यह समझाता कि कोई विशेष नौकरी "सीनियर" भूमिका क्यों थी या क्यों "रिमोट" थी।
इन तर्क-युक्त (reasoning-rich) उदाहरणों पर अपने छात्र (SLM) को प्रशिक्षित करके, मॉडल ने न केवल उत्तरों को सीखा, बल्कि यह भी सीखा कि कैसे सोचना है। इसने मॉडल को जीरो-शॉट लर्निंग (zero-shot learning) नामक एक सुपरपावर दी। इसका मतलब है कि मॉडल एक बिल्कुल नए प्रकार की नौकरी को देख सकता था जिसे उसने पहले कभी नहीं देखा था और फिर भी अपने प्रशिक्षण से सीखे गए तर्क का उपयोग करके सही उत्तर का अनुमान लगा सकता था।
"बदलने योग्य चश्मे" की रणनीति
एक सुपर-स्मार्ट छात्र होने के बावजूद, एक समस्या थी: कुछ नौकरियां बहुत विशिष्ट होती हैं। एक "नर्स" की नौकरी में "शिफ्ट" या "लाइसेंस" जैसे विशेष विवरण होते हैं, जबकि एक "शिक्षक" की नौकरी के विवरण अलग होते हैं। यदि मॉडल एक साथ इन सभी को सीखने की कोशिश करता, तो वह भ्रमित हो सकता था।
इसे ठीक करने के लिए, टीम ने एक मल्टी-एडैप्टर (Multi-Adapter) सिस्टम पेश किया। कल्पना कीजिए कि छात्र ने स्पष्ट, न्यूट्रल चश्मे पहने हुए हैं (बेस मॉडल)। जब उन्हें नर्स की नौकरी को समझने की आवश्यकता होती है, तो उन्हें सब कुछ फिर से सीखने की आवश्यकता नहीं होती; उन्हें बस एक जोड़ी "नर्स चश्मे" (एक एडैप्टर) लगाने होते हैं। ये एडैप्टर छोटे, हल्के जोड़ (add-ons) हैं जो मॉडल को उस विशिष्ट समूह की नौकरियों को संभालने के लिए पर्याप्त जानकारी देते हैं बिना उसके पहले से ज्ञात ज्ञान को बाधित किए।
चीजों को व्यवस्थित रखने के लिए, उन्होंने हर एक नौकरी के लिए अलग जोड़ी चश्मे नहीं बनाए। इसके बजाय, उन्होंने एक स्मार्ट ग्रुपिंग रणनीति का उपयोग किया। उन्होंने देखा कि विभिन्न नौकरियां एक-दूसरे से कितनी समान हैं और उन्हें एक साथ समूहबद्ध किया। उदाहरण के लिए, नर्सों और वेयरहाउस वर्करों के लिए सभी "शिफ्ट" से संबंधित एट्रिब्यूट्स इतने समान हो सकते हैं कि वे एक ही जोड़ी चश्मे साझा कर सकें। इसका मतलब था कि वे केवल कुछ दर्जन एडैप्टर्स के साथ सैकड़ों अलग-अलग जॉब एट्रिब्यूट्स को प्रबंधित कर सकते थे, जिससे उनका सिस्टम चलाना बहुत आसान हो गया।
परिणाम: तेज़, स्मार्ट और सस्ता
टीम ने इस नए सिस्टम का परीक्षण दो तरह से किया। पहले, उन्होंने कंप्यूटर पर (ऑफलाइन) इसे चलाया ताकि देख सकें कि यह उत्तरों का अनुमान कितनी अच्छी तरह लगाता है। उन्होंने इसकी तुलना अपने पुराने, अलग मॉडलों से की और पाया कि उनका नया "सुपर-स्टूडेंट" और बदलने योग्य चश्मे वाला सिस्टम बहुत अधिक सटीक था। उदाहरण के लिए, जब नौकरी के "व्यवसाय" (Occupation) का अनुमान लगाया जा रहा था, तो पुराना मॉडल 71% बार सही था, लेकिन नया मॉडल 83% बार सही था। "वर्कप्लेस टाइप" के लिए, नया मॉडल 98% बार सही था, जबकि पुराना 95% था।
फिर, उन्होंने इसे वास्तविक दुनिया (ऑनलाइन) में परीक्षण किया, जहाँ उन्होंने इसे वास्तविक लिंक्डइन उपयोगकर्ताओं को दिखाया। उन्होंने एक परीक्षण चलाया जहाँ आधे उपयोगकर्ताओं ने पुराना सिस्टम देखा और आधे ने नया। परिणाम स्पष्ट थे: नए सिस्टम ने उपयोगकर्ताओं को बेहतर नौकरियां खोजने में मदद की। "जॉब सेशन्स" (कितनी बार लोगों ने नौकरियां देखीं) जैसे मेट्रिक्स बढ़ गए, और लोग खराब सिफारिशों पर "थम्स डाउन" क्लिक करने की कम संभावना रखते थे।
यह सिस्टम अविश्वसनीय रूप से कुशल भी है। यह 50 शक्तिशाली कंप्यूटर चिप्स (GPUs) के बेड़े पर चलता है और औसतन लगभग 0.8 सेकंड में जॉब डिस्क्रिप्शन को प्रोसेस कर सकता है। क्योंकि यह एक बड़े, महंगे मॉडल के बजाय एक छोटे, कुशल मॉडल का उपयोग करता है, इसलिए इसे चलाने की लागत बहुत कम है।
संक्षेप में, यह शोध पत्र दिखाता है कि एक छोटे AI मॉडल को सिंथेटिक रीजनिंग (synthetic reasoning) का उपयोग करके इंसान की तरह सोचना सिखाकर, और फिर उसे अलग-अलग नौकरियों के लिए विशिष्ट "चश्मे" बदलने की क्षमता देकर, आप पुराने तरीके की तुलना में अधिक स्मार्ट, तेज़ और सस्ता सिस्टम बना सकते हैं। यह कंपनी के लिए एक जीत है, और उन सभी के लिए एक जीत है जो अपने अगले बड़े अवसर की तलाश में हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।