VietJobs: A Vietnamese Job Advertisement Dataset
यह शोध पत्र VietJobs को प्रस्तुत करता है, जो 48,092 वियतनामी नौकरी विज्ञापनों का पहला बड़े पैमाने पर सार्वजनिक कॉर्पस है, और वियतनामी एनएलपी (NLP) और श्रम बाजार विश्लेषण को आगे बढ़ाने के लिए नौकरी वर्गीकरण और वेतन अनुमान जैसे कार्यों पर जनरेटिव लार्ज लैंग्वेज मॉडल्स का बेंचमार्क निर्धारित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि वियतनाम का जॉब मार्केट एक विशाल, हलचल भरा बाज़ार है। वर्षों तक, यदि आप वहां लोगों के नौकरी खरीदने और बेचने के तरीके का अध्ययन करना चाहते थे, तो आपको कुछ स्टालों से बातचीत के अंश याद रखने की कोशिश करते हुए एक नोटबुक लेकर इधर-उधर घूमना पड़ता था। यह अव्यवस्थित, अधूरा और तुलना करने में कठिन था।
यह पेपर VietJobs को पेश करता है, जो शोधकर्ताओं को एक विशाल, पूरी तरह से व्यवस्थित डिजिटल लाइब्रेरी सौंपने जैसा है जिसमें वियतनाम के हर कोने के 48,000 जॉब विज्ञापन शामिल हैं। यह पहली बार है जब किसी ने इतनी सारी जानकारी एक जगह इकट्ठा की है, जिसमें उत्तर में फैक्ट्री मैकेनिक से लेकर दक्षिण में सॉफ्टवेयर इंजीनियर तक सब कुछ शामिल है।
यहाँ उनका विवरण दिया गया है, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:
1. बड़ा संग्रह (डेटासेट)
शोधकर्ताओं को डिजिटल लाइब्रेरियन के रूप में सोचें। उन्होंने केवल कुछ यादृच्छिक (random) किताबें नहीं चुनीं; उन्होंने एक सप्ताह तक पूरे "जॉब बाज़ार" (विशेष रूप से TopCV वेबसाइट) को स्कैन किया।
- पैमाना (Scale): उन्होंने 15 मिलियन से अधिक शब्द एकत्र किए। यह देश के हर जॉब विज्ञापन को पढ़ने और कागजों को इतना ऊंचा ढेर लगाने जैसा है कि वे चंद्रमा तक पहुँच सकें।
- विविधता: उन्होंने इन विज्ञापनों को 16 अलग-अलग श्रेणियों में व्यवस्थित किया (जैसे किताबों को "फिक्शन," "साइंस," और "हिस्ट्री" में छाँटना)। उन्होंने पाया कि "बिजनेस एंड सेल्स" और "फैक्ट्री वर्क" सबसे बड़े खंड हैं, जबकि "एग्रीकल्चर" जैसे विशिष्ट क्षेत्र छोटे लेकिन फिर भी महत्वपूर्ण हैं।
- पैसे की बात: उन्होंने वेतन (salary) के टैग्स को भी देखा। उन्होंने पाया कि अधिकांश नौकरियां महीने में 10 से 15 मिलियन VND (लगभग एक बड़े शहर में एक अच्छे अपार्टमेंट के किराए की लागत) देती हैं, लेकिन कुछ उच्च-स्तरीय मैनेजर की नौकरियों के लिए यह बहुत अधिक होता है। दिलचस्प बात यह है कि लगभग 30% विज्ञापनों में कीमत सूचीबद्ध नहीं थी, बल्कि "नेगोशिएबल" (बातचीत योग्य) लिखा था—जैसे कोई दुकानदार जो केवल तभी कीमत बताता है जब आप प्यार से पूछें।
2. टेस्ट ड्राइव (AI प्रयोग)
अब जब उनके पास यह विशाल लाइब्रेरी थी, तो वे देखना चाहते थे कि क्या आर्टिफिशियल इंटेलिजेंस (AI) एक स्मार्ट करियर काउंसलर की तरह काम कर सकता है। उन्होंने AI को दो मुख्य कार्य दिए:
- सॉर्टिंग हैट (Sorting Hat): क्या AI एक जॉब डिस्क्रिप्शन को पढ़ सकता है और तुरंत अनुमान लगा सकता है कि वह किन 16 श्रेणियों में से संबंधित है? (जैसे, "क्या यह 'कुकिंग' की नौकरी है या 'IT' की?")
- क्रिस्टल बॉल (Crystal Ball): क्या AI जॉब विवरण (टाइटल, लोकेशन, अनुभव) को देखकर वेतन का अनुमान लगा सकता है?
उन्होंने विभिन्न प्रकार के AI "मस्तिष्क" का परीक्षण किया:
- ग्लोबल ट्रैवलर्स (Global Travelers): कई भाषाओं पर प्रशिक्षित बड़े मॉडल (जैसे Qwen और Llama)।
- लोकल गाइड्स (Local Guides): विशेष रूप से दक्षिण-पूर्व एशियाई भाषाओं के लिए प्रशिक्षित मॉडल।
- वियतनामी नेटिव्स (Vietnamese Natives): विशेष रूप से वियतनामी भाषा के लिए बनाए गए मॉडल।
3. परिणाम (कौन जीता?)
परिणाम अलग-अलग भूभागों (terrains) वाली एक दौड़ की तरह थे:
नौकरियां छाँटने के लिए (Classification):
ग्लोबल ट्रैवलर्स (विशेष रूप से Qwen2.5) चैंपियन रहे। वियतनामी जॉब मार्केट के विशिष्ट नियमों को सिखाए बिना भी, कई भाषाओं पर उनके विशाल प्रशिक्षण ने उन्हें स्थानीय मॉडलों की तुलना में संदर्भ को बेहतर ढंग से समझने में मदद की। यह एक बहुभाषी पर्यटक की तरह है जो भाषा में पारंगत न होने पर भी केवल चित्रों को देखकर किसी विदेशी देश के मेनू को समझ लेता है।वेतन का अनुमान लगाने के लिए (Estimation):
यह कठिन था। AI विज्ञापन को पढ़कर सटीक कीमत का अनुमान लगाने में संघर्ष कर रहा था। हालाँकि, लोकल गाइड मॉडल (Llama-SEA-LION) सबसे अच्छा प्रदर्शन करने वाला रहा। यह एक स्थानीय रियल एस्टेट एजेंट की तरह था जो विदेशी विशेषज्ञ की तुलना में पड़ोस की कीमतों को बेहतर जानता है।- सीक्रेट सॉस (Secret Sauce): AI तब बहुत बेहतर हो गया जब उन्होंने इसे और अधिक डेटा "खिलाया"। जब उन्होंने AI को नए VietJobs लाइब्रेरी और एक पुराने, छोटे डेटासेट दोनों पर प्रशिक्षित किया, तो वह एक सच्चा विशेषज्ञ बन गया। यह एक के बजाय दो अलग-अलग पाठ्यपुस्तकों से पढ़ने जैसा है; आप जितने अधिक उदाहरण देखते हैं, आप पैटर्न का अनुमान लगाने में उतने ही बेहतर होते जाते हैं।
4. यह क्यों मायने रखता है?
इस पेपर से पहले, कंप्यूटर के साथ वियतनामी जॉब मार्केट का अध्ययन करना आधा हिस्सा गायब पहेली को सुलझाने जैसा था।
- शोधकर्ताओं के लिए: अब उनके पास यह अध्ययन करने के लिए एक पूर्ण पहेली है कि भाषा, लिंग और स्थान भर्ती को कैसे प्रभावित करते हैं।
- समाज के लिए: यह हमें समझने में मदद करता है कि क्या जॉब विज्ञापन निष्पक्ष हैं या क्या उनमें कुछ छिपे हुए पूर्वाग्रह (जैसे विशिष्ट आयु या दिखावट की मांग करना) हैं।
- भविष्य के लिए: यह डेटासेट बेहतर AI उपकरण बनाने की नींव है जो नौकरी खोजने वालों को सही भूमिकाएं खोजने में मदद कर सकते हैं और कंपनियों को यह समझने में मदद कर सकते हैं कि वे क्या ऑफर कर रहे हैं।
कमी (सीमाएं)
लेखक अपनी कमियों के बारे में ईमानदार हैं। डेटा केवल एक वेबसाइट (TopCV) से आया है, इसलिए इसमें "अंडरग्राउंड" जॉब मार्केट या अनौपचारिक काम छूट सकते हैं। इसके अलावा, कुछ वेतन संख्याएं राउंडेड थीं या गायब थीं, जैसे कि एक मेनू जिसमें कीमतें लिखने के बजाय "कीमत पूछें" लिखा हो।
संक्षेप में: इस पेपर ने वियतनाम की ऑनलाइन जॉब दुनिया का पहला विशाल, व्यवस्थित मानचित्र बनाया और परीक्षण किया कि AI इसे कितनी अच्छी तरह नेविगेट कर सकता है। परिणाम? AI नौकरियों को छाँटने में काफी अच्छा हो रहा है, और थोड़े और प्रशिक्षण के साथ, यह वेतन का अनुमान लगाना सीख रहा है, जो भविष्य में स्मार्ट और निष्पक्ष भर्ती उपकरणों का मार्ग प्रशस्त करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।