Do Language Models Know Their Slang? Queer Slang Understanding in User-Generated Content
यह शोधपत्र स्लैंग-क्यू (Slang-Q) को प्रस्तुत करता है, जो 118 क्वीर स्लैंग शब्दों का एक हस्तनिर्मित क्यूरेटेड डेटासेट और वर्गीकरण है, ताकि इस कम प्रतिनिधित्व वाले समुदाय-विशिष्ट भाषा को सटीक रूप से समझने और परिभाषित करने की भाषा मॉडलों की क्षमता का मूल्यांकन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, हलचल भरे शहर के रूप में करें जहाँ हर मोहल्ले की अपनी एक गुप्त सांकेतिक भाषा, अंदरूनी चुटकुले और विशेष शब्दावली होती है। विज्ञान की दुनिया में, नेचुरल लैंग्वेज प्रोसेसिंग (NLP) नामक एक क्षेत्र है जो डिजिटल मस्तिष्क बनाता है—जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है—ताकि वे इस शहर को पढ़ और समझ सकें। इन मॉडल्स को उन अत्यंत बुद्धिमान पर्यटकों के रूप में सोचें जिन्होंने कभी लिखी गई लगभग हर किताब और वेबसाइट को पढ़ लिया है, लेकिन उन्हें कभी-कभी विशिष्ट मोहल्लों की स्थानीय बोलियों को समझने में संघर्ष करना पड़ता है। एक ऐसा ही मोहल्ला LGBTQIA+ समुदाय है, जिसकी भाषा समृद्ध, रचनात्मक और तेजी से बदलने वाली है, जो शब्दों से भरी है जिनका अर्थ इस बात पर बहुत अलग हो सकता है कि उन्हें कौन कह रहा है और वे कहाँ कहे जा रहे हैं। यदि ये डिजिटल पर्यटक बोलचाल की भाषा को गलत समझ लेते हैं, तो वे एक दोस्ताना अभिवादन को अपमान समझ सकते हैं, या किसी चुटकुले के सार को पूरी तरह से मिस कर सकते हैं। यह महत्वपूर्ण है क्योंकि ये मॉडल्स लोगों को जानकारी खोजने, दोस्तों के साथ चैट करने और वेब का उपयोग करने में मदद करने के लिए तेजी से उपयोग किए जा रहे हैं; यदि वे हाशिए पर रहने वाले समुदायों की भाषा को नहीं समझते हैं, तो वे सभी की समान रूप से सेवा नहीं कर सकते।
यहाँ शोधकर्ताओं की एक टीम आई जिन्होंने यह परीक्षण करने का निर्णय लिया कि ये डिजिटल पर्यटक "क्वीर स्लैंग" (Queer Slang) मोहल्ले को कितनी अच्छी तरह जानते हैं। उन्होंने एक विशेष मूल्यांकन आधार बनाया जिसे Slang-Q कहा गया, जो कि 118 विशिष्ट क्वीर शब्दों और 1,024 वास्तविक जीवन के वाक्यों का एक विशाल, सावधानीपूर्वक व्यवस्थित शब्दकोश है जहाँ वास्तव में इन शब्दों का उपयोग किया गया था। महत्वपूर्ण बात यह है कि शब्दों की यह सूची वाक्यों से स्वतंत्र रूप से बनाई गई थी, जिससे यह सुनिश्चित हुआ कि मॉडल्स ने केवल उत्तरों को रटा न हो। उन्होंने मॉडल्स से केवल अनुमान लगाने के लिए नहीं कहा; बल्कि उन्होंने मॉडल्स को यह देखने के लिए चुनौतियों की एक श्रृंखला दी कि क्या वे इन शब्दों को सही ढंग से परिभाषित कर सकते हैं। शोधकर्ताओं ने मॉडल्स से पूछने के चार अलग-अलग तरीके आजमाए: कभी-कभी वे केवल शब्द देते थे (जैसे पूछना "tea क्या है?"), और कभी-कभी वे शब्द के साथ एक वाक्य देते थे जो दिखाता था कि उसका उपयोग कैसे किया गया (जैसे "मैं पार्टी के बारे में 'tea' स्पिल कर रही हूँ")। उन्होंने मॉडल्स के लिए दो अलग-अलग "मास्क" भी आजमाए: एक जहाँ मॉडल एक सामान्य भाषा विशेषज्ञ की तरह व्यवहार करता था, और दूसरा जहाँ मॉडल को विशेष रूप से क्वीर इंटरनेट स्लैंग के विशेषज्ञ के रूप में कार्य करने के लिए कहा गया था।
परिणाम कुछ ऐसे थे जैसे कोई छात्र बिना सही पाठ्यपुस्तक पढ़े परीक्षा दे रहा हो। जब मॉडल्स को बिना किसी संदर्भ या विशेष निर्देशों के स्लैंग शब्दों को परिभाषित करने के लिए कहा गया, तो वे अक्सर लड़खड़ा गए। वे शब्द के सबसे सामान्य, रोजमर्रा के अर्थ को चुनने की ओर झुके हुए थे बजाय इसके कि वे विशिष्ट क्वीर अर्थ को समझें। उदाहरण के लिए, यदि आप "bear" के बारे में पूछते, तो मॉडल एक भालू (जानवर) के बारे में सोच सकता था बजाय इसके कि वह गे समुदाय में एक विशिष्ट प्रकार के व्यक्ति के बारे में सोचे। हालाँकि, कहानी बदल गई जब शोधकर्ताओं ने मॉडल्स को थोड़ी मदद दी। जब उन्होंने मॉडल्स को एक वाक्य प्रदान किया जो दिखाता था कि शब्द का उपयोग कैसे किया गया था, या जब उन्होंने मॉडल को कहा, "हे, तुम एक क्वीर स्लैंग विशेषज्ञ हो," तो मॉडल्स ने सही अर्थ का अनुमान लगाने में बहुत बेहतर प्रदर्शन किया। यह ऐसा ही था जैसे मॉडल्स एक ऐसे व्यक्ति की तरह हों जो शब्द की डिक्शनरी परिभाषा तो जानता है लेकिन उसे यह याद दिलाने के लिए थोड़े संदर्भ संकेत की आवश्यकता है कि उसके दोस्त वास्तव में पार्टी में शब्दों का उपयोग कैसे करते हैं।
शोधकर्ताओं ने पाया कि हालांकि मॉडल्स स्मार्ट हो रहे हैं, फिर भी वे पूर्ण नहीं हैं। सर्वोत्तम संकेत मिलने के बावजूद, मॉडल्स उस स्तर तक नहीं पहुँच पाए जो समुदाय में पले-बढ़े मानव विशेषज्ञ का होता है। वे सूक्ष्म सांस्कृतिक बारीकियों को अक्सर चूक जाते थे, जैसे कि क्या कोई शब्द मूल रूप से एक अपमान था जिसे समुदाय ने सकारात्मक अर्थ देने के लिए पुनः अपनाया (reclaimed), या क्या इसका किसी विशिष्ट सांस्कृतिक समूहों के साथ कोई विशेष संबंध था। दिलचस्प बात यह है कि अध्ययन ने यह भी जांचा कि क्या मॉडल्स ने अपने प्रशिक्षण डेटा से उत्तरों को केवल रट लिया था। उन्होंने पाया कि कुछ मॉडल्स, विशेष रूप से व्यावसायिक (commercial) मॉडल्स, ने पहले से ही इन विशिष्ट वाक्यों को "देख" लिया था, जबकि ओपन-सोर्स मॉडल्स ने नहीं देखा था। लेकिन जो मॉडल्स ने उत्तरों को रटा नहीं था, वे भी सही संदर्भ मिलने पर उन्हें समझ सकते थे।
अंत में, यह शोध पत्र सुझाव देता है कि जबकि हमारे डिजिटल मस्तिष्क शक्तिशाली हैं, उन्हें वास्तव में क्वीर समुदाय की जीवंत, परिवर्तनशील भाषा को समझने के लिए थोड़े मार्गदर्शन की आवश्यकता है। वे केवल एक सामान्य शब्दकोश पर निर्भर नहीं रह सकते; उन्हें बताया जाना चाहिए, "यह एक विशेष मोहल्ला है, और यहाँ के स्थानीय लोग इस तरह बात करते हैं।" यह अध्ययन यह दावा नहीं करता कि इसने समस्या को हमेशा के लिए हल कर दिया है, लेकिन यह दिखाता है कि सही संदर्भ और रूपरेखा देना बहुत बड़ा अंतर पैदा करता है। यह एक अनुस्मारक है कि वास्तव में सहायक AI बनाने के लिए, हमें इसे न केवल शब्दों को, बल्कि संस्कृति और उनके पीछे की कहानियों को भी सिखाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।