Do LLMs Know What Luxembourgish Borrows? Probing Lexical Neology in Low-Resource Multilingual Models
यह शोध पत्र लक्ज़मबर्ग के लेक्सिकल नियोलॉजी बेंचमार्क, LexNeo-Bench को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि प्रॉम्प्ट्स में संरचित भाषाई ज्ञान ग्राफ़ (knowledge graphs) को इंजेक्ट करने से लो-रिसोर्स कॉन्टैक्ट भाषाओं में लेक्सिकल बोरोिंग्स (lexical borrowings) को वर्गीकृत करने की बड़े भाषा मॉडलों (large language models) की क्षमता में महत्वपूर्ण सुधार होता है, हालांकि नियोलॉजी का पता लगाना चुनौतीपूर्ण बना हुआ है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान रोबोट है जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। आप उससे लक्समबर्गिश (Luxembourgish) में एक वाक्य पढ़ने के लिए कहते हैं, जो एक बहुत छोटी भाषा है और एक ऐसे नन्हे देश में बोली जाती है जो जर्मनी, फ्रांस और बेल्जियम के बीच स्थित है। इस देश में, लोग अक्सर अपनी रोज़मर्रा की बातचीत में फ्रेंच, जर्मन और अंग्रेजी के शब्दों को मिला देते हैं।
शोधकर्ताओं ने जो सवाल पूछा था वह यह था: क्या यह रोबोट वास्तव में यह समझ पाता है कि कौन से शब्द "मूल" लक्समबर्गिश के हैं और कौन से पड़ोसी भाषाओं से उधार लिए गए हैं?
यहाँ उनके द्वारा पाए गए निष्कर्षों का एक सरल विवरण दिया गया, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है।
समस्या: रोबोट केवल अनुमान लगा रहा है
शोधकर्ताओं ने एक परीक्षण बनाया जिसे LexNeo-Bench कहा गया। इसे एक बहुविकल्पीय प्रश्नोत्तरी (multiple-choice quiz) की तरह समझें जहाँ रोबोट को एक वाक्य में एक विशिष्ट शब्द को देखना होता है और यह तय करना होता है कि:
- क्या यह एक मूल लक्समबर्गिश शब्द है?
- क्या यह फ्रेंच से आया है?
- क्या यह जर्मन से आया है?
- क्या यह अंग्रेजी से आया है?
परिणाम: जब उन्होंने बिना किसी मदद के (जैसे कोई छात्र बिना नोट्स के परीक्षा दे रहा हो) रोबोट से यह करने को कहा, तो इसका प्रदर्शन तुक्के से सही होने की संभावना (random guessing) से भी बहुत कम था। भले ही रोबोट ने करोड़ों किताबें पढ़ी थीं, लेकिन उसे यह "पता" नहीं था कि लक्समबर्गिश शब्द कैसे उधार लिए जाते हैं। यह वैसा ही था जैसे किसी व्यक्ति ने कुत्तों की लाखों तस्वीरें देखी हों, लेकिन बिना किसी 'डॉग बुक' को पढ़े उसे कुत्तों की एक विशिष्ट नस्ल पहचानने के लिए कहना—वह बस अनुमान लगा रहा था।
समाधान: रोबोट को एक "चीट शीट" देना
शोधकर्ताओं को एहसास हुआ कि रोबोट को थोड़ी मदद की ज़रूरत है। उन्होंने एक भाषाई ज्ञान ग्राफ (Linguistic Knowledge Graph) बनाया।
इसे एक अत्यंत विस्तृत चीट शीट या एक नक्शे की तरह समझें। रोबoid को केवल वाक्य देने के बजाय, उन्होंने उसे उस सटीक शब्द के लिए एक विशेष नोट कार्ड दिया जिसमें लिखा था:
- "यह शब्द ऐसा दिखता है जैसे यह फ्रेंच से आया हो।"
- "यह लक्समबर्गिश में उपयोग किए जाने वाले इस विशिष्ट वर्तनी पैटर्न (spelling pattern) का पालन करता है।"
- "यहाँ तीन अन्य शब्द हैं जो इसके समान दिखते हैं और निश्चित रूप से फ्रेंच हैं।"
परिणाम: जब उन्होंने रोबोट को यह चीट शीट दी, तो उसका प्रदर्शन आसमान छू गया। वह अनुमान लगाने (लगभग 25–35% सही) से बढ़कर एक विशेषज्ञ (71–71% सही) बन गया।
चौंकाने वाला मोड़: छोटे रोबोट बेहतर थे
आमतौर पर, AI की दुनिया में, बड़ा ही बेहतर होता है। एक विशाल रोबोट जिसके पास एक बहुत बड़ा दिमाग हो (जैसे 70-बिलियन पैरामीटर वाला मॉडल), उससे बेहतर प्रदर्शन करने की उम्मीद की जाती है।
लेकिन यहाँ, इसके विपरीत हुआ।
- छोटा रोबोट (12 बिलियन पैरामीटर वाला) चीट शीट मिलने पर स्टार स्टूडेंट बन गया। उसने निर्देशों का पूरी तरह से पालन किया।
- विशाल रोबोट (70 बिलियन पैरामीटर वाला) चीट शीट दिए जाने पर छोटे वाले से भी बदतर प्रदर्शन कर गया।
क्यों? शोधकर्ताओं का मानना है कि विशाल रोबोट बहुत "ज़िद्दी" था। उसने इंटरनेट पर इतना सारा फ्रेंच और जर्मन पढ़ा था कि उसके भीतर एक गहरा विश्वास बैठ गया था कि "यदि यह शब्द फ्रेंच जैसा दिखता है, तो यह ज़रूर फ्रेंच ही होगा।" जब चीट शीट ने उसे बताया, "वास्तव में, यह एक उधार लिया गया शब्द है जिसे लक्समबर्गिश में ढाला गया है," तो विशाल रोबोट ने उस नोट को नज़रअंदाज़ कर दिया और अपने अंतर्ज्ञान (gut feeling) पर अड़ा रहा। छोटे रोबोट के पास ऐसे पहले से मौजूद पूर्वाग्रह (biases) नहीं थे, इसलिए उसने चीट शीट की बात सुनी और सही उत्तर दिया।
"नए शब्द" वाली समस्या
शोधकर्ताओं ने रोबोट को "नए शब्द" (neologisms) पहचानने के लिए फंसाने की कोशिश भी की। उन्होंने पूछा: "क्या यह एक बिल्कुल नया शब्द है, या यह काफी समय से चला आ रहा है?"
परिणाम: चीट शीट के बावजूद, रोबोट इसमें बुरी तरह विफल रहा।
- उदाहरण: चीट शीट ने रोबोट को यह तो बताया कि शब्द कहाँ से आया (उसका मूल), लेकिन यह नहीं बताया कि वह शब्द कब आया। यह किसी को शहर का नक्शा देने जैसा है लेकिन यह न बताना कि कौन सी इमारतें कल बनी हैं और कौन सी 100 साल पहले बनी थीं। रोबोट एक "नए" उधार लिए गए शब्द और एक "पुराने" उधार लिए गए शब्द के बीच अंतर नहीं कर सका।
मुख्य निष्कर्ष
- AI कोई जादू नहीं है: सिर्फ इसलिए कि एक रोबोट ने बहुत कुछ पढ़ लिया है, इसका मतलब यह नहीं है कि वह छोटी भाषाओं के विशिष्ट और जटिल नियमों को समझता है।
- संदर्भ (Context) ही सब कुछ है: यदि आप AI को भाषा के नियमों के बारे में एक विशिष्ट, संरचित मार्गदर्शिका (जैसे चीट शीट) देते हैं, तो वह बहुत तेज़ी से सीख सकता है।
- बड़ा होना हमेशा बेहतर नहीं होता: कभी-कभी, एक छोटा और अधिक लचीला AI, एक विशाल और ज़िद्दी AI की तुलना में नई जानकारी को बेहतर ढंग से सुनता है जो अपनी पूर्व-स्थापित धारणाओं पर बहुत अधिक निर्भर करता है।
- समय समझना कठिन है: AI यह पहचानने में अच्छा है कि कोई शब्द कहाँ से आया है, लेकिन यह समझने में अभी भी बहुत खराब है कि कोई शब्द भाषा का हिस्सा कब बना।
संक्षेप में, लक्समबर्गिश जैसी छोटी भाषाओं के लिए, आप केवल AI की याददाश्त पर भरोसा नहीं कर सकते; आपको उधार लिए गए शब्दों के माध्यम से नेविगेट करने के लिए उसे एक विशिष्ट मानचित्र देना ही होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।