Vocabulary shapes cross-lingual variation of word-order learnability in language models
यह अध्ययन प्रदर्शित करता है कि मुक्त बनाम निश्चित शब्द क्रम जैसे व्यापक टाइपोलॉजिकल भेदों के बजाय, शब्द और उपशब्द शब्दावली की संरचना ट्रांसफॉर्मर भाषा मॉडल में शब्द-क्रम विविधताओं की सीखने की क्षमता को निर्धारित करने वाला प्राथमिक कारक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को अलग-अलग मानवीय भाषाएँ बोलना सिखाने की कोशिश कर रहे हैं। आप जानना चाहते हैं: क्या कुछ भाषाओं को सीखना एक रोबोट के लिए दूसरों की तुलना में अधिक कठिन है? और विशेष रूप से, क्यों कुछ भाषाएँ (जैसे चेक) अपने शब्दों को ताश के पत्तों की तरह इधर-उधर बिखेर सकती हैं, जबकि अन्य भाषाएँ (जैसे अंग्रेजी) आपसे यह मांग करती हैं कि आप शब्दों को एक सख्त, अपरिवर्तनीय क्रम में रखें?
यह शोध पत्र एक वैज्ञानिक प्रयोग की तरह है जहाँ शोधकर्ताओं ने इन रोबोटों का परीक्षण करने के लिए एक "भाषा जिम" बनाया। यहाँ उन्होंने जो पाया, उसकी सरल व्याख्या दी गई है।
1. प्रयोग: "स्कैंबल मशीन" (Scramble Machine)
शोधकर्ताओं ने केवल मनमाने ढंग से भाषाएँ नहीं चुनीं। उन्होंने 10 वास्तविक यूरोपीय भाषाएँ लीं (अंग्रेजी और फ्रेंच से लेकर फिनिश और चेक तक) और प्रत्येक के लिए 100 अलग-अलग "संस्करण" बनाए।
इसे ऐसे समझें जैसे किसी वाक्य को एक स्कैंबल मशीन (बिखेर देने वाली मशीन) से गुजारना।
- संस्करण A: शब्द बिल्कुल सही, सामान्य क्रम में हैं।
- संस्करण B: शब्द थोड़े बहुत अस्त-व्यस्त हैं (जैसे एक ऐसा वाक्य जहाँ पहले दो शब्दों को आपस में बदल दिया गया हो)।
- संस्करण C: शब्द पूरी तरह से मिले-जुले और बेतरतीब हैं (यादृच्छिक अराजकता)।
- संस्करण D: वाक्य को उल्टा पढ़ा जा रहा है।
इसके बाद उन्होंने प्रत्येक इन बिखरे हुए संस्करणों पर एक छोटे AI रोबोट (एक भाषा मॉडल) को प्रशिक्षित किया ताकि यह देखा जा सके कि रोबोट कितना भ्रमित हुआ। AI की शब्दावली में, "भ्रम" को सरप्राइज़ल (surprisal) कहा जाता है। यदि रोबोट हैरान है, तो इसका मतलब है कि वाक्य सीखना कठिन है। यदि वह हैरान नहीं है, तो वाक्य आसान है।
2. बड़ी हैरानी: अराजकता कठिन है, लेकिन उल्टा पढ़ना आसान है
पहली चीज़ जो उन्होंने पाई वह सहज थी: जितना अधिक आप शब्दों को बिखेरेंगे, रोबोट के लिए भाषा सीखना उतना ही कठिन होगा।
- यदि आप एक वाक्य लेते हैं और उसके शब्दों को बेतरतीब ढंग से मिला देते हैं, तो रोबोट का दिमाग भ्रम से भर जाता है। यह एक ऐसी किताब को पढ़ने जैसा है जहाँ अक्षर सब मिले-जुले हैं; अर्थ समझने के लिए बहुत अधिक प्रयास करना पड़ता है।
हालाँकि, यहाँ एक मोड़ आया।
शोधकर्ताओं को लगा था कि एक वाक्य को उल्टा पढ़ना (जैसे, "रोबोट द पेंट करता बिल्ली द") सबसे कठिन काम होगा। लेकिन ऐसा नहीं था! रोबोट ने उल्टे वाक्यों को थोड़े बहुत अस्त-व्यस्त वाक्यों की तरह ही अच्छी तरह से संभाला।
- उपमा: कल्पना कीजिए कि आप एक पहेली सुलझाने की कोशिश कर रहे हैं। यदि आप टुकड़ों को लेते हैं और उन्हें एक डिब्बे में फेंक देते हैं (बेतरतीब अराजकता), तो यह एक बुरा सपना है। लेकिन यदि आप केवल पूरे चित्र को उल्टा कर देते हैं (रिवर्सल), तो रोबोट अभी भी आकृतियों को पहचान सकता है। पता चला कि रोबोट को वाक्य की दिशा से उतना फर्क नहीं पड़ता जितना कि टुकड़ों की बेतरतीब स्थिति से पड़ता है।
3. पुराना सिद्धांत गलत था
लंबे समय से, भाषाविदों को लगता था कि भाषाएँ दो स्पष्ट बक्सों में आती हैं:
- निश्चित क्रम वाली भाषाएँ: जैसे अंग्रेजी (कर्ता-क्रिया-कर्म)।
- मुक्त क्रम वाली भाषाएँ: जैसे चेक (जहाँ आप शब्दों को स्वतंत्र रूप से बदल सकते हैं क्योंकि शब्दों के पास विशेष "टैग" या अंत होते हैं जो बताते हैं कि कौन क्या कर रहा है)।
शोधकर्ताओं को उम्मीद थी कि "मुक्त क्रम" वाली भाषाएँ रोबोट के लिए स्कैंबल करना स्वाभाविक रूप से कठिन होगा क्योंकि वे उन शब्द टैग्स पर निर्भर करती हैं। लेकिन वे गलत थे।
- जब उन्होंने रोबोटों का परीक्षण किया, तो "मुक्त क्रम" वाली भाषाएँ और "निश्चित क्रम" वाली भाषाएँ स्कैंबल होने पर लगभग एक जैसा प्रदर्शन करती थीं। पुराना "दो-बॉक्स" वाला सिद्धांत अंतर को स्पष्ट नहीं कर सका।
4. असली नायक: शब्दावली का "बैकपैक" (Backpack)
तो, यदि शब्द क्रम मुख्य कारण नहीं है, तो क्या है? उत्तर शब्दावली में छिपा है—विशेष रूप से, शब्द कैसे बने हैं और उनकी संख्या कितनी है।
कल्पना कीजिए कि हर भाषा के पास शब्दों का एक बैकपैक है।
- अंग्रेजी के पास कई सरल, छोटे शब्दों वाला बैकपैक है।
- फिनिश या हंगेरियन के पास कम, लेकिन बहुत लंबे और जटिल शब्दों वाला बैकपैक है (जैसे एक अकेला शब्द जिसका अर्थ हो "मैं यह नहीं कर पाने में सक्षम नहीं रहा होऊँगा")।
शोधकर्ताओं ने पाया कि इस बैकपैक की संरचना ही यह निर्धारित करती है कि स्कैंबल होने पर कोई भाषा सीखना कितना कठिन है।
- जिपफ प्रभाव (Zipf Effect): हर भाषा में, कुछ शब्दों का उपयोग हर समय किया जाता है (जैसे "the," "and," "is"), और अधिकांश शब्दों का उपयोग बहुत कम होता है।
- खोज: जिन भाषाओं में "दुर्लभ शब्द" वास्तव में बहुत दुर्लभ होते हैं (उपयोग में भारी गिरावट), उन्हें रोबोट के लिए स्कैंबल होने पर सीखना कठिन था।
- उपमा: एक जटिल शब्दों वाली भाषा को हजारों अनूठे और छोटे टुकड़ों वाले लेगो सेट (Lego set) की तरह समझें। यदि आप डिब्बे को हिलाते हैं (क्रम बिखेरते हैं), तो महल को फिर से बनाना बहुत कठिन है क्योंकि आपको उन विशिष्ट, दुर्लभ टुकड़ों को खोजना पड़ता है। सरल, दोहराव वाले शब्दों वाली भाषा बड़े, मानक ईंटों वाले लेगो सेट की तरह है। भले ही आप डिब्बे को हिला दें, फिर भी इसे फिर से बनाना आसान है क्योंकि टुकड़े सामान्य और एक-दूसरे के बदले जाने योग्य हैं।
5. निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि शब्द क्रम के "नियम" AI के लिए भाषा को कठिन नहीं बनाते; बल्कि इसके "सामग्री" (शब्दावली) बनाते हैं।
- सरल सीख: यदि आप जानना चाहते हैं कि कंप्यूटर के लिए किसी भाषा को सीखना कितना कठिन है, तो यह न पूछें कि "क्या मैं शब्दों को इधर-उधर घुमा सकता हूँ?" इसके बजाय पूछें "शब्द स्वयं कितने जटिल हैं, और वहां कितने दुर्लभ शब्द हैं?"
- "क्रम" से ज्यादा "बैकपैक" मायने रखता है: शब्दों का एक भारी, जटिल बैकपैक वाला रोबोट के लिए शब्दों को संभालना एक साधारण बैकपैक वाली भाषा की तुलना में अधिक कठिन है, चाहे उन शब्दों को नाचने की अनुमति हो या एक पंक्ति में खड़े होने की।
संक्षेप में: शब्दावली की संरचना ही असली 'सीक्रेट सॉस' है। यही वह छिपी हुई शक्ति है जो तय करती है कि कोई भाषा रोबोट के लिए सीखना एक आसान काम है या एक दिमागी कसरत वाला पहेली।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।