Left-Branching Transformers Excel at Right-Branching Languages: Data Shapes Word Order Preferences in Language Models
यह शोध पत्र प्रदर्शित करता है कि डिकोडर-ओनली लैंग्वेज मॉडल्स में शब्द क्रम के पूर्वाग्रह अंतर्निहित संरचनात्मक प्राथमिकताएँ नहीं हैं, बल्कि वे प्रशिक्षण डेटा द्वारा संचालित होते हैं, जहाँ मॉडल डेटा की प्रचुरता और गुणवत्ता के कारण प्राकृतिक भाषाओं में राइट-ब्रांचिंग (दाएं-शाखा वाले) SVO संरचनाओं को प्राथमिकता देते हैं, जिससे वैश्विक शब्द क्रम विविधता के कम होने का जोखिम उत्पन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा केवल शब्दों का संग्रह नहीं है; यह उन नियमों का एक समूह है कि उन शब्दों को अर्थपूर्ण बनाने के लिए उन्हें कैसे व्यवस्थित किया जाए। कुछ भाषाओं में, क्रिया कर्ता और कर्म के बाद आती है, जैसे "The cat ate the fish" (बिल्ली ने मछली खाई)। अन्य भाषाओं में, क्रिया पहले आती है, या कर्म कर्ता से पहले आता है। यह व्यवस्था, जिसे शब्द क्रम (word order) कहा जाता है, मानव भाषाओं के बीच अंतर करने वाले सबसे मौलिक तरीकों में से एक है। दशकों से, भाषाविदों ने इन पैटर्न का अध्ययन किया है ताकि यह समझा जा सके कि मानव मस्तिष्क भाषा को कैसे सीखता और संसाधित करता है, और वे उन सार्वभौमिक नियमों की तलाश करते हैं जो दुनिया भर के सभी लोगों पर लागू हो सकते हैं। आज, एक नए प्रकार का शिक्षार्थी इस क्षेत्र में आया है: कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस)। ये कंप्यूटर प्रोग्राम, जिन्हें लैंग्वेज मॉडल कहा जाता है, टेक्स्ट की विशाल मात्रा पर प्रशिक्षित होते हैं और मानव जैसे वाक्य बना सकते हैं। एक महत्वपूर्ण प्रश्न उभरा है: क्या ये मशीनें भाषा को उसी तरह सीखती हैं जैसे मनुष्य सीखते हैं, या वे शब्दों के क्रम के लिए अपनी स्वयं की छिपी हुई प्राथमिकताएं विकसित करती हैं?
शोधकर्ताओं की एक टीम ने इन मॉडलों द्वारा विभिन्न शब्द क्रमों को संभालने के तरीके का परीक्षण करके इसका उत्तर देने का प्रयास किया। उन्होंने दो बहुत ही अलग प्रकार के डेटा का उपयोग करके एक नियंत्रित प्रयोग बनाया। सबसे पहले, उन्होंने सैकड़ों कृत्रिम भाषाएँ बनाईं। ये वास्तविक रूप से बोली जाने वाली भाषाएँ नहीं थीं, बल्कि गणितीय संरचनाएँ थीं जिन्हें विशिष्ट विशेषताओं को अलग करने के लिए डिज़ाइन किया गया था। एक ऐसी भाषा की कल्पना करें जहाँ केवल एक ही चीज़ बदलती है कि विशेषण संज्ञा से पहले आता है या बाद में, या क्रिया वाक्य के प्रारंभ में आती है या अंत में। वास्तविक मानव भाषण की जटिलताओं—जैसे सांस्कृतिक संदर्भ, अनियमित व्याकरण और अव्यवस्थित डेटा—को हटाकर, शोधकर्ता यह देख सके कि क्या कंप्यूटर मॉडल का किसी एक संरचना के प्रति कोई अंतर्निहित प्राथमिकता है। फिर उन्होंने इन परिणामों की तुलना दुनिया की वास्तविक, प्राकृतिक भाषाओं के साथ की, जिसमें अंग्रेजी और स्पेनिश से लेकर जापानी और स्वाहिली तक शामिल हैं।
निष्कर्षों ने इस बात का खुलासा किया कि ये मॉडल कैसे व्यवहार करते हैं, इसमें एक आश्चर्यजनक विभाजन था। जब शोधकर्ताओं ने मॉडलों को कृत्रिम भाषाओं पर प्रशिक्षित किया, तो कंप्यूटरों ने लगातार एक विशिष्ट संरचना को प्राथमिकता दी जहाँ संशोधक (modifiers) मुख्य शब्द से पहले आते हैं, एक ऐसा पैटर्न जिसे भाषाविद "लेफ्ट-ब्रांचिंग" (left-branching) कहते हैं। यह प्राथमिकता इतनी मजबूत थी कि यह वाक्य के मूल क्रम के बावजूद दिखाई दी। हालाँकि, यह प्राथमिकता उस चीज़ से मेल नहीं खाती जो हम मानव भाषा सीखने के बारे में जानते हैं। मनुष्य निरंतरता को प्राथमिकता देते हैं; यदि कोई भाषा क्रिया को अंत में रखती है, तो मनुष्य आमतौर पर उम्मीद करते हैं कि वाक्य के अन्य भाग भी एक समान पैटर्न का पालन करेंगे। कृत्रिम भाषाओं ने दिखाया कि मॉडल मानव तर्क या दुनिया की भाषाओं में पाए जाने वाले सांख्यिकीय पैटर्न का पालन नहीं कर रहे थे। इसके बजाय, मॉडल एक ऐसी संरचना को पसंद करते थे जो उनके विशिष्ट आर्किटेक्चर के लिए संसाधित करने में सरल थी, एक ऐसा पूर्वाग्रह जो किसी भी वास्तविक दुनिया के भाषाई नियमों से स्वतंत्र था।
कहानी पूरी तरह से बदल गई जब शोधकर्ताओं ने वास्तविक दुनिया के डेटा का उपयोग किया। जब मॉडलों को प्राकृतिक भाषाओं पर प्रशिक्षित किया गया, लेकिन केवल थोड़े से डेटा के साथ—प्रति भाषा लगभग पांच मेगाबाइट—तो उन्होंने किसी विशिष्ट शब्द क्रम के लिए कोई स्पष्ट प्राथमिकता नहीं दिखाई। वे विभिन्न व्यवस्थाओं के साथ समान रूप से सहज थे। हालाँकि, जैसे-जैसे शोधकर्ताओं ने प्रशिक्षण डेटा की मात्रा बढ़ाकर एक बहुत बड़े पैमाने पर पहुँचाया, लगभग एक हजार मेगाबाइट, एक विशिष्ट पैटर्न उभर कर आया। मॉडल उन भाषाओं का पक्ष लेने लगे जहाँ कर्ता क्रिया से पहले आता है, और क्रिया कर्म से पहले आती है, जैसे कि अंग्रेजी या चीनी। इसे सब्जेक्ट-वर्ब-ऑब्जेक्ट (SVO) क्रम कहा जाता है। दिलचस्प बात यह है कि यह प्राथमिकता तब और मजबूत हो गई जब मॉडलों ने अधिक डेटा देखा, भले ही एक अन्य क्रम, जहाँ क्रिया अंत में आती है (सब्जेक्ट-ऑब्जेक्ट-वर्ब), वास्तव में दुनिया की भाषाओं में अधिक सामान्य है।
शोधकर्ताओं ने जांच की कि यह बदलाव क्यों हुआ। उन्होंने पाया कि SVO के लिए प्राथमिकता इसलिए नहीं थी क्योंकि कंप्यूटर आर्किटेक्चर स्वाभाविक रूप से उस विशिष्ट क्रम को समझने में बेहतर था। इसके बजाय, यह प्राथमिकता पूरी तरह से उस डेटा से प्रेरित थी जिसे मॉडलों को खिलाया गया था। इंटरनेट और डिजिटल पुस्तकालयों में सबसे व्यापक रूप से उपलब्ध भाषाएँ—जिन्हें अक्सर "उच्च-संसाधन" (high-resource) भाषाएँ कहा जाता है—अत्यधिक रूप से SVO हैं। क्योंकि मॉडलों को इन विशिष्ट भाषाओं के विशाल टेक्स्ट पर प्रशिक्षित किया गया था, उन्होंने उस संरचना को प्राथमिकता देना सीख लिया। जब शोधकर्ताओं ने बहुत कम उपलब्ध डेटा वाली भाषाओं पर प्रशिक्षित मॉडलों को देखा, तो SVO का लाभ समाप्त हो गया। यह सुझाव देता है कि मॉडल किसी सार्वभौमिक सत्य की खोज नहीं कर रहे हैं; वे केवल उस जानकारी के असंतुलन को प्रतिबिंबित कर रहे हैं जो उनके पास उपलब्ध है।
इस खोज के भविष्य की भाषा तकनीक के लिए महत्वपूर्ण निहितार्थ हैं। यदि इन मॉडलों का उपयोग उन भाषाओं में अनुवाद करने, लिखने या संवाद करने के लिए किया जाता है जो कम सामान्य हैं या जिनमें अलग शब्द क्रम हैं, तो यह जोखिम है कि वे उन भाषाओं को सूक्ष्म रूप से SVO संरचना की ओर धकेल देंगे। मॉडल उन भाषाओं के स्वाभाविक, लचीले शब्द क्रमों का उपयोग करना या समझना कठिन बना सकते हैं जिनका उपयोग सूक्ष्मता, फोकस या भावना व्यक्त करने के लिए किया जाता है। यह अध्ययन दिखाता है कि जबकि कंप्यूटर का आंतरिक डिज़ाइन एक हल्का पूर्वाग्रह रख सकता है, वह डेटा जो वे उपभोग करते हैं, उनके व्यवहार को आकार देने वाला प्रमुख बल है। जैसे-जैसे ये उपकरण अधिक व्यापक होते जा रहे हैं, जिस तरह से हम उस डेटा का चयन और प्रबंधन करते हैं जिससे वे सीखते हैं, वही यह निर्धारित करेगा कि वे मानव भाषा की समृद्ध विविधता को संरक्षित करेंगे या धीरे-धीरे उसे एक एकल, समान पैटर्न में बदल देंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।