A Unified Assessment of the Poverty of the Stimulus Argument for Neural Language Models
यह शोध पत्र \poshbench को प्रस्तुत करता है, जो एक एकीकृत बेंचमार्क है जो यह दर्शाता है कि जहाँ न्यूरल लैंग्वेज मॉडल्स सीमित डेटा से जन्मजात सिंटैक्टिक बायस (innate syntactic biases) के बिना भी संरचना-निर्भर सामान्यीकरण (structure-dependent generalizations) प्राप्त कर सकते हैं, वहीं वे बच्चों की तुलना में कम कुशल रहते हैं और मानव-समान सीखने के स्तर तक पूरी तरह पहुँचने के लिए अतिरिक्त संज्ञानात्मक रूप से प्रेरित इंडक्टिव बायस (cognitively motivated inductive biases) की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
दशकों से, मानव भाषा सीखने के अध्ययन में एक केंद्रीय पहेली बनी हुई है। बच्चे, भले ही वे भाषण की एक अराजक और अक्सर अपूर्ण धारा से घिरे होते हैं, पांच साल की उम्र तक व्याकरण के जटिल, अदृश्य नियमों में महारत हासिल कर लेते हैं। वे सीख जाते हैं कि कुछ वाक्य असंभव हैं, भले ही उन्होंने कभी किसी वयस्क को यह कहते हुए नहीं सुना हो कि, "यह गलत है," या वर्जित वाक्यांशों की कोई सूची नहीं देखी हो। बच्चों द्वारा प्राप्त सीमित, अव्यवस्थित डेटा और उनके द्वारा अर्जित परिष्कृत ज्ञान के बीच के इस अंतर को "उद्दीपन की निर्धनता" (poverty of the stimulus) के रूप में जाना जाता है। पारंपरिक स्पष्टीकरण, जिसे पीढ़ियों से भाषाविदों ने समर्थित किया है, यह है कि मनुष्य व्याकरण के लिए एक विशेष, जन्मजात ब्लूप्रिंट के साथ पैदा होते हैं—एक अंतर्निर्मित मार्गदर्शक जो मस्तिष्क को बताता है कि कौन से नियम संभव हैं और कौन से नहीं। बिना इस जैविक बढ़त के, तर्क यह है कि इनपुट इतना निर्धन है कि वह एक बच्चे को बोलना नहीं सिखा सकता।
हाल के वर्षों में, आर्टिफिशियल इंटेलिजेंस ने इस विचार का परीक्षण करने का एक नया तरीका प्रदान किया है। वैज्ञानिकों ने कंप्यूटर प्रोग्राम बनाए हैं जिन्हें न्यूरल नेटवर्क कहा जाता है जो टेक्स्ट की विशाल मात्रा को पढ़कर सीखते हैं। ये मशीनें वाक्य में अगले शब्द की भविष्यवाणी करने में असाधारण रूप से कुशल हो गई हैं, जो अक्सर नियमों को स्पष्ट रूप से सीखे बिना मानवीय व्याकरण की नकल करती हैं। इस सफलता ने एक बहस छेड़ दी है: यदि एक मशीन केवल पढ़कर जटिल व्याकरण सीख सकती है, तो शायद "निर्धनता" का तर्क एक भ्रम है, और इनपुट वास्तव में किसी भी शक्तिशाली शिक्षार्थी के लिए पर्याप्त समृद्ध है कि वह इसे समझ सके। हालांकि, इस तुलना में एक महत्वपूर्ण दोष बना हुआ है: कंप्यूटरों को अरबों शब्द दिए जाते हैं, जबकि एक मानव बच्चा उसका केवल एक बहुत छोटा हिस्सा सुनता है। इस प्रश्न को सुलझाने के लिए, शोधकर्ताओं को यह देखने की आवश्यकता थी कि क्या एक मशीन उसी कठिन नियमों को सीख सकती है जो एक बच्चा सीखता है, लेकिन डेटा की उतनी ही सीमित मात्रा के साथ।
जॉर्जटाउन यूनिवर्सिटी और यूनिवर्सिटी ऑफ ग्रोनिंगन के शोधकर्ताओं ने एक नया परीक्षण मैदान बनाकर इसका उत्तर देने का प्रयास किया जिसे POSH-BENCH कहा गया। उन्होंने चार विशिष्ट व्याकरणिक पहेलियों पर ध्यान केंद्रित किया जिन्हें लंबे समय से जन्मजात ज्ञान के सबसे मजबूत साक्ष्य के रूप में माना जाता रहा है। इनमें शामिल हैं कि बच्चे कैसे प्रश्न पूछने के लिए पहले सुने गए सहायक क्रिया के बजाय मुख्य सहायक क्रिया को स्थानांतरित करके प्रश्न बनाना सीखते हैं, वे कैसे जानते हैं कि कुछ वाक्य संरचनाएं शब्दों के संचलन को रोक देती हैं, वे जटिल वाक्य में सर्वनाम किसके लिए संदर्भित है यह कैसे समझते हैं, और वे सूक्ष्म नियम जो यह नियंत्रित करते हैं कि कब "want to" वाक्यांश "wanna" में सिकुड़ सकता है। शोधकर्ताओं ने एक विशाल टेक्स्ट लाइब्रेरी बनाई जिसे बच्चे के भाषाई वातावरण की नकल करने के लिए डिज़ाइन किया गया था, जो 10 मिलियन से 50 मिलियन शब्दों तक विस्तृत थी। यह लगभग उतना ही है जितना कि पांच साल की उम्र तक एक बच्चा भाषा के संपर्क में आता है, जो आधुनिक कंप्यूटर मॉडल द्वारा उपभोग की जाने वाली मात्रा से लाखों गुना कम है।
टीम ने तीन अलग-अलग प्रकार के कंप्यूटर मॉडलों को इस बाल-आकार के डेटा पर प्रशिक्षित किया। एक प्रकार का मानक न्यूरल नेटवर्क था, जो कई आधुनिक एआई टूल को शक्ति प्रदान करता है। दूसरा एक पुराने शैली का नेटवर्क था, और तीसरा एक सरल सांख्यिकीय मॉडल था जो केवल शब्दों के तत्काल इतिहास को देखता है। "निर्धनता" के तर्क को और अधिक परखने के लिए, उन्होंने प्रशिक्षण डेटा का एक संस्करण बनाया जहाँ उन्होंने जानबूझकर उन विशिष्ट व्याकरणिक नियमों के प्रत्येक उदाहरण को हटा दिया जिनका वे परीक्षण कर रहे थे। इसने एक ऐसे बच्चे का अनुकरण किया जिसने कभी भी नियम का सीधा उदाहरण नहीं सुना, जिससे शिक्षार्थी को शेष भाषा से अप्रत्यक्ष संकेतों पर पूरी तरह से निर्भर होना पड़ा।
परिणाम आश्चर्यजनक और सूक्ष्म थे। शोधकर्ताओं ने पाया कि उन्नत न्यूरल नेटवर्क वास्तव में सीमित, बाल-आकार के डेटा से इन कठिन व्याकरणिक नियमों को सीख सकते थे, भले ही प्रत्यक्ष उदाहरण गायब थे। वे यादृच्छिक संभावना (random chance) से काफी बेहतर प्रदर्शन कर रहे थे, जो यह सुझाव देता है कि इनपुट उतना निर्धन नहीं है जितना कि पहले सोचा गया था और शक्तिशाली शिक्षण मशीनें पूर्व-प्रोग्राम किए गए व्याकरण गाइड की आवश्यकता के बिना गहरे संरचनात्मक पैटर्न निकाल सकती हैं। हालांकि, कहानी यहीं समाप्त नहीं हुई। जबकि मशीनें नियमों को सीख सकती थीं, उन्होंने उन्हें बहुत कम दक्षता के साथ सीखा। जैसे-जैसे डेटा की मात्रा बढ़ी, मशीनों में सुधार हुआ, लेकिन वे एक छह साल के बच्चे की गति और सटीकता के साथ कभी नहीं पकड़ पाईं। मशीन के लर्निंग कर्व और एक बच्चे के बीच का अंतर काफी बड़ा बना रहा, जो यह दर्शाता है कि हालांकि इनपुट सीखने योग्य है, फिर भी कुछ और है जो मनुष्यों को इतनी तेजी से सीखने में मदद कर रहा है।
शोधकर्ताओं ने फिर यह परीक्षण किया कि क्या विशिष्ट "बायस" (biases)—मानसिक शॉर्टकट जो मानव मस्तिष्क के काम करने के तरीके से प्रेरित हैं—जोड़ने से मशीनें इस अंतर को पाटने में मदद कर सकती हैं। उन्होंने मॉडलों को शुरुआत में मदद देने के लिए उन्हें औपचारिक तर्क पहेलियों पर प्रशिक्षित किया, उन्हें मानव की तरह वाक्य संरचना पर ध्यान केंद्रित करने के लिए मजबूर किया, और उनकी स्मृति को एक बच्चे की विकसित होती कार्यशील स्मृति (working memory) की नकल करने के लिए सीमित किया। इन परिवर्तनों ने सामान्य व्याकरण की समझ में मॉडलों की समग्र क्षमता में सुधार किया, जिससे वे अधिक मजबूत और सटीक बन गए। फिर भी, महत्वपूर्ण रूप से, इन बायस ने मॉडलों को उन विशिष्ट, कठिन नियमों को सीखने में लगातार मदद नहीं की जो 'उद्दीपन की निर्धनता' के तर्क के केंद्र में हैं। वे बायस जो सामान्य व्याकरण में मदद करते थे, उन्होंने उन विशिष्ट पहेलियों को हल नहीं किया जिन्हें बच्चे इतनी आसानी से मास्टर कर लेते हैं।
अध्ययन निष्कर्ष निकालता है कि बहस एक साधारण "हाँ" या "नहीं" से हल नहीं हुई है। निष्कर्ष बताते हैं कि बच्चे जो इनपुट प्राप्त करते हैं वह वास्तव में जटिल व्याकरण प्राप्त करने के लिए पर्याप्त है, जो इस विचार को चुनौती देता है कि जन्मजात नियम ही एकमात्र संभावित मार्ग हैं। हालांकि, तथ्य यह है कि मशीनें अभी भी मानव दक्षता का मुकाबला करने में संघर्ष करती हैं, यह सुझाव देता है कि मानव शिक्षण में केवल सांख्यिकीय पैटर्न मिलान से कहीं अधिक शामिल है। यह संकेत देता है कि बच्चों के पास ऐसे सीखने के तंत्र या बाधाएं हैं जो इस अध्ययन में परीक्षण किए गए संरचनात्मक बायस से परे हैं। मानव मस्तिष्क केवल प्राप्त डेटा से नहीं सीखता है; यह उस डेटा से एक अनूठे तरीके से सीखता है जो अत्यंत कुशल है, एक ऐसा गुण जिसे वर्तमान आर्टिफिशियल इंटेलिजेंस ने अभी तक पूरी तरह से दोहराया नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।