Linear representations of grammaticality in neural language models
यह शोध पत्र प्रदर्शित करता है कि व्याकरणिकता विविध पूर्व-प्रशिक्षित न्यूरल लैंग्वेज मॉडलों की आंतरिक अवस्थाओं के भीतर एक विशिष्ट प्रतिनिधित्वत्मक आयाम के रूप में सुदृढ़ और स्वतंत्र रूप से एनकोडेड है, जो उनकी वाक्यात्मक सक्षमता का मूल्यांकन करने के लिए एक संभाव्यता-मुक्त ढांचा प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानव भाषा समझना सिखाने की कोशिश कर रहे हैं। आप उसे लाखों किताबें, फिल्में और ट्वीट्स खिलाते हैं, और वह वाक्य में अगले शब्द की भविष्यवाणी करने में अविश्वसनीय सटीकता के साथ सीख जाता है। लेकिन यहाँ एक बड़ा रहस्य है जिसने वैज्ञानिकों को रातों की नींद उड़ा दी है: क्या यह रोबोट वास्तव में व्याकरण के नियमों को जानता है, या यह केवल एक कुशल अनुमान लगाने वाला (masterful guesser) है?
भाषाविज्ञान और कंप्यूटर विज्ञान की दुनिया में, इस पर एक प्रसिद्ध बहस है। एक पक्ष का तर्क है कि क्योंकि ये रोबोट (जिन्हें न्यूरल लैंग्वेज मॉडल कहा जाता है) इस आधार पर प्रशिक्षित होते हैं कि आगे क्या आएगा, यह कितनी बार देखा गया है, वे केवल "संभावना" (likelihood) की गणना कर रहे हैं। वे शायद किसी वाक्य को "अच्छा" इसलिए मान सकते हैं क्योंकि वह परिचित लगता है, न कि इसलिए कि वह अदृश्य, अमूर्त नियमों का पालन करता है। दूसरी ओर, अन्य लोगों का मानना है कि यदि एक रोबोट लगातार एक सही वाक्य और एक टूटे हुए वाक्य के बीच अंतर बता सकता है, तो इसका मतलब है कि उसने नियमों को सीख लिया है, भले ही वह उन्हें समझा न सके। समस्या यह है कि लंबे समय तक, इसे परखने का एकमात्र तरीका यह पूछना था, "इस वाक्य की संभावना कितनी है?" लेकिन अगर रोबोट कहता है, "बहुत अधिक!", एक ऐसे वाक्य के लिए जो वास्तव में व्याकरणिक रूप से गलत है लेकिन संयोग से सामान्य शब्दों का उपयोग करता है, तो हम यह नहीं बता सकते कि वह व्याकरण जानता है या केवल सांख्यिकी (statistics) जानता है।
यह शोध पत्र, जिसका शीर्षक "Linear Representations of Grammaticality in Neural Language Models" है, सीधे इसी उलझी हुई बहस में उतरता है। लेखिका, जेन ली और नजौंग किम ने रोबोट से यह पूछना बंद करने का निर्णय लिया कि किसी वाक्य की संभावना कितनी है। इसके बजाय, उन्होंने रोबोट के मस्तिष्क के अंदर झांकने का निर्णय लिया। वे देखना चाहती थीं कि क्या रोबोट के आंतरिक "विचार" (वाक्यों के उनके गणितीय प्रतिनिधित्व) में वास्तव में एक विशेष, व्यवस्थित स्थान है जहाँ "व्याकरणिक" और "अव्याकरणिक" वाक्य अलग-अलग पड़ोसों में रहते हैं। यदि वे रोबोट के मन के भीतर एक स्पष्ट रेखा पा लेती हैं जो इन दोनों समूहों को अलग करती है, तो यह इस बात का पुख्ता प्रमाण होगा कि रोबोट ने वास्तव में व्याकरण की अवधारणा को सीखा है, न कि केवल "क्या सामान्य लगता है" की अवधारणा को।
जासूसी कार्य: मस्तिष्क के भीतर देखना
इस रहस्य को सुलझाने के लिए, शोधकर्ताओं ने "लीनियर प्रोबिंग" (linear probing) नामक एक चतुर तकनीक का उपयोग किया। कल्पना कीजिए कि रोबकी का मस्तिष्क एक विशाल, बहु-आयामी मानचित्र (map) है। रोबोट द्वारा पढ़ा जाने वाला प्रत्येक वाक्य इस मानचित्र पर एक विशिष्ट बिंदु बन जाता है। यदि रोबोट केवल इस बात की परवाह करता है कि शब्द कितने सामान्य हैं, तो सभी बिंदु बिखरे हुए हो सकते हैं या वाक्य में शब्दों की संख्या के आधार पर समूहबद्ध हो सकते हैं। लेकिन यदि रोबोट वास्तव में व्याकरण समझता है, तो इस मानचित्र पर एक स्पष्ट दिशा होनी चाहिए जहाँ "अच्छे वाक्य" एक तरफ हों और "बुरे वाक्य" दूसरी तरफ।
शोधकर्ताओं ने 25 अलग-अलग भाषा मॉडल लिए (14 मिलियन पैरामीटर्स वाले छोटे मॉडल से लेकर 14 बिलियन पैरामीटर्स वाले विशाल मॉडल तक) और उनका परीक्षण किया। उन्होंने मॉडलों को हजारों वाक्य दिए—कुछ पूरी तरह से व्याकरणिक, कुछ बहुत छोटी, जानबूझकर की गई गलतियों के साथ जैसे कि "This dog like to jump" (यह कुत्ता कूदना पसंद करता है - यहाँ 'likes' होना चाहिए था)। फिर, उन्होंने यह देखने के लिए रोबोट के आंतरिक मानचित्र के माध्यम से एक एकल, सरल सीधी रेखा खींचने की कोशिश की कि क्या यह अच्छे वाक्यों को बुरे वाक्यों से अलग कर सकती है।
बड़ी खोज: व्याकरण वास्तविक है (और रैखिक/Linear है)
परिणाम रोमांचक थे। उन्होंने पाया कि उनके द्वारा परीक्षण किए गए लगभग हर मॉडल में, एक स्पष्ट रेखा थी। यहाँ तक कि एक बहुत ही सरल, कम-जटिलता वाले क्लासिफायर (classifier) भी रोबोट के आंतरिक प्रतिनिधित्व को देखकर कह सकता था, "आह, यह व्याकरणिक है," या "नहीं, वह टूटा हुआ है।" यह सुझाव देता है कि व्याकरणिकता इन मॉडलों के लिए केवल एक धुंधला अहसास नहीं है; यह उनके आंतरिक स्थान में एक विशिष्ट, संगठित आयाम है।
लेकिन शोधकर्ता वहीं नहीं रुके। वे जानते थे कि केवल इसलिए कि रोबकार वाक्यों को अलग कर सकता है, इसका मतलब यह नहीं है कि वह उन्हें व्याकरण के कारण अलग कर रहा है। शायद वह उन्हें इसलिए अलग कर रहा था क्योंकि वे वाक्य होने की संभावना कम थी, या वे अजीब लग रहे थे, या उनमें कम शब्द थे। यह साबित करने के लिए कि यह वास्तव में व्याकरण के बारे में था, उन्होंने "डीकॉन्फाउंडिंग" (deconfounding) के कुछ खेल खेले।
संभावना का जाल (The Probability Trap):
सबसे पहले, उन्होंने पूछा: "क्या रोबोट केवल यह देख रहा है कि वाक्य की संभावना कितनी है?" उन्होंने एक पेचीदा परिदृश्य बनाया जहाँ उन्होंने व्याकरणिक वाक्यों को लिया जो बहुत कम संभावित थे (दुर्लभ लेकिन सही) और अव्याकरणिक वाक्यों को लिया जो बहुत संभावित थे (सामान्य लेकिन गलत)। यदि रोबोट केवल एक संभाव्यता कैलकुलेटर होता, तो वह भ्रमित हो जाता और विफल हो जाता। लेकिन वह नहीं हुआ। रोबोट ने अभी भी दुर्लभ, सही वाक्यों को व्याकरणिक के रूप में और सामान्य, गलत वाक्यों को अव्याकरणिक के रूप में सही ढंग से पहचाना। यह सुझाव देता है कि रोबोट का "व्याकरण डिटेक्टर" इस बात से स्वतंत्र है कि वास्तविक जीवन में किसी वाक्य के आने की संभावना कितनी है।
"बेतुका वाक्य" परीक्षण (The "Silly Sentence" Test):
इसके बाद, वे यह जानना चाहते थे कि क्या रोबोट केवल यह तय कर रहा है कि वाक्य कितना "समझने योग्य" या "तर्कसंगत" है। उन्होंने ऐसे वाक्यों का परीक्षण किया जो व्याकरणिक रूप से एकदम सही थे लेकिन जिनका कोई अर्थ नहीं था (जैसे "The rock ate the sandwich" - चट्टान ने सैंडविच खाया) और ऐसे वाक्य जो व्याकरणिक रूप से टूटे हुए थे लेकिन जिनका अर्थ निकलता था (जैसे "The sandwich ate the rock" - सैंडविच ने चट्टान को खाया)। उन्होंने पाया कि हालांकि रोबोट ने मूर्खता पर ध्यान दिया, फिर भी उसके पास व्याकरण के लिए एक अलग, मजबूत संकेत था। रोबोट के मस्तिष्क में "व्याकरण रेखा" (grammar line) "मूर्खता रेखा" (silliness line) से अलग थी।
सार्वभौमिक अनुवादक (The Universal Translator):
अंत में, उन्होंने जाँच की कि क्या यह व्याकरण का ज्ञान अंग्रेजी तक सीमित था या यह एक सार्वभौमिक कौशल था। उन्होंने रूसी, फ्रेंच, जर्मन, हिब्रू और मंदारिन चीनी जैसी भाषाओं पर मॉडलों का परीक्षण किया। उन्होंने पाया कि बड़े, अधिक शक्तिशाली मॉडलों के लिए, व्याकरण का पता लगाने की क्षमता केवल एक अंग्रेजी ट्रिक नहीं थी। विभिन्न भाषाओं में भी उसी तरह का आंतरिक "व्याकरण रेखा" मौजूद था, जो बताता है कि इन मॉडलों ने संरचना को समझने का एक सामान्य, भाषा-स्वतंत्र तरीका विकसित कर लिया है।
भविष्य के लिए इसका क्या अर्थ है
शोध पत्र निष्कर्ष निकालता है कि इन न्यूरल नेटवर्क के पास वास्तव में व्याकरणिकता का एक मजबूत, आंतरिक प्रतिनिधित्व है। यह केवल उनके अगले शब्द का अनुमान लगाने में अच्छे होने का एक दुष्प्रभाव नहीं है; यह सूचना को व्यवस्थित करने का एक मौलिक हिस्सा है।
हालाँकि, लेखक सावधान रहते हैं कि यह सब पर अंतिम शब्द नहीं है। वे नोट करते हैं कि जबकि "व्याकरण रेखा" मौजूद है, यह हमेशा पूर्ण नहीं होती है। छोटे मॉडल कभी-कभी बड़े मॉडलों की तुलना में अधिक संघर्ष करते हैं, और व्याकरण की कुछ विशिष्ट प्रकार की त्रुटियों का पता लगाना कठिन होता है। वे यह भी बताते हैं कि जबकि मॉडलों के पास यह आंतरिक ज्ञान है, यह हमेशा मनुष्यों द्वारा वाक्यों के निर्णय से पूरी तरह मेल नहीं खाता है।
अंततः, यह शोध बातचीत को बदल देता है। अब हमें इस पर बहस करने की आवश्यकता नहीं है कि क्या ये मॉडल व्याकरण जानते हैं। साक्ष्य बताते हैं कि वे जानते हैं। नया प्रश्न यह है कि उन्होंने इसे कैसे सीखा, उस ज्ञान की गहराई कितनी है, और यह सीखने की प्रकृति के बारे में हमें क्या बताता है। यह दिखाते हुए कि एक सांख्यिकीय प्रणाली अमूर्त नियमों की एक स्पष्ट, रैखिक समझ विकसित कर सकती है, यह पत्र सुझाव देता है कि व्याकरण को पकड़ने की क्षमता के लिए मस्तिष्क में एक विशेष "नियम-पुस्तिका" की आवश्यकता नहीं है, बल्कि यह डेटा में पैटर्न सीखने की शक्ति से स्वाभाविक रूप से उभर सकती है। यह मशीन के मन की एक मंत्रमुग्ध कर देने वाली झलक है, जो दिखाती है कि बिना किसी शिक्षक के भी, एक रोबोट यह बताने में सक्षम हो सकता है कि एक वाक्य काम करता है और दूसरा नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।