Implicit Representations of Grammaticality in Language Models
यह शोध पत्र प्रदर्शित करता है कि प्रीट्रेन्ड लैंग्वेज मॉडल्स (pretrained language models) अपनी हिडन लेयर्स (hidden layers) के भीतर एक विशिष्ट व्याकरणिक प्रतिनिधित्व (grammaticality representation) को अंतर्निहित रूप से आत्मसात करते हैं, जिसे लीनियर प्रोब्स (linear probes) के माध्यम से निकाला जा सकता है ताकि कई भाषाओं में व्याकरणिक और अव्याकरणिक वाक्यों के बीच अंतर करने में स्ट्रिंग प्रोबेबिलिटी-आधारित निर्णयों (string probability-based judgments) से बेहतर प्रदर्शन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट है जिसने इंटरनेट पर मौजूद लगभग हर किताब, वेबसाइट और लेख को पढ़ लिया है। यह रोबोट, जिसे लैंग्वेज मॉडल (LM) कहा जाता है, वाक्य में अगला शब्द क्या होगा, इसका अनुमान लगाने में अविश्वसनीय रूप से माहिर है। यदि आप इसे एक कहानी पूरी करने के लिए कहते हैं, तो यह बहुत अच्छा काम करता है।
लेकिन पेचीदा बात यह है: सिर्फ इसलिए कि कोई वाक्य "संभावित" (likely) लगता है, इसका मतलब यह नहीं है कि वह व्याकरण के नियमों का पालन करता है।
"संभावित" बनाम "सही" की समस्या
इस रोबोट को एक ऐसे व्यक्ति की तरह समझें जिसने बहुत से लोगों को बोलते हुए सुना है, लेकिन उसे स्कूल में कभी व्याकरण के नियम नहीं सिखाए गए।
- रोबोट का दृष्टिकोण (संभावना/Likelihood): यदि आप कहते हैं, "The key to the cabinets are on the table," तो रोबोट सोच सकता है, "अरे, मैंने पहले भी लोगों को इस तरह की गलती करते सुना है जब वे 'cabinets' शब्द से भ्रमित हो जाते हैं। यह कुछ ऐसा लगता है जो वास्तव में एक इंसान कह सकता है।" इसलिए, यह इस वाक्य को एक उच्च स्कोर देता है।
- व्याकरण का नियम (Grammaticality): एक मानव व्याकरणविद् जानता है कि यह गलत है। यहाँ कर्ता (subject) "key" (एकवचन) है, इसलिए क्रिया "is" होनी चाहिए, न कि "are"। यह वाक्य अव्याकरणिक (ungrammatical) है, भले ही यह एक आम गलती हो।
बड़ा सवाल जो शोधकर्ताओं ने पूछा था वह था: क्या यह रोबोट गुप्त रूप से जानता है कि "लोग अक्सर क्या कहते हैं" और "वास्तव में व्याकरणिक रूप से क्या सही है" के बीच क्या अंतर है, भले ही इसका अंतिम स्कोर इसे न दिखाए?
प्रयोग: "ग्रामर डिटेक्टिव" (व्याकरण का जासूस)
यह पता लगाने के लिए, शोधकर्ताओं ने केवल रोबोट से यह नहीं पूछा, "क्या यह वाक्य सही है?" (रोबोट इस बात का सीधा जवाब देने में खराब होते हैं)। इसके बजाय, उन्होंने रोबोट के मस्तिष्क के भीतर झाँका।
एक ट्रेनिंग जिम बनाना: उन्होंने सामान्य टेक्स्ट का एक बड़ा ढेर लिया और उसके साथ छेड़छाड़ करना शुरू कर दिया। उन्होंने यादृच्छिक रूप से (randomly) शब्द जोड़े, शब्द हटाए या शब्दों को इधर-उधर किया (जैसे किसी वाक्य को लेना और कहना, "She bursts into tears and walks away" बनाम "She bursts into tears fringe and walks away" )।
- मूल वाक्य "अच्छे" (Good) थे।
- बिगड़े हुए वाक्य "बुरे" (Bad) थे।
एक जासूस को प्रशिक्षित करना: उन्होंने एक छोटा, सरल "जासूस" (एक लीनियर प्रोब) प्रशिक्षित किया जो रोबोट के आंतरिक विचारों (इसके हिडन लेयर्स) को देख सके और अनुमान लगा सके: "क्या यह एक अच्छा वाक्य है या एक बुरा वाक्य?"
परीक्षण: उन्होंने इस जासूस को वास्तविक, मानव-निर्मित व्याकरण परीक्षणों पर परखा।
आश्चर्यजनक परिणाम
1. रोबोट के पास एक गुप्त व्याकरण समझ है
जासूस ने रोबोट के अपने "संभावना स्कोर" की तुलना में व्याकरण संबंधी गलतियों को पकड़ने में कहीं बेहतर काम किया।
- उपमा: कल्पना कीजिए कि रोबोट एक शेफ है जो सूप चखता है। शेफ का "संभावना स्कोर" यह है कि वह नमक की कितनी उम्मीद करता है क्योंकि वह आमतौर पर हर चीज़ में नमक डालता है। लेकिन "जासूस" सूप की रासायनिक संरचना को देख रहा है और कह रहा है, "रुको, यह नमक नहीं है; यह चीनी है।"
- रोबोट के आंतरिक मस्तिष्क में वास्तव में "व्याकरणिक शुद्धता" का एक स्पष्ट संकेत मौजूद है जो इस बात से अलग है कि "यह वाक्य कितना सामान्य है।"
2. जासूस एक व्याकरण विशेषज्ञ है, अर्थ विशेषज्ञ नहीं
जब शोधकर्ताओं ने जासूस का परीक्षण उन वाक्यों पर किया जो व्याकरणिक रूप से बिल्कुल सही थे लेकिन जिनका कोई अर्थ नहीं था (जैसे, "The colorless green ideas sleep furiously" बनाम "The furiously green ideas sleep colorless"), तो जासूस उलझन में पड़ गया।
- हालाँकि, रोबोट का मूल "संभावना स्कोर" इन निरर्थक वाक्यों को पहचानने में बहुत अच्छा था।
- निष्कर्ष: रोबोट के मस्तिष्क में दो अलग-अलग सिस्टम हैं। एक सिस्टम जानता है "क्या यह समझ में आता है?" (संभावना), और एक छिपा हुआ सिस्टम जानता है "क्या यह नियमों का पालन करता है?" (व्याकरण)। जासूस ने उस छिपे हुए सिस्टम को पकड़ लिया।
3. जासूस अन्य भाषाओं में भी काम करता है
सबसे रोमांचक हिस्सा यह है: उन्होंने जासूस को केवल अंग्रेजी डेटा का उपयोग करके प्रशिक्षित किया था। फिर, उन्होंने इसका परीक्षण स्वीडिश, डच, इतालवी, रूसी, जापानी और चीनी भाषाओं पर किया।
- भले ही जासूस ने पहले कभी उन भाषाओं को नहीं देखा था, फिर भी वह रोबोट के कच्चे संभाव्यता स्कोर की तुलना में व्याकरण संबंधी गलतियों को पहचानने में बेहतर था।
- उपमा: यह एक कुत्ते को अंग्रेजी में गेंद लाने (fetch) के लिए सिखाने जैसा है, और फिर उसे फ्रांस के एक पार्क में ले जाना। भले ही कुत्ता फ्रेंच नहीं बोलता है, फिर भी वह "फेचिंग" की अवधारणा को समझता है और पहचान सकता है कि खेल सही ढंग से खेला जा रहा है या नहीं।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि ये AI मॉडल, भले ही उन्हें केवल अगले शब्द की भविष्यवाणी करने के लिए प्रशिक्षित किया गया हो, उन्होंने अंतर्निहित रूप से व्याकरण के नियमों को सीख लिया है। उन्होंने अपने न्यूरल नेटवर्क के भीतर एक छिपा हुआ "ग्रामर डिटेक्टर" विकसित कर लिया है जो उनकी अगला शब्द अनुमान लगाने की क्षमता से अलग है।
वे केवल मानवीय भाषण पैटर्न की नकल नहीं कर रहे हैं; उन्होंने एक आंतरिक प्रतिनिधित्व विकसित किया है कि क्या बनाता है एक वाक्य को संरचनात्मक रूप से वैध, जो इस बात से अलग है कि वह वाक्य वास्तविक जीवन में दिखने में कितना संभावित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।