Beyond Sequence Order: Syntax-Informed Positional Embeddings for Transformers
यह शोधपत्र सिंटैक्स-इन्फॉर्म्ड पोजीशनल एम्बेडिंग्स (SiPE) को प्रस्तुत करता है, जो एक हल्का तरीका है जो विभिन्न ट्रांसफॉर्मर पोजीशनल एम्बेडिंग परिवारों में डिपेंडेंसी पार्स जानकारी को इंजेक्ट करता है ताकि बिना इन्फरेंस लागत बढ़ाए, सिंटैक्टिक समझ और सामान्य भाषा प्रदर्शन दोनों में महत्वपूर्ण सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा का जीपीएस: केवल क्रम ही काफी क्यों नहीं है
कल्पना कीजिए कि आप एक रोबोट को मानव भाषा समझना सिखाने की कोशिश कर रहे हैं। आप उसे किताबों का एक विशाल पुस्तकालय देते हैं और उसे निर्देश देते हैं कि वह केवल पढ़कर व्याकरण के नियम सीख ले। आधुनिक "लार्ज लैंग्वेज मॉडल्स" (LLMs) इसी तरह काम करते हैं। वे उन अत्यंत बुद्धिमान छात्रों की तरह हैं जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है, लेकिन उनकी एक विशिष्ट कमी है: वे वाक्य में अगले शब्द का अनुमान लगाने में तो माहिर हैं, लेकिन वे कभी-कभी यह समझने में संघर्ष करते हैं कि शब्द आपस में क्यों जुड़े हुए हैं।
इन रोबोटों को यह जानने में मदद करने के लिए कि वे वाक्य में कहाँ हैं, वैज्ञानिक उन्हें "पोजीशनल एम्बेडिंग्स" (positional embeddings) देते हैं। इसे हर शब्द के लिए एक "जीपीएस निर्देशांक" (GPS coordinate) के रूप में समझें। यह मॉडल को बताता है, "आप 5वें स्थान पर हैं," या "आप शुरुआत से 3 शब्द दूर हैं।" लंबे समय तक, यह पर्याप्त था। लेकिन यहाँ एक पेंच है: मानव भाषा केवल शब्दों की एक सीधी रेखा नहीं है; यह संबंधों का एक जटिल जाल है। वाक्य "The keys to the cabinet are on the table" में, "keys" कर्ता (subject) है, और "are" क्रिया (verb) है। भले ही "keys" और "are" तीन अन्य शब्दों ("to the cabinet") द्वारा अलग किए गए हों, वे व्याकरणिक रूप से जुड़े हुए हैं। एक साधारण जीपीएस जो केवल दूरी गिनता है, इस संबंध को मिस कर सकता है, शब्दों को ऐसे मान लेता है जैसे वे केवल एक कतार में पड़ोसी हों, न कि एक नृत्य के साथी। यह शोध पत्र पूछता है: क्या हम अपने भाषा रोबोट्स को एक बेहतर मानचित्र दे सकते हैं—एक ऐसा मानचित्र जो न केवल यह दिखाए कि शब्द कहाँ हैं, बल्कि यह भी कि वे कैसे जुड़े हुए हैं?
शोध का बड़ा विचार: रोबोट्स को एक सिंटैक्टिक कंपास देना
इस शोध के पीछे के शोधकर्ताओं, हारिस रियाज़, ह्युंगजी किम और मिहाई सुरडियू ने सिंटैक्स-इन्फॉर्म्ड पोजीशनल एम्बेडिंग्स (SiPE) नामक एक चतुर अपग्रेड का प्रस्ताव दिया है। रोबोट को केवल यह बताने के बजाय कि, "आप स्थिति 5 पर हैं," SiPE एक गुप्त संकेत फुसफुसाता है: "आप स्थिति 5 पर हैं, और आप उस शब्द के 'मालिक' भी हैं जो आपके बाद आता है।"
इसे करने के लिए, वे एक "डिपेंडेंसी पार्सर" (dependency parser) नामक टूल का उपयोग करते हैं, जो एक त्वरित-स्कैन व्याकरण चेकर की तरह है जो यह मानचित्र बनाता है कि शब्द एक-दूसरे से कैसे जुड़े हैं। वे इस मानचित्र को एक सरल कोड (जिसे "हेक्साटैग्स" कहा जाता है) में बदलते हैं और इसे सीधे रोबोट के पोजीशनल जीपीएस में डाल देते हैं। SiPE का जादू यह है कि यह रोबोट को अपना पूरा मस्तिष्क फिर से बनाने के लिए मजबूर नहीं करता है। यह केवल मौजूदा प्रणाली में "सिंटैक्टिक अंतर्ज्ञान" (syntactic intuition) की एक छोटी, हल्की परत जोड़ देता है।
टीम ने पाया कि यह संकेत कहाँ दिया जाता है, यह इस बात से अधिक महत्वपूर्ण है कि संकेत क्या है। उन्होंने इस जानकारी को डालने के दो मुख्य तरीकों का परीक्षण किया:
- इनपुट विधि (The Input Method): व्याकरण के संकेत को शब्द के शुरुआती ब्लॉक में ही मिला देना (जैसे बेकिंग से पहले आटे में मसाला मिलाना)।
- पोजीशनल विधि (The Positional Method): संकेत को केवल जीपीएस निर्देशांकों में मिलाना, शब्दों को अकेला छोड़ते हुए (जैसे मानचित्र में एक विशेष दिशा-सूचक यंत्र जोड़ना, लेकिन कार को नहीं)।
उन्होंने क्या पाया:
- "डिकोडर" मॉडल्स के लिए (वे मॉडल जो चैटबॉट की तरह एक बार में एक शब्द लिखकर कहानियाँ लिखते हैं), पोजीशनल विधि विजेता रही। सिंटैक्स संकेत को दूरी की गणना के साथ गुणा करके, मॉडल ने उन शब्दों पर अधिक ध्यान देना सीखा जो व्याकरणिक रूप से जुड़े हुए थे, भले ही वे दूर हों। इसने उनकी जटिल व्याकरण समझने की क्षमता को एक विशेष परीक्षण "सिंटैक्स जिम" (SyntaxGym) पर 10.3% तक बढ़ा दिया, और साथ ही अगले शब्द की भविष्यवाणी करने की उनकी क्षमता को भी बेहतर बनाया (परप्लेक्सिटी को 9.0% कम किया)।
- "एनकोडर" मॉडल्स के लिए (वे मॉडल जो एक साथ पूरे वाक्य को पढ़ते और समझते हैं, जैसे कि एक सर्च इंजन), इनपुट विधि सबसे अच्छी रही। केवल सिंटैक्स संकेत को शब्द के शुरुआती ब्लॉक में जोड़ना उनके समझ को बेहतर बनाने के लिए पर्याप्त था।
यह शोध पत्र सुझाव देता है कि यह दृष्टिकोण एक गेम-चेंजर है क्योंकि यह एक प्रमुख समझौते (trade-off) को हल करता है। पिछले तरीकों ने या तो सिंटैक्स को पूरी तरह से अनदेखा किया (जिससे वे तेज़ तो थे लेकिन कम समझदार थे) या बोलने के दौरान हर बार पूरे व्याकरण वृक्ष (grammar tree) की पुनर्गणना करने की कोशिश की (जिससे वे अविश्वसनीय रूप से बुद्धिमान तो थे लेकिन बहुत धीमे थे)। SiPE एक आदर्श स्थिति में है: यह मॉडल को निर्देशित करने के लिए एक एकल, त्वरित व्याकरण मानचित्र का उपयोग करता है, जो दोनों दुनियाओं का सर्वश्रेष्ठ अनुभव प्रदान करता है।
परिणाम: स्मार्ट, न कि केवल बड़े
शोधकर्ताओं ने अपने विचार का परीक्षण RoBERTa, DeBERTa और ModernBERT सहित विभिन्न प्रकार के AI मॉडल्स पर किया। परिणाम आश्चर्यजनक रूप से सुसंगत थे। SiPE के साथ प्रशिक्षित मॉडल्स न केवल व्याकरण परीक्षणों में बेहतर हुए; वे वास्तविक दुनिया के कार्यों में भी बेहतर हुए। GLUE बेंचमार्क पर, जो सामान्य भाषा समझ के लिए एक मानक परीक्षण है, मॉडल्स में 8.2% तक सुधार हुआ।
शायद सबसे रोमांचक खोज यह है कि यह सुधार गति या दक्षता की कीमत पर नहीं आया। मॉडल्स ने जो अतिरिक्त "सिंटैक्स ब्रेन" प्राप्त किया, वह अविश्वसनीय रूप से हल्का था, जिसने केवल लगभग 5,000 से 7,000 अतिरिक्त पैरामीटर जोड़े (उन लाखों पैरामीटर्स का एक छोटा सा हिस्सा जो इन मॉडल्स के पास पहले से ही हैं)।
हालाँकि, लेखक सावधानीपूर्वक नोट करते हैं कि यह कोई जादुई छड़ी नहीं है जो सब कुछ ठीक कर देगी। उन्होंने पाया कि "डिकोडर" मॉडल्स के लिए, सिंटैक्स संकेत तब सबसे अच्छा काम करता है जब यह सिस्टम में जल्दी प्रवेश करता है, नेटवर्क के पहले लेयर से ही। यदि आप संकेत जोड़ने के लिए मॉडल के वाक्य को प्रोसेस करना शुरू करने का इंतज़ार करते हैं, तो इसके लाभ कम हो जाते हैं। उन्होंने यह भी खोजा कि केवल अधिक जटिल व्याकरण विवरण (जैसे विशिष्ट संबंध के नाम) जोड़ने से अधिक मदद नहीं मिली; सरल "दिशा" संकेत ही पर्याप्त थे।
यह क्यों मायने रखता है
यह शोध पत्र सुझाव देता है कि हमें मानव भाषा को बेहतर ढंग से समझने के लिए AI के आर्किटेक्चर को पूरी तरह से बदलने की आवश्यकता नहीं है। हमें बस इसे एक थोड़ा बेहतर मानचित्र देने की आवश्यकता है। इन मॉडल्स को उन अदृश्य धागों को देखने के लिए सिखाकर जो शब्दों को जोड़ते हैं, हम उन्हें अधिक सटीक, अधिक तार्किक और लंबे, जटिल वाक्यों से भ्रमित होने से कम कर सकते हैं। यह एक याद दिलाता है कि कभी-कभी, मशीन को स्मार्ट बनाने का सबसे अच्छा तरीका उसे अधिक डेटा देना नहीं है, बल्कि उसे उस डेटा को देखने का तरीका सिखाना है जो उसके पास पहले से ही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।