The Changing Geometry of Grammar: Dimensionality and Neighborhood Reorganization across Transformer Layers
यह शोध पत्र इस बात की जांच करता है कि टोकन की व्याकरणिक भूमिकाएं ट्रांसफॉर्मर रिप्रजेंटेशन्स (representations) की स्थानीय ज्यामिति को कैसे आकार देती हैं, जिससे यह पता चलता है कि पड़ोस के पुनर्गठन (neighborhood reorganization) के कारण परतों के माध्यम से क्लोज्ड-क्लास और ओपन-क्लास वस्तुओं के लिए अंतर्निहित आयामिकता (intrinsic dimensionality) अलग-अलग तरह से विकसित होती है, जिसमें एनकोडर और डिकोडर आर्किटेक्चर के बीच विशिष्ट पैटर्न देखे गए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक भाषा मॉडलों के डिजिटल मस्तिष्क के भीतर, शब्द स्थिर नहीं रहते। जब एक कंप्यूटर एक वाक्य पढ़ता है, तो वह प्रत्येक शब्द को संख्याओं की एक लंबी सूची में बदल देता है, जो सैकड़ों आयामों वाले एक विशाल, अदृश्य स्थान में तैरते हुए एक बिंदु की तरह होता है। ये बिंदु बेतरतीब ढंग से बिखरे हुए नहीं हैं; वे एक साथ समूह बनाते हैं, और उस उच्च-आयामी शून्य के भीतर पतली, घुमावदार चादरें (sheets) बनाते हैं। वैज्ञानिक इन चादरों को 'मैनिफ़ोल्ड्स' (manifolds) कहते हैं, और चादर की मोटाई इस बात की कहानी बताती है कि शब्द कितनी जानकारी ले जा रहा है। यदि कोई शब्द कई दिशाओं में बदलने के लिए स्वतंत्र है, तो चादर मोटी और जटिल होती है। यदि शब्द अपने पड़ोसियों द्वारा कड़ाई से सीमित है, तो चादर पतली और सरल हो जाती है। सूचना का यह संपीड़न (compression) इन मॉडलों के दुनिया को समझने का एक मौलिक तरीका है, लेकिन अब तक, शोधकर्ता यह देखने के लिए संघर्ष कर रहे थे कि वाक्य में एक शब्द द्वारा किया जाने वाला विशिष्ट कार्य—चाहे वह "बिल्ली" जैसा भारी संज्ञा हो या "द" (the) जैसा हल्का संयोजक—इस ज्यामिति को कैसे आकार देता है।
शोधकर्ताओं की एक टीम ने इस छिपे हुए परिदृश्य का मानचित्रण करने के उद्देश्य से यह सवाल उठाया कि क्या शब्द की व्याकरणिक भूमिका यह निर्धारित करती है कि वह एक न्यूरल नेटवर्क की परतों के माध्यम से कौन सा मार्ग अपनाता है। उन्होंने ओपन-क्लास शब्दों (जो संज्ञा और क्रिया की तरह समृद्ध अर्थ रखते हैं) और क्लोज्ड-क्लास शब्दों (जो विशेष्य और सर्वनाम की तरह संरचनात्मक उद्देश्य निभाते हैं) के बीच के अंतर पर ध्यान केंद्रित किया। चार अलग-अलग प्रकार के भाषा मॉडलों में हजारों वाक्यों को फीड करके, उन्होंने ट्रैक किया कि परत दर परत डेटा का आकार कैसे बदलता है। उन्होंने पाया कि ये दो प्रकार के शब्द एक ही मार्ग से यात्रा नहीं करते हैं। क्लोज्ड-क्लास शब्द प्रक्रिया के शुरुआती चरण में एक व्यापक, अधिक जटिल स्थान में फैल जाते हैं, और फिर अपने सामग्री-प्रधान समकक्षों की तुलना में बहुत पहले ही वापस सिमटकर एक तंग, सरल आकार में ढल जाते हैं। यह सुझाव देता है कि मॉडल पहले इन संरचनात्मक शब्दों को फैलाता है ताकि यह समझ सके कि वे वाक्य के अन्य हिस्सों से कैसे जुड़ते हैं, और एक बार जब यह संबंध बन जाता है, तो वह उन्हें वापस सिकोड़ देता है, जिससे आवश्यक संबंधात्मक जानकारी प्राप्त हो जाती है।
शोधकर्ताओं ने पाया कि यह ज्यामितीय फोल्डिंग (folding) केवल एक यादृच्छिक उतार-चढ़ाव नहीं है, बल्कि प्रत्येक शब्द के आसपास के पड़ोस का एक सटीक पुनर्गठन है। जैसे-जैसे एक शब्द नेटवर्क में गहराई तक जाता है, गणितीय स्थान में उसके निकटतम पड़ोसी बदल जाते हैं। संरचनात्मक शब्दों के लिए, यह परिवर्तन तेजी से और निर्णायक रूप से होता है। "द" (the) जैसा शब्द अपनी यात्रा अन्य निर्धारक (determiners) के बीच से शुरू कर सकता है, लेकिन जैसे ही नेटवर्क वाक्य को संसाधित करता है, वह उस समूह से अलग हो जाता है और उस विशिष्ट संज्ञा के करीब पहुंच जाता है जिसे वह संशोधित करता है। पड़ोसियों में यह बदलाव ठीक उसी क्षण के अनुरूप होता है जब शब्द का आंतरिक प्रतिनिधित्व सरल और अधिक संकुचित हो जाता है। इसके विपरीत, "हाथी" या "दौड़ना" जैसे सामग्री वाले शब्द लंबे समय तक अधिक जटिल, खुला ज्यामिति बनाए रखते हैं, जो वाक्य के विकसित होते संदर्भ के साथ अपने विशिष्ट अर्थों को एकीकृत करने की निरंतर आवश्यकता को दर्शाता है।
अध्ययन ने यह भी प्रकट किया कि मॉडल की वास्तुकला (architecture) बहुत मायने रखती है। जो मॉडल वाक्यों को एक साथ दोनों दिशाओं में पढ़ते हैं, जैसे एनकोडर (encoders), वे इन संरचनात्मक संबंधों को जल्दी हल कर लेते हैं, जिससे ज्यामितिक परिवर्तन मध्य परतों में होते हैं। जो मॉडल सख्ती से बाएं से दाएं पढ़ते हैं, जैसे डिकोडर (decoders), वे एक अलग मार्ग अपनाते हैं, जहाँ ये ज्यामितिक बदलाव बाद में होते हैं, जैसे-जैसे संदर्भ संचित होता है। इन वास्तुशिल्प अंतरों के बावजूद, मुख्य निष्कर्ष सत्य बना रहा: एक शब्द जो पथ नेटवर्क के माध्यम से तय करता है, वह उसके व्याकरणिक कार्य का सीधा प्रतिबिंब है। शोधकर्ताओं ने यह सिद्ध किया कि एक कंप्यूटर केवल डेटा बिंदुओं के आकार—उनकी मोटाई और उनके पड़ोसियों के बदलाव—को देखकर सही ढंग से अनुमान लगा सकता था कि कोई शब्द फंक्शन शब्द (function word) था या सामग्री शब्द (content word), या यहाँ तक कि उसकी विशिष्ट व्याकरणिक श्रेणी की पहचान भी कर सकता था, बिना उस शब्द को देखे।
यह कार्य बताता है कि वाक्य का व्याकरण केवल नियमों का एक सेट नहीं है जिसका मॉडल पालन करता है, बल्कि इसकी गणितीय संरचना के भीतर एक भौतिक वास्तविकता है। मॉडल केवल शब्द का अर्थ संग्रहीत नहीं करता है; यह वाक्य में फिट होने के तरीके की पहेली को सुलझाने के लिए उस शब्द के आसपास के स्थान को भौतिक रूप से नया आकार देता है। जिस क्षण एक संरचनात्मक शब्द वाक्य में अपने साथी को ढूंढ लेता है, मॉडल उन अतिरिक्त आयामों को सिकोड़ देता है जिन्हें उसने खोजने के लिए उपयोग किया था, जिससे केवल एक संक्षिप्त, कुशल प्रतिनिधित्व बच जाता है। यह ऐसा है मानो मॉडल वाक्य को थामे रखने के लिए एक अस्थायी मचान (scaffold) बनाता है, और एक बार जब संरचना सुरक्षित हो जाती है, तो वह मचान को हटा देता है, जिससे केवल अर्थ का आवश्यक आकार शेष रह जाता है। विस्तार और संकुचन का यह ज्यामितीय नृत्य इस बात में एक नया दृष्टिकोण प्रदान करता है कि कृत्रिम बुद्धिमत्ता उन शब्दों के बीच के नाजुक संतुलन को कैसे समझती है जो अर्थ वहन करते हैं और वे शब्द जो उन्हें एक साथ थामे रखते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।