TextNCA: Neural Cellular Automata for Language Modeling via Hierarchical Local Attention
यह शोध पत्र भाषा मॉडलिंग के लिए एक पदानुक्रमित (hierarchical) न्यूरल सेलुलर ऑटोमेटा, TextNCA को प्रस्तुत करता है, ताकि यह प्रदर्शित किया जा सके कि एक चरणबद्ध संकीर्ण-से-व्यापक (narrow-to-wide) अटेंशन शेड्यूलिंग ही प्रदर्शन का प्राथमिक चालक है, जबकि पुनरावृत्ति (iteration) और विशिष्ट वास्तुशिल्प घटक छोटे, सीमित लाभ प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं। लंबे समय तक, इसे करने का सबसे अच्छा तरीका तर्क (logic) की एक विशाल, बहु-मंजिला गगनचुंबी इमारत बनाना रहा है। इस इमारत की प्रत्येक मंजिल एक अलग "परत" (layer) होती है जो पूरी कहानी को एक साथ देखती है, और अपनी समझ को अगली मंजिल तक भेजती है जब तक कि रोबोट को ठीक से पता न चल जाए कि अगला शब्द क्या होगा। अधिकांश आधुनिक AI भाषा मॉडल इसी तरह काम करते हैं: वे ऊंचे, जटिल और वैश्विक (global) रूप से सब कुछ देखते हैं।
लेकिन क्या होगा अगर हम एक अलग दृष्टिकोण अपनाएं? क्या होगा अगर, एक गगनचुंबी इमारत के बजाय, हम एक छोटे, सरल रोबोट का उपयोग करें जो केवल अपने आस-पास के पड़ोसियों को देखता है? यही न्यूरल सेलुलर ऑटोमेटा (NCA) के पीछे का विचार है। इसे ग्रिड पर खेले जाने वाले "टेलीफोन" के खेल या नोट पास करते हुए लोगों की एक पंक्ति के रूप में सोचें। प्रत्येक व्यक्ति केवल अपने बगल वाले व्यक्ति को देखता है, एक छोटा सा नोट लिखता है, और उसे आगे बढ़ा देता है। वे इसे बार-बार करते हैं। यदि वे सभी बिल्कुल एक ही सरल नियमों का पालन करते हैं, तो अराजकता से एक जटिल चित्र या पैटर्न उभर सकता है। वैज्ञानिकों ने इसका उपयोग डिजिटल पौधों और बनावट (textures) को विकसित करने के लिए किया है, लेकिन उन्होंने वास्तव में इसे वाक्य लिखने के लिए कभी नहीं आजमाया है। बड़ा सवाल यह है कि, क्या यह छोटा, स्थानीय, दोहराव वाला रोबोट वास्तव में एक कहानी लिख सकता है, और यदि वह ऐसा कर सकता है, तो क्या यह इसलिए है क्योंकि वह स्थानीय है, क्योंकि वह खुद को दोहराता है, या किसी और चीज़ के कारण है?
प्रयोग: एक बड़ी योजना वाला एक छोटा रोबोट
इस शोध पत्र में, शोधकर्ताओं ने एक नए प्रकार का भाषा मॉडल बनाया जिसे TextNCA कहा गया। एक गगनचुंबी इमारत बनाने के बजाय, उन्होंने उस छोटे, पड़ोसी-रोबोट का एक "पदानुक्रमित" (hierarchical) संस्करण बनाया। उन्होंने इसे एक बहुत ही विशिष्ट कार्य विवरण दिया: इसे शब्दों के एक छोटे समूह को देखना है, अपनी समझ को अपडेट करना है, और फिर उस अपडेट की गई समझ को अगले समूह को पास करना है।
इसे सफल बनाने के लिए, उन्होंने तीन चरणों वाली एक रिले रेस (relay race) तैयार की:
- चरण 1 (संकीर्ण दृश्य): रोबोट एक बार में केवल 8 शब्दों को देखता है। यह उस छोटे से पड़ोस की अपनी समझ को परिष्कृत करने के लिए इस प्रक्रिया को 4 बार दोहराता है।
- चरण 2 (मध्यम दृश्य): इसके बाद यह 32 शब्दों की खिड़की (window) की ओर बढ़ता है। फिर से, यह प्रक्रिया को 4 बार दोहराता है, अब यह थोड़ा अधिक संदर्भ (context) देख रहा है।
- चरण 3 (व्यापक दृश्य): अंत में, यह 128 शब्दों को देखता है। यह प्रक्रिया को 4 बार और दोहराता है, और अंततः पूरी वाक्य संरचना को देख लेता है।
रोबोट सभी 4 दोहरावों के लिए बिल्कुल उसी "मस्तिष्क" (weights) का उपयोग करता है, ठीक एक वास्तविक सेलुलर ऑटोमेटा की तरह। शोधकर्ताओं ने इसे टेक्स्ट के एक विशाल डेटासेट (WikiText-103) पर प्रशिक्षित किया और इसकी तुलना मानक AI मॉडलों से की।
बड़ी हैरानी: यह शेड्यूल है, दोहराव नहीं
शोधकर्ता उम्मीद कर रहे थे कि जादू रोबोट द्वारा अपने चरणों को बार-बार दोहराने (iteration) से या उससे केवल स्थानीय पड़ोसियों को देखने से आएगा। लेकिन जब उन्होंने प्रयोग चलाए, तो उन्हें एक आश्चर्यजनक बात पता चली।
मुख्य चालक सफलता का कारण "संकीर्ण-से-व्यापक" (Narrow-to-Wide) शेड्यूल था।
मॉडल इसलिए सबसे अच्छा काम कर रहा था क्योंकि इसने छोटे से शुरुआत की और धीरे-धीरे बड़ा होता गया। यह एक किताब पढ़ने जैसा था: आप पहले एक शब्द समझते हैं, फिर एक वाक्यांश, फिर एक वाक्य, और फिर एक पैराग्राफ।
- जब उन्होंने शेड्यूल को बरकरार रखा लेकिन रोबोट को खुद को दोहराने से रोक दिया (इसे केवल एक-पास मॉडल बना दिया), तब भी इसने पूर्ण दोहराव वाले मॉडल के लगभग बराबर प्रदर्शन किया। अंतर बहुत कम था (एक स्कोर जिसे "परप्लेक्सिटी" कहा जाता है, जो यह मापता है कि मॉडल कितना भ्रमित है, में केवल लगभग 4 अंक का अंतर था)।
- हालांकि, जब उन्होंने शेड्यूल को उलट दिया (128 शब्दों से शुरू होकर संकीर्ण होना), तो मॉडल विफल हो गया। यह लिखने में बहुत खराब हो गया, जिसका स्कोर 60.3 के अच्छे स्कोर के मुकाबले 131.1 रहा।
- यहाँ तक कि यदि वे विंडोज़ को यादृच्छिक (random) क्रम में रखते (जैसे, 8, फिर 128, फिर 32), तो भी मॉडल संघर्ष करता।
यह बताता है कि NCA डिज़ाइन के "स्थानीय" और "दोहराव" वाले हिस्से मुख्य नायक नहीं थे। नायक संचालन का क्रम था: संकीर्ण से शुरू करना और धीरे-धीरे विस्तार करना।
दोहराव के बारे में क्या?
तो, क्या चरणों को दोहराना बिल्कुल भी मदद करता है? हाँ, लेकिन बहुत कम, और केवल विशिष्ट स्थितियों में।
- शोधकर्ताओं ने पाया कि चरणों को ठीक 4 बार दोहराना "स्वीट स्पॉट" (सही बिंदु) था। यदि उन्होंने इसे 2 बार दोहराया, तो मॉडल भ्रमित हो गया। यदि उन्होंने इसे 6 या 8 बार दोहराया, तो मॉडल वास्तव में और खराब हो गया। यह एक ऐसे छात्र की तरह है जो एक अध्याय को एक या दो बार पढ़ता है और उसे अच्छी तरह सीख लेता है, लेकिन यदि वह उसे 10 बार पढ़ता है, तो वह जो सीखा था उसे भूलने लगता है।
- यह दोहराव केवल इसलिए काम कर पाया क्योंकि मॉडल के पास एक विशेष "गेट" (GRU गेट) था और उसने "स्टेप एम्बेडिंग्स" (विशेष मार्कर जो रोबोट को बताते हैं कि वह प्रक्रिया का कौन सा चरण है) सीखी थीं। इनके बिना, दोहराव ने कुछ नहीं किया या चीजों को और खराब कर दिया।
निर्णय: एक नियंत्रित पठन, न कि एक नया चैंपियन
लेखक अपने परिणामों के बारे में बहुत ईमानदार हैं। वे स्वीकार करते हैं कि उनका TextNCA मॉडल मानक "गगनचुंबी" (Transformer) मॉडलों से बेहतर नहीं है। वास्तव में, मानक मॉडल अगला शब्द बताने में बहुत बेहतर थे।
- एक मानक 6-परत वाले ट्रांसफार्मर का स्कोर 52.8 था।
- उनके सर्वश्रेष्ठ TextNCA मॉडल का स्कोर 60.3 था।
- मानक 12-परत वाला ट्रांसफार्मर इससे भी बेहतर 44.7 पर था।
इसलिए, यह वह पेपर नहीं है जो कह रहा है "हमने एक बेहतर AI बनाया है।" बल्कि, यह एक ऐसा पेपर है जो कहता है, "हमने एक नियंत्रित प्रयोग बनाया है यह पता लगाने के लिए कि ये सेलुलर ऑटोमेटा मॉडल वास्तव में कैसे व्यवहार करते हैं।"
हमने क्या सीखा (और क्या नहीं)
- "संकीर्ण-से-व्यापक" नियम सर्वोपरि है: इस प्रकार के मॉडल के लिए सबसे महत्वपूर्ण बात यह है कि छोटे दृश्य से शुरू करें और धीरे-धीरे विस्तार करें। यदि आप ऐसा नहीं करते हैं, तो मॉडल विफल हो जाता है।
- दोहराव एक डिमर स्विच है, बल्ब नहीं: चरणों को दोहराना (Iteration) चरणों में थोड़ी शक्ति जोड़ता है, लेकिन केवल तभी जब आप सही संख्या (4) पर रुकते हैं। बहुत अधिक दोहराव प्रदर्शन को नुकसान पहुँचाता है।
- स्थानीय ध्यान (Local attention) की सीमाएँ हैं: जब उन्होंने एक रीडिंग कॉम्प्रिहेन्शन कार्य (SQuAD) पर मॉडल का परीक्षण किया, तो उसे टेक्स्ट में दूर तक देखने की आवश्यकता वाले उत्तर खोजने में कठिनाई हुई। यह सुझाव देता है कि जबकि "छोटा शुरू करें, बड़ा करें" वाली रणनीति मदद करती है, मॉडल अभी भी उन मानक मॉडलों की तरह पूरी तस्वीर नहीं देख सकता जो एक साथ सब कुछ देखते हैं।
"नॉब" (Knob) प्रयोग
एक दिलचस्प खोज यह थी कि वे मॉडल का एक ऐसा संस्करण प्रशिक्षित कर सकते थे जो चलते समय (इन्फरेंस टाइम पर) दोहरावों की संख्या को बदलने की अनुमति देता है। आमतौर पर, यदि आप प्रशिक्षण के बाद मॉडल द्वारा किए जाने वाले दोहरावों की संख्या बदलते हैं, तो यह टूट जाता है। लेकिन, दोहरावों की यादृच्छिक संख्या के साथ मॉडल को प्रशिक्षित करके, उन्होंने एक "नॉब" बनाया जो उन्हें चलते समय गहराई (depth) को समायोजित करने की अनुमति देता है। शर्त? मॉडल कुल मिलाकर बहुत खराब हो गया (60.3 के बजाय 101 का स्कोर)। यह एक ऐसी कार की तरह है जो किसी भी गति पर चल सकती है, लेकिन वह सामान्य कार की तुलना में केवल आधी गति से चलती है।
निष्कर्ष
यह पेपर हमें एक नया, सुपर-शक्तिशाली भाषा मॉडल नहीं देता है। इसके बजाय, यह हमें एक स्पष्ट मानचित्र देता है कि ये "सेलुलर ऑटोमेटा" मॉडल वास्तव में कैसे काम करते हैं। यह साबित करता है कि जादू दोहराव या स्वयं स्थानीय नियमों में नहीं है, बल्कि पदानुक्रमित शेड्यूल (hierarchical schedule) में है—एक संकीर्ण दृश्य से व्यापक दृश्य तक सावधानीपूर्वक, चरण-दर-चरण विस्तार। यह हमें याद दिलाता है कि कभी-कभी, आपके चरणों के आयोजन का तरीका स्वयं चरणों से अधिक महत्वपूर्ण होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।