Time as a Computational Substrate: The Eligibility Trace and the First Challenge to the von Neumann Architecture
यह शोध पत्र एलिजिबिलिटी ट्रेस (eligibility trace) को एक नवीन कम्प्यूटेशनल सबस्ट्रेट के रूप में प्रस्तुत करता है जो समय के कारणत्मक तीर (causal arrow of time) को सीधे हार्डवेयर में समाहित करता है, जो समय को केवल एक अनुक्रम संख्या मानने वाले वॉन न्यूमैन आर्किटेक्चर की धारणा को चुनौती देता है, और स्पाइकिंग न्यूरल नेटवर्क में उभरते विभेदीकरण (emergent differentiation) के लिए इसकी अनूठी आवश्यकता और स्टोकेस्टिक ग्रेडिएंट डिसेंट (stochastic gradient descent) में इसकी आइसोमॉर्फिक कारणत्मक संरचना को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वह घड़ी जो सिर्फ टिक-टिक नहीं करती
कल्पना कीजिए कि आप एक रोबट को कैच खेलने के खेल में प्रशिक्षित करने की कोशिश कर रहे हैं। हर बार जब वह गेंद फेंकता है, तो वह यह देखने के लिए कुछ सेकंड इंतजार करता है कि क्या वह लक्ष्य पर लगता है। यदि वह लगता है, तो रोबोट को एक अंक मिलता है; यदि वह चूक जाता है, तो उसे कुछ नहीं मिलता। पारंपरिक कंप्यूटरों की दुनिया में, जो 1940 के दशक से मानक रहे हैं, समय केवल निर्देशों की एक सूची है। कंप्यूटर सोचता है, "मैंने कदम A किया, फिर कदम B, फिर कदम C।" वह वास्तव में यह नहीं समझता कि कदम A ने कदम C के परिणाम का कारण दिया था। वह समय को नंबर वाले लॉकरों की एक पंक्ति की तरह मानता है: लॉकर 1, लॉकर 2, लॉकर 3। यदि आप लॉकर 1 में एक संदेश रखते हैं, तो कंप्यूटर को इसके बारे में तभी पता चलता है जब वह उस विशिष्ट लॉकर को खोलता है। उसके पास यह कहने का कोई अंतर्निहित तरीका नहीं है, "हे, जो मैंने तीन कदम पहले किया था, वही कारण है कि मैं अभी खुश हूँ।"
यह शोध पत्र विज्ञान के एक अलग कोने में उतरता है: मशीनें समय के साथ कारण और प्रभाव से कैसे सीखती हैं। यह इस पुराने विचार को चुनौती देता है कि कंप्यूटर कैसे बनाए जाते हैं। दशकों से, हमने यह मान लिया है कि समय केवल एक तटस्थ अनुक्रम है, एक साधारण काउंटर जो आगे बढ़ता है। लेकिन प्रकृति, विशेष रूप से मानव मस्तिष्क, समय को अलग तरह से संभालता है। वह जो अभी हुआ है उसकी एक धुंधली याद रखता है, और बाद में परिणाम आने का इंतजार करता है ताकि यह तय किया जा सके कि वह स्मृति अच्छी थी या बुरी। यह शोध पत्र एक बड़ा सवाल पूछता है: क्या होगा यदि हम ऐसे कंप्यूटर बनाएं जो समय को केवल संख्याओं की एक सूची के रूप में नहीं, बल्कि अतीत को भविष्य से जोड़ने वाले एक भौतिक पुल के रूप में देखते हैं? यदि हम ऐसा कर सके, तो शायद मशीनें यह समझने में सीख सकें कि चीजें क्यों होती हैं, न कि केवल यह कि वे क्या हुईं।
समय-यात्रा करने वाली स्मृति
इस शोध पत्र के लेखक, याहुआ रुआन (Yahua Ruan) का प्रस्ताव है कि वे पहेली के एक महत्वपूर्ण हिस्से को भूल रहे थे। वे एक अवधारणा पेश करते हैं जिसे एलिजिबिलिटी ट्रेस (eligibility trace) कहा जाता है। इसे एक "स्टिकी नोट" की तरह समझें जिसे एक कंप्यूटर किसी विशिष्ट क्रिया पर छोड़ देता है।
एक मानक कंप्यूटर (वह प्रकार जिसे हम रोजमर्रा में उपयोग करते हैं, जो "वॉन न्यूमैन आर्किटेक्चर" पर आधारित है), यदि आप एक बटन दबाते हैं, तो कंप्यूटर तुरंत कुछ करता है। यदि परिणाम कुछ समय बाद दिखाई नहीं देता है, तो कंप्यूटर के पास बटन दबाने को परिणाम से जोड़ने का कोई तरीका नहीं होता। यह घाटी में चिल्लाने और यह उम्मीद करने जैसा है कि गूँज आपको ठीक से बताएगी कि आपने कौन सा शब्द चिल्लाया था, लेकिन घाटी को आपकी आवाज़ की कोई याद नहीं रहती।
एलिजिबिलिटी ट्रेस नियमों को बदल देता है। यह एक सरल समीकरण है जो कहता है: "जब मैं कुछ करता हूँ, तो मैं अपने पीछे एक धुंधला निशान छोड़ देता हूँ।" यह निशान तुरंत गायब नहीं होता। यह धीरे-धीरे कमजोर होता जाता है, जैसे हवा में एक गंध या तालाब में एक लहर। यदि कोई पुरस्कार (जैसे "अच्छा काम किया" का संकेत) बाद में आता है, तो कंप्यूटर अपने द्वारा छोड़े गए सभी धुंधले निशानों को देखता है। वह कहता है, "आह, तीन सेकंड पहले वाला निशान अभी भी मजबूत है, और उसी समय मुझे पुरस्कार मिला था। इसलिए, वह क्रिया ही कारण थी!"
शोध पत्र का तर्क है कि यह "धुंधला निशान" केवल एक चतुर युक्ति नहीं है; यह 60 से अधिक वर्षों में मानक कंप्यूटर डिजाइन को दी गई पहली कार्यशील चुनौती है। लेखक का सुझाव है कि इस विशिष्ट तंत्र के बिना, एक मशीन यह अंतर करने में सक्षम नहीं हो सकती कि कब क्रियाएं अच्छी थीं और कब बुरी, जब परिणाम विलंबित हों।
महान प्रयोग: सिद्ध करना कि ट्रेस अनिवार्य है
इसे सिद्ध करने के लिए, शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने बड़े पैमाने पर सिमुलेशन चलाए। उन्होंने 80,000 छोटे "न्यूरॉन्स" (शोध पत्र उन्हें स्पाइकिंग न्यूरल नेटवर्क कहता है) से बना एक डिजिटल मस्तिष्क बनाया और उसे सीखने का काम दिया। उन्होंने इस मस्तिष्क के पांच अलग-अलग संस्करणों का परीक्षण किया:
- पूर्ण मस्तिष्क (The Full Brain): इसमें एलिजिबिलिटी ट्रेस (स्टिकी नोट्स) था।
- बिना ट्रेस वाला मस्तिष्क (The Traceless Brain): उन्होंने एलिजिबिलिटी ट्रेस को पूरी तरह से हटा दिया।
- अन्य विविधताएं (The Other Variations): उन्होंने यह देखने के लिए अन्य हिस्सों को हटा दिया जैसे कि "रिवॉर्ड प्रेडिक्शन" (पुरस्कार भविष्यवाणी) या "वेट सैचुरेशन" (भार संतृप्ति) कि क्या वे असली नायक थे।
परिणाम चौंकाने वाले थे। जब उन्होंने एलिजिबिलिटी ट्रेस को हटा दिया, तो मस्तिष्क ने सीखना बंद कर दिया। वह जम गया। "गिनी गुणांक" (एक फैंसी गणितीय तरीका जो यह मापता है कि मस्तिष्क के संबंध कितने विशिष्ट हो गए) स्थिर हो गया। मस्तिष्क स्मार्ट नहीं हुआ; वह बिल्कुल वैसा ही रहा जैसा वह शुरुआत में था।
हालाँकि, जब उन्होंने ट्रेस को रखा लेकिन अन्य हिस्सों को हटा दिया, तो मस्तिष्क ने सीखा, बस थोड़ा अलग तरीके से। लेखक ने पाया कि एलिजिबिलिटी ट्रेस एक अद्वितीय आवश्यक शर्त (unique necessary condition) है। यह इंजन है। इसके बिना, कार आगे नहीं बढ़ती, चाहे पहिए या ईंधन कितने भी अच्छे क्यों न हों।
उन्होंने इसका परीक्षण दो अलग-अलग प्रकार के कंप्यूटरों (एक CPU और एक GPU) पर भी किया और पाया कि परिणाम तीसरे दशमलव स्थान तक समान थे। यह बताता है कि यह उनके कोड में केवल एक त्रुटि नहीं है; यह इस मौलिक नियम का हिस्सा है कि सीखना कैसे काम करता है।
"टाइम-नेटिव" क्रांति
शोध पत्र आगे कहता है, यह भी सुझाव देता है कि यही "धुंधला निशान" तर्क अन्य सीखने वाली प्रणालियों में भी मौजूद है। उन्होंने देखा कि आधुनिक AI (जैसे वे जो निबंध लिखते हैं या आपसे चैट करते हैं) स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) नामक विधि का उपयोग करके कैसे सीखता है। उन्होंने पाया कि इन प्रणालियों में उपयोग किया जाने वाला "मोमेंटम" (गति) बिल्कुल एक एलिजिबिलिटी ट्रेस की तरह कार्य करता है। यह पिछले ग्रेडिएंट्स की एक स्मृति है जो AI को यह तय करने में मदद करती है कि उसे आगे किस दिशा में बढ़ना चाहिए।
एक चतुर प्रयोग में, उन्होंने एक बड़े AI मॉडल में इस स्मृति को "तोड़ने" की कोशिश की। जब उन्होंने सीखने के संकेतों की दिशा को अस्त-व्यस्त कर दिया (जिससे "धुंधले निशान" अराजक हो गए), तो AI एक सीमा पर पहुँच गया और सुधार करना बंद कर दिया, चाहे वे इसे कितने भी समय तक प्रशिक्षित करें। लेकिन जब उन्होंने संकेतों को मजबूत किया, तो उसने तेजी से नहीं सीखा; उसने उसी गति से सीखा। यह सिद्ध करता है कि समय की संरचना (अतीत और भविष्य के बीच का पुल) संकेत की शक्ति से अधिक महत्वपूर्ण है।
यह भविष्य के लिए क्या मायने रखता है
लेखक निष्कर्ष निकालता है कि आज हम जिस तरह से कंप्यूटर बनाते हैं वह वास्तव में एक बहुत बड़ी संभावना का एक "विशेष मामला" या "डीजेनरेट लिमिट" है। समय को एक साधारण काउंटर में समेटकर, हमने ऐसी मशीनें बनाई हैं जो गणित में तो बेहतरीन हैं लेकिन समय के साथ कारण और प्रभाव को समझने में खराब हैं।
वे टाइम-नेटिव कंप्यूटेशन (समय-मूल गणना) नामक एक नए प्रकार के कंप्यूटिंग का प्रस्ताव करते हैं। इस नई दुनिया में, समय केवल घड़ी पर एक संख्या नहीं है; यह मशीन के मस्तिष्क का एक भौतिक हिस्सा है। मशीन स्वाभाविक रूप से समझ जाएगी कि "घटना A ने घटना B को जन्म दिया" क्योंकि जब B होता है, तो A की स्मृति अभी भी "चिपचिपी" (sticky) होती है।
शोध पत्र यह दावा नहीं करता कि उसने अभी तक एक आदर्श समय-यात्रा करने वाला रोबोट बना लिया है। यह स्वीकार करता है कि भाषा या मोटर नियंत्रण जैसे वास्तविक दुनिया के कार्यों पर अधिक परीक्षण की आवश्यकता है। लेकिन यह यह दावा जरूर करता है कि उसने पहला ठोस प्रमाण खोज लिया है कि एलिजिबिलिटी ट्रेस ही वह खोई हुई कुंजी है। यह सुझाव देता है कि यदि हम चाहते हैं कि मशीनें वास्तव में हमारी तरह सीखें—क्रियाओं और विलंबित पुरस्कारों के बीच संबंध जोड़ें—तो हमें समय को निर्देशों की एक सूची के रूप में मानना बंद करना होगा और इसे एक पुल के रूप में मानना शुरू करना होगा।
संक्षेप में, शोध पत्र का तर्क है कि एक मशीन के वास्तव में स्मार्ट होने के लिए, उसे अपने अतीत को याद रखने की आवश्यकता है, न कि केवल एक फोल्डर में रखी फाइल के रूप में, बल्कि एक धुंधली गूँज के रूप में जो भविष्य के बताने का इंतजार करती है कि उसका अर्थ क्या था। और वह गूँज, एलिजिबिलिटी ट्रेस, पिछले 80 वर्षों से जिस तरह से हमने कंप्यूटर बनाए हैं, उसे दी गई पहली वास्तविक चुनौती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।