🤖 machine learning

Learning Long-Range Dependencies with Temporal Predictive Coding

यह शोध पत्र tPC-RTRL को प्रस्तुत करता है, जो एक नवीन एल्गोरिदम है जो टेम्पोरल प्रेडिक्टिव कोडिंग (Temporal Predictive Coding) को रियल-टाइम रिकरेंट लर्निंग (Real-Time Recurrent Learning) के साथ जोड़ता है ताकि रिकरेंट सिस्टम में लंबी दूरी की निर्भरताओं (long-range dependencies) के ऑनलाइन, स्थानीय शिक्षण को सक्षम किया जा सके, जो भाषा मॉडलिंग, अनुवाद और नियंत्रण कार्यों में बैकप्रोपैगेशन-थ्रू-टाइम (backpropagation-through-time) के लगभग समकक्ष प्रदर्शन प्राप्त करते हुए सीखने और फ़िल्टरिंग के लिए एक एकीकृत ढांचा प्रदान करता है।

मूल लेखक: Tom Potter, Oliver Rhodes

प्रकाशित 2026-06-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tom Potter, Oliver Rhodes

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना सिखाने की कोशिश कर रहे हैं। रोबोट को यह याद रखने की ज़रूरत है कि वह कहाँ से शुरू हुआ था ताकि उसे पता चल सके कि वह अभी कहाँ जा रहा है। यही रिकरेंट न्यूरल नेटवर्क (RNNs) की मुख्य चुनौती है: समय के साथ होने वाली घटनाओं के क्रम (sequence) से सीखना।

दशकों से, इन रोबोट्स को प्रशिक्षित करने का मानक तरीका बैकप्रोपैगेशन थ्रू टाइम (BPTT) रहा है। BPTT को ऐसे समझें जैसे एक शिक्षक रोबोट को पूरी भूलभुलैया में दौड़ते हुए देखता है, फिनिश लाइन पर उसे रोकता है, और फिर शुरुआत से लेकर हर एक फ्रेम को पीछे की ओर रिवाइंड करता है और कहता है, "हे, स्टेप 5 पर तुमने बाएं मुड़ा था, जिसकी वजह से तुम स्टेप 50 पर दीवार से टकरा गए।" यह पूरी तरह से काम करता है, लेकिन इसके लिए शिक्षक को रोबोट द्वारा उठाए गए हर एक कदम को याद रखने की आवश्यकता होती है। यदि भूलभुलैया बहुत बड़ी है, तो शिक्षक की मेमोरी खत्म हो जाती है, और यह प्रक्रिया धीमी और ऊर्जा-खपत वाली हो जाती है।

यह पेपर एक नई विधि पेश करता है जिसे tPC-RTRL (टेम्पोरल प्रेडिक्टिव कोडिंग विद रियल-टाइम रिकरेंट लर्निंग) कहा जाता है। यह दो दुनियाओं के सर्वश्रेष्ठ गुणों को मिलाने की कोशिश करता है: मस्तिष्क जैसी कुशल सीखने की क्षमता और सटीक दीर्घकालिक इतिहास याद रखने का तरीका।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "शॉर्ट-टर्म मेमोरी" वाला रोबोट

लेखकों ने टेम्पोरल प्रेडिक्टिव कोडिंग (tPC) नामक एक मौजूदा मस्तिष्क-प्रेरित विधि का अध्ययन किया।

यह कैसे काम करता है: कल्पना कीजिए कि एक रोबोट है जो लगातार अनुमान लगाता रहता है कि आगे क्या होने वाला है। यदि उसका अनुमान गलत होता है, तो वह तुरंत एक छोटी सी "त्रुटि" (error) महसूस करता है और उसी समय अपने मस्तिष्क को समायोजित करता है। उसे टेप को रिवाइंड करने की आवश्यकता नहीं है; वह बस तत्काल हुई गलती से सीखता है। यह ऊर्जा और गति के लिए बेहतरीन है (छोटे, कम शक्ति वाले चिप्स के लिए एकदम सही)।
दोष: पेपर ने पाया कि इस रोबट की याददाश्त बहुत कम होती है। यह केवल गलती के तत्काल कारण से सीखता है। यदि रोबोट स्टेप 5 पर किए गए कार्य के कारण स्टेप 50 पर गलती करता है, तो मानक tPC रोबोट स्टेप 5 के बारे में भूल जाता है। वह सोचता है, "मैंने अभी गलती की, लेकिन अभी मैंने कुछ गलत नहीं किया, इसलिए मैं इसे ठीक नहीं कर सकता।" यह दूर के अतीत को वर्तमान से जोड़ने में विफल रहता है।

2. समाधान: "इन्फ्लुएंस लेजर" (प्रभाव का बहीखाता)

इसे ठीक करने के लिए, लेखकों ने tPC को एक पुराने एल्गोरिदम RTRL (रियल-टाइम रिकरेंट लर्निंग) के साथ जोड़ा।

उपमा: कल्पना कीजिए कि रोबोट एक विशेष "इन्फ्लुएंस लेजर" (एक गणितीय नोटबुक) रखता है। हर बार जब रोबोट कोई चाल चलता है, तो वह न केवल अपने मस्तिष्क को अपडेट करता है; बल्कि वह लेजर में यह भी लिखता है: "यदि मैं अभी अपने मस्तिष्क की सेटिंग्स बदलता हूँ, तो इससे 10 स्टेप्स बाद मेरी स्थिति में क्या बदलाव आएगा?"
जादू: जैसे-जैसे समय आगे बढ़ता है, रोबोट इस लेजर को अपडेट करता है। जब स्टेप 50 पर कोई गलती होती है, तो रोबोट लेजर को देखता है कि उसके मस्तिष्क की सेटिंग्स स्टेप 5 पर कैसे योगदान दे रही थीं। वह अंततः कह सकता है, "आह, स्टेप 5 के कारण यह हुआ!" और मूल कारण को ठीक कर सकता है, भले ही वह बहुत पहले हुआ हो।

3. परिणाम: दोनों दुनियाओं का सर्वश्रेष्ठ

पेपर यह सिद्ध करता है कि इस "इन्फ्लुएंस लेजर" को मस्तिष्क-प्रेरित tPC विधि में जोड़कर, रोबोट ठीक उतना ही अच्छा सीखता है जितना कि पुराना, भारी और अधिक मेमोरी लेने वाला BPTT तरीका, लेकिन बिना उस मेमोरी लागत के।

उन्होंने चार अलग-अलग चुनौतियों पर इसका परीक्षण किया:

कॉपी टास्क (The Copy Task): एक सरल खेल जहाँ रोबोट को संख्याओं के एक क्रम को याद रखना होता है और बाद में उसे दोहराना होता है। पुराना मस्तिष्क-प्रेरित तरीका विफल रहा; नया तरीका पूरी तरह सफल रहा।
लैंग्वेज मॉडलिंग (Language Modeling): रोबोट को वाक्य में अगले अक्षर की भविष्यवाणी करना सिखाना (जैसे स्मार्टफोन कीबोर्ड)। नया तरीका उद्योग के मानक के समान प्रदर्शन करता है।
अनुवाद (Translation): अंग्रेजी से फ्रेंच में अनुवाद करना। फिर से, नए तरीके ने सर्वोत्तम मौजूदा प्रदर्शन की बराबरी की।
नैनोड्रोन (The Nanodrone): यह सबसे वास्तविक परीक्षण था। उन्होंने एक मॉडल को एक छोटे ड्रोन के उड़ान पथ की भविष्यवाणी करने के लिए प्रशिक्षित किया। नया तरीका मानक तरीके के समान ही सटीकता से उड़ना सीख गया।

4. बोनस: "सेल्फ-करेक्टिंग" ड्रोन

सबसे दिलचस्प खोजों में से एक यह है कि प्रशिक्षण के बाद रोबोट कैसे व्यवहार करता है।

क्योंकि रोबोट प्रशिक्षण के दौरान एक "प्रेडिक्शन और करेक्शन" लूप का उपयोग करता है, वह वास्तव में उड़ते समय भी उसी लूप का उपयोग कर सकता है।
परिदृश्य: मान लीजिए कि ड्रोन उड़ रहा है और अचानक उसे एक GPS सिग्नल मिलता है जो कहता है, "आप वास्तव में वहां से 2 मीटर बाईं ओर हैं जहाँ आप सोचते थे कि आप हैं।"
पुराना तरीका: एक मानक रोबोट शायद इसे अनदेखा कर देगा या इसे सुचारू रूप से एकीकृत करने में संघर्ष करेगा।
tPC-RTRL का तरीका: रोबोट तुरंत अपने आंतरिक "प्रेडिक्शन इंजन" का उपयोग करके अपने पूरे मानसिक मानचित्र को समायोजित करता है कि वह कहाँ रहा है और वह कहाँ जा रहा है, उस नए GPS सिग्नल के आधार पर।
परिणाम: इस "सेल्फ-करेक्शन" ने ड्रोन की अंतिम लैंडिंग त्रुटि को केवल अंधे होकर उड़ने की तुलना में आधा कर दिया।

सारांश

यह पेपर AI की एक बड़ी बाधा को हल करने का दावा करता है: हम ऐसे रोबोट कैसे बनाएं जो बिना किसी विशाल मेमोरी बैंक की आवश्यकता के, घटनाओं के लंबे क्रम से सीख सकें?

उन्होंने ऐसा एक "लेजर" देकर किया जो यह ट्रैक करता है कि पिछले कार्यों का भविष्य पर क्या प्रभाव पड़ता है, जिससे वे कुशलतापूर्वक दीर्घकालिक सबक सीख पाते हैं। यह छोटे, कम शक्ति वाले उपकरणों (जैसे एज हार्डवेयर या न्यूरोमॉर्फिक चिप्स) पर स्मार्ट, अनुकूलन योग्य सिस्टम को प्रशिक्षित करना संभव बनाता है जो प्रशिक्षण के लिए सुपरकंप्यूटर की आवश्यकता के बजाय, चलते-फिरते (on the fly) सीख सकते हैं।

तकनीकी सारांश: टेम्पोरल प्रेडिक्टिव कोडिंगिंग के साथ लॉन्ग-रेंज डिपेंडेंसीज़ सीखना

1. समस्या विवरण

मानक बैकप्रोपैगेशन थ्रू टाइम (BPTT) रिकरेंट न्यूरल नेटवर्क (RNN) को प्रशिक्षित करने के लिए प्रमुख एल्गोरिदम है, लेकिन यह न्यूरोमॉर्फिक और एज हार्डवेयर के लिए उपयुक्त नहीं है। BPTT को रिवर्स-मोड ट्रैवर्सल करने के लिए संपूर्ण लेटेंट-स्टेट ट्रजेक्टरी (अवस्था पथ) को स्टोर करना आवश्यक होता है, जिससे लंबी अनुक्रमों (sequences) के लिए अत्यधिक मेमोरी और सिंक्रोनाइज़ेशन लागत उत्पन्न होती है।

टेम्पोरल प्रेडिक्टिव कोडिंग (tPC) एक आशाजनक विकल्प प्रदान करता है क्योंकि यह स्थानीय, समानांतर योग्य ऑपरेशन्स का उपयोग करके प्रेडिक्शन एरर को कम करता है, जो न्यूरोमॉर्फिक डिज़ाइन सिद्धांतों के अनुरूप है। हालाँकि, लेखक मानक tPC में एक महत्वपूर्ण संरचनात्मक सीमा की पहचान करते हैं: इसका रिकरेंट पैरामीटर अपडेट नियम केवल वर्तमान प्रेडिक्शन पर मापदंडों के तत्काल प्रभाव को कैप्चर करता है। यह लेटेंट-स्टेट ट्रजेक्टरी के साथ रिकरेंट मापदंडों के ऐतिहासिक प्रभाव की उपेक्षा करता है। फलस्वरूप, मानक tPC लंबी अवधि की निर्भरता (long-range dependencies) वाले कार्यों के लिए संघर्ष करता है और एक-चरण ट्रंकेटेड BPTT की तरह व्यवहार करता है।

2. कार्यप्रणाली: tPC-RTRL

इसे संबोधित करने के लिए, लेखक टेम्पोरल प्रेडिक्टिव कोडिंग विद रियल-टाइम रिकरेंट लर्निंग (tPC-RTRL) का प्रस्ताव करते हैं। यह विधि tPC की स्थानीय एरर डायनेमिक्स को रियल-टाइम रिकरेंट लर्निंग (RTRL) के ऑनलाइन क्रेडिट-असाइनमेंट तंत्र के साथ जोड़ती है।

मुख्य तंत्र: tPC-RTRL मानक tPC को एक ऑनलाइन इन्फ्लुएंस मैट्रिक्स ( $M^{(t)}$ ) के साथ संवर्धित करता है। यह मैट्रिक्स ट्रैक करता है कि वर्तमान प्रोपेगेटेड लेटेंट स्टेट, रिकरेंट मापदंडों पर किस प्रकार निर्भर है, जिससे नेटवर्क को अनरोल (unroll) किए बिना अनुक्रम के माध्यम से मापदंडों के ऐतिहासिक प्रभाव को प्रभावी ढंग से कैप्चर किया जा सके।
अपडेट नियम: रिकरेंट पैरामीटर अपडेट ( $\Delta \theta_{rec}$ $Δ θ_{r ec}$ ) को दो पदों को शामिल करने के लिए संशोधित किया गया है:
1. तत्काल पद (Immediate term): वर्तमान पैरामीटर अनुप्रयोग के सापेक्ष इंस्टेंटेनियस फ्री एनर्जी का ग्रेडिएंट (मानक tPC)।
2. ऐतिहासिक पद (Historic term): पिछले प्रोपेगेटेड स्टेट के सापेक्ष फ्री एनर्जी का ग्रेडिएंट, जिसे पिछले टाइमस्टेप के इन्फ्लुएंस मैट्रिक्स से गुणा किया जाता है।
  $\Delta \theta_{rec} = -\left( \frac{\partial F^{(t)}}{\partial \theta^{(t)}_{rec}} + \frac{\partial F^{(t)}}{\partial \bar{x}^{(t-1)}} M^{(t-1)} \right)$
रेजीम (Regimes): लेखक मुख्य रूप से प्रेडिक्टिव-रोलआउट रेजीम में कार्य करते हैं, जहाँ प्रोपेगेटेड स्टेट $\bar{x}^{(t)}$ , प्रेडिक्टेड स्टेट $\mu^{(t)}_x$ (फीडफॉरवर्ड प्रायर) होता है, न कि इन्फर्ड स्टेट $\hat{x}^{(t)}$ । यह सुनिश्चित करता है कि RTRL रिकर्सन सटीक है और ट्रेनिंग एवं टेस्ट-टाइम डायनेमिक्स के बीच निरंतरता बनी रहती है।
कार्यान्वयन: इस विधि को रियल-गेटेड लीनियर रिकरेंट यूनिट (RG-LRU) पर लागू किया गया है। चूंकि RG-LRU का रिकरेंस एलिमेंट-वाइज है, इसलिए इन्फ्लुएंस मैट्रिक्स ट्रैक्टेबल (ब्लॉक-स्पार्स) रहता है, जिससे घने (dense) RTRL की विशिष्ट $O(n^3)$ कम्प्यूटेशनल लागत से बचा जा जा सकता है।

3. मुख्य योगदान

एल्गोरिद्मिक नवाचार: tPC-RTRL का परिचय, जो लॉन्ग-रेंज टेम्पोरल क्रेडिट असाइनमेंट को बहाल करने के लिए टेम्पोरल प्रेडिक्टिव कोडिंगिंग के साथ ऑनलाइन इन्फ्लुएंस मैट्रिक्स को जोड़ने वाला पहला एल्गोरिदम है, जबकि यह स्थानिक (spatial) और टेम्पोरल लोकैलिटी को भी बनाए रखता है।
सैद्धांतिक सत्यापन: (प्रपोजिशन 1 के तहत) यह प्रमाण कि स्पष्ट धारणाओं (कन्वर्ज्ड इन्फरेंस, फिक्स्ड-प्रेडिक्शन धारणा और प्रेडिक्टिव-रोलआउट) के तहत, tPC-RTRL BPTT के सटीक ग्रेडिएंट्स को प्राप्त करता है। यह दर्शाता है कि स्थानीय, समानांतर योग्य अपडेट सैद्धांतिक रूप से ग्लोबल बैकप्रोपैगेशन की अनुकूलन गुणवत्ता से मेल खा सकते हैं।
अनुभवजन्य समानता (Empirical Equivalence): प्रदर्शन का प्रदर्शन कि tPC-RTRL विविध कार्यों में BPTT के लगभग समकक्ष प्रदर्शन प्राप्त करता है, जबकि मानक tPC पीछे रह जाता है, जो पुष्टि करता है कि मानक tPC की विफलता विशेष रूप से टेम्पोरल क्रेडिट असाइनमेंट की सीमाओं के कारण है।
फिल्टरिंग अनुप्रयोग: यह प्रदर्शन कि प्रशिक्षण के दौरान उपयोग किए जाने वाले इटरेटिव इन्फरेंस तंत्र का उपयोग तैनाती के समय रुक-रुक कर मिलने वाले स्टेट ऑब्जर्वेशन (फिल्टरिंग) को शामिल करने के लिए किया जा सकता है, जो ओपन-लूप रोलआउट की तुलना में नैनोड्रोन बेंचमार्क में पोजीशन एरर को काफी कम कर देता है।

4. प्रयोगात्मक परिणाम

लेखकों ने चार कार्यों पर tPC-RTRL का मूल्यांकन BPTT, मानक tPC और स्पेशियल BP (ट्रंकेटेड BPTT) के विरुद्ध किया:

कॉपी टास्क (Copy Task): लॉन्ग-रेंज डिपेंडेंसीज़ के लिए एक नियंत्रित डायग्नोस्टिक।
- परिणाम: BPTT और tPC-RTRL ने ~~99.99% सटीकता प्राप्त की। मानक tPC और स्पेशियल BP विफल रहे (~~40%), जो पुष्टि करता है कि tPC-RTRL सफलतापूर्वक टेम्पोरल गैप को पाटता है।
WikiText-103 (बाइट-लेवल लैंग्वेज मॉडलिंग):
- परिणाम: tPC-RTRL ने 1.865 का वैलिडेशन बिट्स-पर-कैरेक्टर (BPC) प्राप्त किया, जो BPTT (1.864) के लगभग समान है। मानक tPC 2.020 पर रुक गया।
CCMatrix (अंग्रेजी–फ्रेंच अनुवाद):
- परिgetResult: tPC-RTRL ने 20.23 का BLEU स्कोर प्राप्त किया, जो BPTT (20.29) के बराबर है। मानक tPC खराब प्रदर्शन (4.75) करता है, जो स्पेशियल BP के समान है।
नैनोड्रोन सिस्टम आइडेंटिफिकेशन:
- परिणाम: एक वास्तविक उड़ान डेटासेट पर, tPC-RTRL ने 0.506 मीटर का औसत पोजीशन एरर प्राप्त किया, जो BPTT (0.505 मीटर) के लगभग समान है। मानक tPC का प्रदर्शन खराब रहा (0.556 मीटर)।
फिल्टरिंग (नैनोड्रोन):
- परिणाम: टेस्ट-टाइम पर रुक-रुक कर मिलने वाले ग्राउंड-ट्रुथ करेक्शन के साथ प्रशिक्षित tPC-RTRL मॉडल का उपयोग करने से अंतिम पोजीशन एरर ओपन-लूप (0.805 मीटर) से घटकर हाई-फ्रीक्वेंसी करेक्शन के साथ 0.402 मीटर हो गया, जो साधारण स्टेट रिसेट्स से बेहतर है।

5. महत्व और दावे

पेपर का दावा है कि tPC-RTRL सफलतापूर्वक दो पूरक तंत्रों को एकीकृत करता है:

स्थानिक लोकैलिटी (Spatial Locality): प्रेडिक्टिव कोडिंग द्वारा प्रदान की गई, जो ग्लोबल रिवर्स-मोड ट्रैवर्सल की आवश्यकता को समाप्त करती है।
टेम्पोरल लोकैलिटी (Temporal Locality): RTRL द्वारा प्रदान की गई, जो पूर्ण स्टेट ट्रजेक्टरी को स्टोर करने और अनरोल करने की आवश्यकता को समाप्त करती है।

लेखक तर्क देते हैं कि यह संयोजन एक ऐसा लर्निंग रूल प्रदान करता है जो BPTT की अनुकूलन गुणवत्ता से समझौता किए बिना न्यूरोमॉर्फिक हार्डवेयर (जैसे Loihi, SpiNNaker) की सख्त मेमोरी और सिंक्रोनाइज़ेशन बाधाओं को पूरा करता है। विशेष रूप से, नैनोड्रोन मॉडल के लिए, tPC-RTRL 200-स्टेप क्षितिज (horizon) पर BPTT की तुलना में टेम्पोरल क्रेडिट असाइनमेंट के लिए आवश्यक स्टोरेज को लगभग 52 गुना कम कर देता है, और अनुक्रम की लंबाई के बावजूद मेमोरी का उपयोग स्थिर रहता है।

यह कार्य ऊर्जा-कुशल, ऑन-डिवाइस ट्रेनिंग के लिए एक मार्ग सुझाता है, विशेष रूप से उन निरंतर संचालित प्रणालियों (रोबोटिक्स, एज सेंसिंग) के लिए जहाँ डेटा क्रमिक रूप से आता है, मेमोरी सीमित होती है, और स्टेट करेक्शन के लिए रुक-रुक कर अवलोकन उपलब्ध हो सकते हैं। लेखक विनम्र रहते हुए कहते हैं कि हालांकि सख्त धारणाओं के तहत सैद्धांतिक समानता मौजूद है, उनकी अनुभवजन्य सफलता इस बात पर निर्भर करती है कि एल्गोरिदम व्यवहार में BPTT-समकक्ष दिशाओं के पास काम करता है, भले ही वे धारणाएं शिथिल हों। उन्होंने डीपर स्टैक्स तक इस पद्धति के विस्तार और वास्तविक न्यूरोमॉर्फिक हार्डवेयर पर ऊर्जा/लेटेंसी लाभों को सत्यापित करने को महत्वपूर्ण भविष्य की दिशाओं के रूप में पहचाना है।