🤖 machine learning

Error Amplification Limits ANN-to-SNN Conversion in Continuous Control

यह शोध पत्र निरंतर नियंत्रण (continuous control) के लिए ANN-to-SNN रूपांतरण में खराब प्रदर्शन के प्राथमिक कारण के रूप में त्रुटि प्रवर्धन (error amplification) की पहचान करता है और क्रॉस-स्टेप रेसिडुअल पोटेंशियल इनिशियलाइजेशन (CRPI) का प्रस्ताव करता है, जो एक हल्का तंत्र है जो प्रदर्शन को पर्याप्त रूप से पुनः प्राप्त करने के लिए समयबद्ध रूप से सहसंबद्ध त्रुटियों (temporally correlated errors) को दबाता है।

मूल लेखक: Zijie Xu, Zihan Huang, Yiting Dong, Kang Chen, Wenxuan Liu, Zhaofei Yu

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zijie Xu, Zihan Huang, Yiting Dong, Kang Chen, Wenxuan Liu, Zhaofei Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: एक "निरंतर" मस्तिष्क को "स्पाइकिंग" मस्तिष्क में बदलना

कल्पना कीजिए कि आपके पास एक अत्यधिक कुशल रोबोट ड्राइवर (एक आर्टिफिशियल न्यूरल नेटवर्क, या ANN) है जिसने वर्षों तक कार चलाने में महारत हासिल की है। वह सुचारू रूप से गाड़ी चलाता है, सटीक मोड़ लेता है और कभी दुर्घटनाग्रस्त नहीं होता। यह रोबोट बहुत अच्छा है, लेकिन यह बिजली का बहुत भूखा भी है।

अब, कल्पना कीजिए कि आप इस ड्राइवर को एक छोटे, बैटरी से चलने वाले खिलौना कार (एक स्पाइकिंग न्यूरल नेटवर्क, या SNN) में डालना चाहते हैं। SNN वास्तविक कीट के मस्तिष्क की तरह होते हैं: वे बिजली के निरंतर प्रवाह के बजाय छोटे, अलग-थलग इलेक्ट्रिकल "स्पाइक्स" (spikes) का उपयोग करके संचार करते हैं। वे अविश्वसनीय रूप से ऊर्जा-कुशल होते हैं, जो ड्रोन या पहनने योग्य उपकरणों (wearables) जैसे बैटरी से चलने वाले उपकरणों के लिए एकदम सही है।

इस शोध का लक्ष्य रोबोट ड्राइवर की "भूख" को खत्म करना है, यानी उसके मस्तिष्क को बिना दोबारा सिखाए उसे "स्पाइकिंग" संस्करण में बदलना। इसे ANN-to-SNN कन्वर्जन कहा जाता है।

समस्या: छोटी गलतियों का "डोमिनो प्रभाव" (Domino Effect)

शोधकर्ताओं ने पाया कि हालांकि यह रूपांतरण सरल कार्यों (जैसे फोटो में बिल्ली को पहचानना या एक साधारण वीडियो गेम खेलना) के लिए बहुत अच्छा काम करता है, लेकिन यह तब विफल हो जाता है जब रोबोट को निरंतर नियंत्रण (continuous control) करना होता—जैसे कार चलाना, चलना, या एक डंडे को संतुलित करना।

यहाँ उपमा (Analogy) दी गई है:
कल्पना कीजिए कि रोबोट ड्राइवर एक रस्सी (tightrope) पर चल रहा है।

पुराने मस्तिष्क में (ANN): हर कदम पूरी तरह से गणना किया गया है।
नए मस्तिष्क में (SNN): क्योंकि नया मस्तिष्क "स्पाइक्स" के माध्यम से संचार करता है, इसलिए यह अपने पहले कदम में एक छोटी, लगभग अदृश्य गलती करता है। शायद यह 0.01% बहुत अधिक बाईं ओर झुक जाता है।

एक सरल कार्य (जैसे फोटो लेना) में, वह छोटा सा झुकाव मायने नहीं रखता। लेकिन निरंतर नियंत्रण (जैसे रस्सी पर चलना) में, वह छोटा सा झुकाव आपके संतुलन को बदल देता है। क्योंकि आपका संतुलन अब थोड़ा बिगड़ गया है, इसलिए आपके अगले कदम को उस झुकाव की भरपाई करनी होगी। लेकिन नया मस्तिष्क फिर से एक समान छोटी सी गलती करता है।

"त्रुटि प्रवर्धन" (Error Amplification) की घटना:
गलतियाँ एक-दूसरे को रद्द करने के बजाय, जुड़ती जाती हैं।

कदम 1: थोड़ा सा बाईं ओर झुकें।
कदम 2: क्योंकि आप बाईं ओर झुक रहे हैं, आप मुआवजे के रूप में फिर से बाईं ओर झुकते हैं, लेकिन नया मस्तिष्क गणना में गड़बड़ी करता है और आप और भी अधिक बाईं ओर झुक जाते हैं।
कदम 3: अब आप खतरनाक रूप से बाईं ओर झुक गए हैं।

जब तक रोबोट 100 कदम चल लेता है, वह 0.01% की छोटी सी त्रुटि एक बड़ी गिरावट में बदल जाती है। पेपर इसे एरर एम्प्लीफिकेशन (Error Amplification) कहता है। रोबोट केवल एक गलती नहीं करता; यह एक ऐसी गलती करता है जो समय के साथ बदतर होती जाती है, जिससे वह पूरी तरह से रास्ते से भटक जाता है।

समाधान: "मेमोरी रिसेट" (CRPI)

शोधकर्ताओं ने महसूस किया कि समस्या केवल गलती नहीं थी, बल्कि समस्या यह थी कि रोबोध अपने अगले कदम को शुरू करने से पहले यह "भूल" गया था कि उसने एक गलती की थी। मानक रूपांतरण पद्धति में, हर नए निर्णय की शुरुआत में रोबोट का आंतरिक "बैटरी" (मेम्ब्रेन पोटेंशियल) शून्य पर रीसेट हो जाता है, जिससे उसके पिछले एरर का इतिहास मिट जाता है।

उन्होंने क्रॉस-स्टेप रेसिडुअल पोटेंशियल इनिशियलाइजेशन (CRPI) नामक एक सुधार प्रस्तावित किया।

उपमा:
कल्पना कीजिए कि रोबोट एक बैकपैक के साथ रस्सी पर चल रहा है।

पुरानी विधि: हर बार जब रोबोट एक कदम उठाता है, तो वह अपने बैकपैक को पूरी तरह खाली कर देता है। यदि वह पिछले कदम में लड़खड़ाया था, तो बैकपैक खाली है, इसलिए उसे अगले कदम के लिए अपना संतुलन समायोजित करने की "याद" नहीं रहती। वह बस वही लड़खड़ाना दोहराता है।
नई विधि (CRPI): रोबोट अपने पिछले एरर का एक छोटा सा हिस्सा अपने बैकपैक में रखता है। जब वह अगला कदम शुरू करता है, तो वह देखता है कि पिछले कदम में बैकपैक में क्या था और कहता है, "आह, मैं पिछली बार बाईं ओर झुका था, इसलिए मुझे कदम उठाने से पहले ही थोड़ा दाईं ओर झुकना चाहिए।"

पिछले एरर की इस "रेसिडुअल" (अवशिष्ट) स्मृति को साथ लेकर चलकर, रोबोट उसी गलती को दोबारा करने की प्रवृत्ति को रोक सकता है। यह डोमिनो के गिरने की प्रक्रिया को रोकता है।

परिणाम: रोबोट को बचाना

शोधकर्ताओं ने विभिन्न चुनौतीपूर्ण कार्यों पर इस नई विधि का परीक्षण किया, जिसमें चलने वाले रोबोट (MuJoCo) से लेकर विजन-आधारित कार्य (DeepMind Control Suite) तक शामिल हैं।

CRPI से पहले: परिवर्तित "स्पाइकिंग" रोबोट बहुत खराब प्रदर्शन करते थे, अक्सर रास्ता भटक जाने के कारण कार्य पूरा करने में विफल रहते थे।
CRPI के बाद: उनका प्रदर्शन आसमान छू गया। स्पाइकिंग रोबोट अब मूल, अधिक बिजली खपत करने वाले रोबोटों के लगभग समान रूप से गाड़ी चलाने, चलने और संतुलन बनाने में सक्षम थे।
बोनस: चूंकि वे अभी भी "स्पाइकिंग" मस्तिष्क का उपयोग कर रहे हैं, वे अविश्वसनीय रूप से ऊर्जा-कुशल बने रहे, और मूल प्रणाली की तुलना में बहुत कम शक्ति का उपयोग किया।

सारांश

पेपर ने खोजा कि जटिल, निरंतर कार्यों के लिए कुशल "स्पाइकिंग" मस्तिष्क को बदलना इसलिए विफल हो रहा था क्योंकि छोटी त्रुटियां एक पहाड़ी से लुढ़कती बर्फ के गोले (snowball) की तरह जमा होती जा रही थीं। उन्होंने इसे ठीक करने के लिए रोबोट को उसकी पिछली गलतियों की "स्मृति" दी, जिससे वह त्रुटि बहुत बड़ी होने से पहले ही अपना रास्ता सुधार सके। यह संभव बनाता है कि जटिल, उच्च-प्रदर्शन वाले AI को बिना दोबारा प्रशिक्षित किए, छोटे, बैटरी से चलने वाले उपकरणों पर चलाया जा सके।

तकनीकी सारांश: निरंतर नियंत्रण में ANN-से-SNN रूपांतरण में त्रुटि प्रवर्धन सीमाएँ

समस्या विवरण
जबकि स्पाइकिंग न्यूरल नेटवर्क (SNNs) संसाधन-सीमित एज डिवाइसेस पर रीइन्फोर्समेंट लर्निंग (RL) के लिए महत्वपूर्ण ऊर्जा दक्षता लाभ प्रदान करते हैं, पूर्व-प्रशिक्षित आर्टिफिशियल न्यूरल नेटवर्क (ANNs) को SNNs में रूपांतरित करने में ऐतिहासिक रूप से निरंतर नियंत्रण डोमेन में संघर्ष करना पड़ा है। मौजूदा रूपांतरण विधियाँ, जो इमेज क्लासिफिकेशन और डिस्क्रीट कंट्रोल (जैसे कि एटाari) में प्रतिस्पर्धी प्रदर्शन करती हैं, निरंतर एक्शन स्पेस (जैसे कि रोबोटिक्स) को लागू करने पर पर्याप्त प्रदर्शन गिरावट का सामना करती हैं। यह शोध पत्र पहचान करता है कि यह गिरावट केवल तात्कालिक एक्शन सन्निकटन त्रुटियों (instantaneous action approximation errors) के कारण नहीं है, बल्कि यह त्रुटि प्रवर्धन (error amplification) की एक घटना से प्रेरित है। निरंतर नियंत्रण में, रूपांतरण के दौरान उत्पन्न होने वाली छोटी एक्शन त्रुटियाँ निर्णय चरणों (decision steps) में टेम्पोरल रूप से सह-संबंधित (temporally correlated) हो जाती हैं। ये त्रुटियाँ प्रगतिशील स्टेट डिस्ट्रीब्यूशन शिफ्ट (state distribution shifts) उत्पन्न करती हैं, जिससे रूपांतरित SNN द्वारा उत्पन्न प्रक्षेपवक्र (trajectories), लंबे क्षितिज (long horizons) पर इष्टतम ANN नीतियों से काफी विचलित हो जाते हैं, जिससे गंभीर संचयी प्रदर्शन हानि होती है।

कार्यप्रणाली: क्रॉस-स्टेप रेसिडुअल पोटेंशियल इनिशियलाइजेशन (CRPI)
त्रुटि प्रवर्धन को संबोधित करने के लिए, लेखक क्रॉस-स्टेप रेसिडुअल पोटेंशियल इनिशियलाइजेशन (CRPI) का प्रस्ताव करते हैं, जो एक हल्का, ग्रेडिएंट-मुक्त तंत्र है जिसे बिना किसी अतिरिक्त प्रशिक्षण के टेम्पोरल रूप से सह-संबंधित त्रुटियों को दबाने के लिए डिज़ाइन किया गया है।

तंत्र: यह विधि इस अवलोकन पर कार्य करती है कि एक निर्णय चरण ( $k$ ) के अंत में रेसिडुअल मेम्ब्रेन पोटेंशियल, अगले चरण ( $k+1$ ) की त्रुटियों के साथ सकारात्मक टेम्पोरल सहसंबंध प्रदर्शित करते हैं। CRPI अगले निर्णय चरण के न्यूरॉन स्टेट्स को इनिशियलाइज़ करने के लिए इन रेसिडुअल मेम्ब्रेन पोटेंशियल्स को आगे ले जाता है।
गणितीय सूत्रीकरण: मान लीजिए कि $\varepsilon^l_k$ चरण $k$ पर रेसिडुअल मेम्ब्रेन पोटेंशियल त्रुटि को दर्शाता है। लक्ष्य टेम्पोरल सहसंबंध $E[\cos(\tilde{\varepsilon}^l_{k+1}, \varepsilon^l_k)] \le 0$ को दबाना है। एक फर्स्ट-ऑर्डर सन्निकटन लागू करके, चरण $k+1$ के लिए प्रारंभिक मेम्ब्रेन पोटेंशियल को इस प्रकार समायोजित किया जाता है:
$v^l_{k+1}[0] \leftarrow v^l_{k+1}[0] + \alpha(v^l_k[T] - v^l_k[0])$
जहाँ $\alpha$ एक कोरिलेशन गुणांक है, $v[T]$ अंतिम मेम्ब्रेन पोटेंशियल है, और $v[0]$ प्रारंभिक पोटेंशियल है।
कार्यान्वयन: एल्गोरिदम रेसिडुअल पोटेंशियल को क्लिप करता है ताकि यह सुनिश्चित हो सके कि यह वैध फायरिंग रेंज के भीतर रहे और निरंतर बर्स्टिंग (bursting) को रोके। CRPI को मौजूदा ANN-से-SNN रूपांतरण पाइपलाइनों (जैसे कि Integrate-and-Fire, Signed Neuron, Multi-Threshold, या Differential Coding मॉडल का उपयोग करने वाले) में निर्बाध रूप से एकीकृत करने के लिए डिज़ाइन किया गया है और इसके लिए किसी आर्किटेक्चरल परिवर्तन या पुन: प्रशिक्षण की आवश्यकता नहीं है।

मुख्य योगदान

त्रुटि प्रवर्धन की पहचान: यह शोध पत्र एक व्यवस्थित विश्लेषण प्रदान करता है जो यह दर्शाता है कि निरंतर नियंत्रण में प्रदर्शन गिरावट मुख्य रूप से टेम्पोरली सह-संबंधित एक्शन त्रुटियों के कारण होने वाले स्टेट डिस्ट्रीब्यूशन शिफ्ट द्वारा संचालित होती है, न कि तात्कालिक एक्शन मिसमैच द्वारा।
CRPI तंत्र: एक नवीन इन्फरेंस-टाइम इनिशियलाइजेशन रणनीति का परिचय, जो रेसिडुअल मेम्ब्रेन पोटेंशियल्स का लाभ उठाकर निर्णय चरणों के बीच रूपांतरण त्रुटियों को स्पष्ट रूप से डीकोरिलेट (decorrelate) करती है।
व्यापक मूल्यांकन: वेक्टर-आधारित (MuJoCo) और विजन-आधारित (DeepMind Control Suite) बेंचमार्क पर व्यापक प्रयोगों से पता चलता है कि CRPI रूपांतरित SNNs में खोए हुए प्रदर्शन को लगातार पुनः प्राप्त करता है, और अक्सर चुनौतीपूर्ण विजुअल कार्यों में सीधे प्रशिक्षित SNNs से बेहतर प्रदर्शन करता है।
ऊर्जा दक्षता सत्यापन: अध्ययन पुष्टि करता है कि CRPI नगण्य कंप्यूटेशनल ओवरहेड (1% से कम अतिरिक्त ऑपरेशन्स) पेश करता है, जबकि SNNs की अंतर्निहित उच्च ऊर्जा दक्षता को बनाए रखता है।

प्रायोगिक परिणाम

प्रदर्शन रिकवरी: MuJoCo बेंचमार्क पर, CRPI ने रूपांतरित SNNs के एवरेज परफॉरमेंस रेशियो (APR) को महत्वपूर्ण रूप से सुधारा। उदाहरण के लिए, इंटीग्रेट-एंड-फायर (IF) न्यूरॉन्स और 16 सिमुलेशन स्टेप्स के साथ, TD3-कन्वर्टेड पॉलिसी के लिए APR 79.11% से बढ़कर 85.10% हो गया। कुछ कॉन्फ़िगरेशन में (जैसे कि 4 थ्रेशोल्ड के साथ MT न्यूरॉन्स), CRPI के साथ रूपांतरित SNN ने मूल ANN प्रदर्शन (APR > 100%) को भी पार कर लिया।
विजुअल कंट्रोल: DeepMind Control Suite कार्यों में, CRPI ने रूपांतरित SNNs को ANN बेसलाइन प्रदर्शन का 91.84% तक प्राप्त करने में सक्षम बनाया (CRPI के बिना 69.60% की तुलना में), जो वर्ल्ड मॉडल्स का उपयोग करने वाले सीधे प्रशिक्षित SOTA SNN दृष्टिकोणों से भी बेहतर है।
त्रुटि डीकोरिलेशन: अनुभवजन्य विश्लेषण (Empirical analysis) ने पुष्टि की कि कोरिलेशन पैरामीटर $\alpha$ को बढ़ाने से क्रमिक चरणों के बीच रेसिडुअल मेम्ब्रेन पोटेंशियल त्रुटियों और एक्शन त्रुटियों के कोसाइन सिमिलरिटी में निरंतर कमी आई, जो सीधे तौर पर त्रुटि संचय को दबाने की इसकी क्षमता को प्रमाणित करता है।
मजबूती (Robustness): यह विधि विभिन्न न्यूरॉन मॉडल्स (IF, SNM, MT, DC), सिमुलेशन टाइम स्टेप्स और अंतर्निहित RL एल्गोरिदम (DDPG, TD3, SAC, DrQ-v2) में मजबूत साबित हुई।

महत्व और दावे
यह शोध पत्र निरंतर नियंत्रण को ANN-से-SNN रूपांतरण के लिए एक महत्वपूर्ण और चुनौतीपूर्ण बेंचमार्क के रूप में स्थापित करता है, यह रेखांकित करते हुए कि छोटे सन्निकटन त्रुटियां लंबे क्षितिज वाले निर्णय लेने वाले कार्यों में मजबूती से प्रवर्धित हो सकती हैं। लेखक दावा करते हैं कि CRPI प्रभावी रूप से इस प्रवर्धन को कम करता है, जिससे सीधे प्रशिक्षण के लिए आवश्यक एनवायरनमेंट इंटरेक्शन की लागत के बिना निरंतर नियंत्रण परिदृश्यों में ऊर्जा-कुशल SNN एजेंटों की तैनाती संभव होती है। यह कार्य इस बात पर जोर देता है कि निरंतर नियंत्रण में स्टेट ट्रेजेक्टरीज की स्थिरता सर्वोपरि है और सफल रूपांतरण के लिए टेम्पोरल एरर कोरिलेशन का प्रबंधन करना आवश्यक है। लेखक नोट करते हैं कि भविष्य के कार्य को $\alpha$ के एडेप्टिव ट्यूनिंग और त्रुटि संचय के प्रति संवेदनशील अन्य अनुक्रमिक जनरेशन कार्यों तक इस फ्रेमवर्क के विस्तार पर ध्यान केंद्रित कर सकता है।

मुख्य चित्र: एक "निरंतर" मस्तिष्क को "स्पाइकिंग" मस्तिष्क में बदलना

समस्या: छोटी गलतियों का "डोमिनो प्रभाव" (Domino Effect)

समाधान: "मेमोरी रिसेट" (CRPI)

परिणाम: रोबोट को बचाना

सारांश

इसी तरह के और पेपर