🤖 AI

Black-Mamba: Biologically-Inspired Leaky Accumulation for Conceptual Knowledge under Distribution Drift

ब्लैक-मांबा (Black-Mamba) एक जैविक रूप से प्रेरित, टेस्ट-टाइम एडेप्टिव फोरकास्टिंग मॉडल है जो निरंतर त्रुटि-संचालित अपडेट के स्थान पर एक चयनात्मक, इवेंट-ड्रिवन मेमोरी मैकेनिज्म का उपयोग करके वितरण ड्रिफ्ट (distribution drift) के तहत दक्षता और मजबूती में सुधार करता है, जो केवल तभी सक्रिय होता है जब टेम्पोरल रूप से संचित सरप्राइज़ल (surprisal) एक वास्तविक रिजीम परिवर्तन का संकेत देता है।

मूल लेखक: Giuseppe Soriano, Nicola Tonellotto, Alberto Gotta

प्रकाशित 2026-07-22

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Giuseppe Soriano, Nicola Tonellotto, Alberto Gotta

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप भविष्य की भविष्यवाणी करने की कोशिश कर रहे हैं, जैसे कि कल मौसम कैसा होगा या आपके शहर को अगले सप्ताह कितनी बिजली की आवश्यकता होगी। कंप्यूटर विज्ञान की दुनिया में, इसे टाइम-सीरीज फोरकास्टिंग (time-series forecasting) कहा जाता है। आमतौर पर, हम कंप्यूटर को अतीत के डेटा के एक विशाल ढेर को दिखाकर सिखाते हैं और उम्मीद करते हैं कि वे नियमों को सीख लेंगे। लेकिन वास्तविक दुनिया अव्यवस्थपूर्ण और लगातार बदलती रहती है; नियम स्वयं समय के साथ बदलते रहते हैं। इसे डिस्ट्रीब्यूशन ड्रिफ्ट (distribution drift) कहा जाता है। इसे ऐसे समझें जैसे आप कार चलाना सीखने की कोशिश कर रहे हों, लेकिन हर कुछ मिनटों में सड़क डामर से बदलकर बर्फ में बदल जाती है, या ट्रैफिक लाइट एक नए पैटर्न में चमकने लगती है। यदि आपका मस्तिष्क (या कंप्यूटर मॉडल) हर एक छोटी सी हलचल या अचानक आई हवा के झोंके पर इस तरह प्रतिक्रिया करता है जैसे कि पूरी सड़क ही बदल गई हो, तो आप अनियंत्रित, भ्रमित और थका हुआ महसूस करेंगे। यह नॉन-स्टेशनैरिटी (non-stationarity) की समस्या है: वातावरण गतिशील है, और भविष्यवक्ता को बिना पागल हुए इसके साथ तालमेल बिठाने की आवश्यकता है।

यहाँ आता है ब्लैक-मैम्बा (Black-Mamba), एक नया विचार कि कंप्यूटर काम करते समय कैसे सीख सकते हैं, जिसे टेस्ट-टाइम अडैप्टेशन (test-time adaptation) कहा जाता है। वर्तमान के अधिकांश तरीके एक घबराए हुए ड्राइवर की तरह हैं जो सड़क पर एक पत्ता देखते ही ब्रेक लगा देता है, यह मानकर कि वह एक विशाल पत्थर है। वे अपनी "याददाश्त" को तुरंत अपडेट करते हैं जब भी वे एक छोटी सी गलती करते हैं। इस शोध पत्र के लेखक तर्क देते हैं कि यह बहुत अधिक प्रतिक्रियाशील (reactive) है। वे एक ऐसा सिस्टम प्रस्तावित करते हैं जो एक बुद्धिमान, अनुभवी ड्राइवर की तरह कार्य करता है जो यह देखने के लिए इंतजार करता है कि क्या सड़क वास्तविक रूप से बदल रही है, इससे पहले कि वह कोई बड़ा समायोजन करे। एक जैविक तकनीक का उपयोग करके, जो हमारे मस्तिष्क द्वारा दीर्घकालिक यादें बनाने के तरीके से प्रेरित है, ब्लैक-मैम्बा शोर (noise) को छानता है और केवल तभी अपनी याददाश्त को अपडेट करता है जब सबूत मजबूत और निरंतर हों।

समस्या: घबराया हुआ ड्राइवर

कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ नियम समय के साथ धीरे-धीरे बदलते हैं। कभी गुरुत्वाकर्षण थोड़ा भारी हो जाता है; कभी दुश्मन तेजी से चलते हैं। यदि आप एक अकेले दुश्मन से टकराते हैं और तुरंत यह मान लेते हैं कि पूरा गेम फिजिक्स इंजन टूट गया है, तो आप पूरी तरह से अलग तरह से खेलना शुरू कर सकते हैं, शायद गोल-गोल घूमकर या चट्टानों से कूदकर। यह वही होता है जो कई वर्तमान AI मॉडलों के साथ होता है। वे हर एक भविष्यवाणी त्रुटि (prediction error) को इस संकेत के रूप में देखते हैं कि दुनिया मौलिक रूप से बदल गई है।

हालाँकि, वास्तविक दुनिया में, हर गलती का मतलब यह नहीं है कि नियम बदल गए हैं। कभी-कभी आपने बस एक रैंडम गलती की होती है, या कोई अजीब एक बार होने वाली घटना हुई होती है (जैसे हवा का अचानक झोंका)। यदि कोई मॉडल अपनी "दीर्घकालिक स्मृति" को हर छोटी गलती होने पर अपडेट करता है, तो वह भ्रमित हो जाता है। वह पुराने नियमों को भूलने लगता है क्योंकि वह शोर के प्रति प्रतिक्रिया करने में बहुत व्यस्त है। शोध पत्र इसे "वेरिएंस एम्प्लीफिकेशन" (variance amplification) कहता है, जो एक फैंसी तरीका है यह कहने का कि मॉडल अस्थिर और चंचल हो जाता है। लेखक एक बड़ा सवाल पूछते हैं: एक मॉडल को वास्तव में अपना निर्णय कब बदलना चाहिए?

समाधान: साक्ष्य का "लीकी बकेट" (Leaky Bucket)

लेखक, ग्यूसेप सोरियानो, निकोला टोनेलेटो और अल्बर्टो गोटा ने ब्लैक-मैम्बा नामक एक प्रणाली बनाई है। नाम एक सांप से आया है, लेकिन विचार जीव विज्ञान से आया है। उन्होंने देखा कि मानव मस्तिष्क यादें कैसे बनाता है। वैज्ञानिकों ने पाया है कि हमारा मस्तिष्क हमारे द्वारा अनुभव की जाने वाली हर चीज़ को हमेशा के लिए संग्रहीत नहीं करता है। इसके बजाय, उनमें एक तंत्र होता है जिसे लॉन्ग-टर्म पोटेंशिएशन (Long-Term Potentiation) कहा जाता है। मूल रूप से, कोई स्मृति हमारे दीर्घकालिक भंडारण में तभी "लिखी" जाती है जब संकेत पर्याप्त मजबूत हो या बार-बार होता हो। एक अकेली चिंगारी आग नहीं जलाती; आपको एक स्थिर लौ की आवश्यकता होती है।

ब्लैक-मैम्बा एक चतुर गणितीय उपकरण का उपयोग करता है जिसे लीकी इंटीग्रेटर (leaky integrator) कहा जाता है। कल्पना कीजिए कि आपके पास एक बाल्टी है जिसके नीचे एक छोटा सा छेद है। हर बार जब मॉडल कोई गलती करता है, तो वह बाल्टी में एक पत्थर डालता है।

यदि गलतियाँ केवल रैंडम शोर (जैसे कुछ कंकड़ गिरना) हैं, तो वे बाल्टी भरने से पहले छेद से बाहर निकल जाती हैं। मॉडल उन्हें अनदेखा कर देता है।
लेकिन यदि दुनिया वास्तव में बदल जाती है (जैसे सड़क बर्फ में बदल जाना), तो मॉडल एक ही दिशा में गलतियाँ करता रहता है। पत्थर बाहर निकलने की दर से अधिक तेजी से जमा होते हैं।
जैसे ही पानी का स्तर (संचित साक्ष्य) एक विशिष्ट रेखा तक पहुँच जाता है, मॉडल कहता है, "ठीक है, नियम निश्चित रूप से बदल गए हैं!" और अपनी याददाश्त को अपडेट करता है।

यह सीखने की प्रक्रिया को एक निरंतर, उन्मादी प्रतिक्रिया से बदलकर एक चयनात्मक, इवेंट-ड्रिवन (event-driven) प्रक्रिया में बदल देता है। मॉडल एक नए तरीके से सोचने के लिए प्रतिबद्ध होने से पहले "पर्याप्त साक्ष्य" का इंतजार करता है।

उन्होंने क्या पाया

टीम ने बिजली के उपयोग, यातायात पैटर्न और शेयर बाजार सहित कई वास्तविक दुनिया के डेटासेट पर, साथ ही विशिष्ट प्रकार के परिवर्तनों वाले कृत्रिम (सिंथेटिक) डेटा पर ब्लैक-मैम्बा का परीक्षण किया।

यह ऊर्जा और समय बचाता है: सबसे उल्लेखनीय परिणाम यह है कि ब्लैक-मैम्बा मानक "घबराए हुए" मॉडलों की तुलना में 52.19% कम बार अपनी याददाश्त अपडेट करता है। उनके परीक्षणों में, इसने समान प्रदर्शन करते हुए 1.5 मिलियन से अधिक अनावश्यक अपडेट बचाए।
यह वास्तविक दुनिया की अव्यवस्था को बेहतर ढंग से संभालता है: एक्सचेंज रेट (Exchange Rate) नामक एक डेटासेट पर, जो कठिन, दीर्घकालिक परिवर्तनों के लिए जाना जाता है, मानक मॉडल वास्तव में समय के साथ बदतर होते गए क्योंकि वे शोर पर अत्यधिक प्रतिक्रिया करते रहे। ब्लैक-मैम्बा ने, सबूत का इंतजार करके, इस जाल से खुद को बचाया। 720 स्टेप्स के लंबे प्रेडिक्शन होराइजन पर, यह निरंतर-अपडेट करने वाले मॉडलों की तुलना में मापने योग्य रूप से अधिक सटीक था।
यह कठिनाई के प्रति स्मार्ट है: सिस्टम स्वाभाविक रूप से तब अधिक बार अपडेट होता है जब डेटा कठिन होता है और जब चीजें आसान होती हैं तो कम बार। डेटा के एक हिस्से की कठिनाई और ब्लैक-मैम्बा द्वारा कितनी बार अपडेट किया गया, इसके बीच का सहसंबंध +0.819 था, जो दर्शाता है कि इसे पता है कि कब ध्यान देना है।

निष्कर्ष

ब्लैक-मैम्बा यह दावा नहीं करता है कि यह हर पूर्वानुमान समस्या को तुरंत हल करने वाला कोई जादुई समाधान है। लेखक सावधानी बरतते हुए कहते हैं कि कुछ बहुत ही सुचारू, अनुमानित सिंथेटिक डेटा पर, पुराना "सब कुछ अपडेट करें" वाला तरीका अभी भी थोड़ा अधिक सटीक (एक बहुत छोटे प्रतिशत से) है। हालाँकि, अव्यवस्थित, शोर भरी वास्तविक दुनिया में, ब्लैक-मैम्बा सुझाव देता है कि हर फुसफुसाहट पर प्रतिक्रिया करने के बजाय सबूत का इंतजार करना बेहतर है।

प्रकृति की रणनीति की नकल करते हुए—जहाँ एक स्मृति को भंडारण के लिए पात्र के रूप में "टैग" किया जाता है लेकिन उसे केवल तभी "कंसोलिडेट" किया जाता है जब संकेत बना रहे—ब्लैक-मैम्बा AI के लिए ऑन-द-फ्लाई सीखने का एक अधिक मजबूत तरीका प्रदान करता है। यह साबित करता है कि कभी-कभी, एक कंप्यूटर के लिए सबसे समझदारी भरा काम कुछ न करना होता है—जब तक कि उसे बिल्कुल आवश्यक न हो।

तकनीकी सारांश: Black-Mamba

समस्या का निरूपण (Problem Formulation)

यह शोध पत्र गैर-स्थिर स्थितियों (non-stationary conditions) के तहत समय-श्रृंखला पूर्वानुमान (time-series forecasting) की चुनौती को संबोधित करता है, जहाँ भविष्य के अवलोकनों का सशर्त वितरण (conditional distribution) समय के साथ विकसित होता है (डिस्ट्रीब्यूशन ड्रिफ्ट)। जबकि हालिया टेस्ट-टाइम एडेप्टिव मॉडल इन्फरेंस के दौरान आंतरिक अवस्थाओं (internal states) को अपडेट करके इसे संभालने का प्रयास करते हैं, वे आमतौर पर अनुकूलन (adaptation) को तात्कालिक भविष्यवाणी त्रुटियों (instantaneous prediction errors) या "आश्चर्य" (surprise) से जोड़ देते हैं।

लेखकों का तर्क है कि यह जुड़ाव दोषपूर्ण है क्योंकि भविष्यवाणी त्रुटि स्थिर वितरण बदलाव (persistent distribution shift) और स्टोकेस्टिक नवाचारों (stochastic innovations) (शोर, आउटलेर्स, क्षणिक उतार-चढ़ाव) का मिश्रण है। प्रत्येक तात्कालिक त्रुटि पर प्रतिक्रिया करना इन दोनों स्रोतों को मिला देता है, जिससे अनावश्यक अपडेट, वेरिएंस प्रवर्धन (variance amplification), और संभावित विनाशकारी विस्मृति (catastrophic forgetting) होती है। मुख्य समस्या यह पहचानना है कि कब एक त्रुटि एक वास्तविक 'रेजीम परिवर्तन' का संकेत देती है जिसके लिए मेमोरी अपडेट की आवश्यकता है, बनाम कब यह केवल क्षणिक शोर (transient noise) है।

कार्यप्रणाली: Black-Mamba आर्किटेक्चर

लेखक Black-Mamba का प्रस्ताव करते हैं, जो एक टेस्ट-टाइम एडेप्टिव फोरकास्टिंग आर्किटेक्चर है जो ऑनलाइन अनुकूलन को साक्ष्य-गेटेड स्टेट ट्रैकिंग (evidence-gated state tracking) के रूप में पुनर्गठित करता है। यह प्रणाली तीन प्रमुख घटकों पर आधारित है:

बेस प्रेडिक्टर (Base Predictor): एक फ्रोजन बैकबोन (जिसे LoRA एडेप्टर के साथ SiMBA बैकबोन के रूप में लागू किया गया है) जो प्रारंभिक पूर्वानुमान उत्पन्न करता है।
सरप्राइज़ल एनकोडर (Surprisal Encoder): तात्कालिक भविष्यवाणी हानि ( $\ell_t$ ) को एक स्केलर सरप्राइज़ल सिग्नल ( $s_t$ ) में परिवर्तित करता है।
लीकी एविडेंस एक्युमुलेटर (Leaky Evidence Accumulator): मेमोरी को तुरंत अपडेट करने के बजाय, मॉडल $s_t$ को एक लीकी इंटीग्रेटर के माध्यम से पारित करता है:
$u_t = \lambda u_{t-1} + s_t$
जहाँ $0 < \lambda < 1$ । यह एक्युमुलेटर पुराने डेटा को कम महत्व (discount) देते हुए समय के साथ साक्ष्य को एकीकृत करता है।

इवेंट-ट्रिगर्ड अपडेट पॉलिसी (Event-Triggered Update Policy):
मेमोरी अपडेट ( $\phi_{t+1}$ ) केवल तभी होता है जब संचित साक्ष्य (accumulated evidence) $u_t$ एक थ्रेशोल्ड $\tau$ से अधिक हो जाता है:

यदि $u_t \ge \tau$ : मेमोरी अपडेट करें (उदाहरण के लिए, LoRA एडेप्टर पर एक ग्रेडिएंट स्टेप के माध्यम से) और एक्युमुलेटर को रीसेट/डिके करें ( $u_t \leftarrow \rho u_t$ )।
यदि $u_t < \tau$ : मेमोरी अवस्था को अपरिवर्तित रखें ( $\phi_{t+1} = \phi_t$ )।

सैद्धांतिक आधार (Theoretical Foundations)

यह दृष्टिकोण दो समानांतर अंतर्ज्ञानों पर आधारित है:

जैविक (Biological): यह लॉन्ग-टर्म पोटेंशिएशन (LTP) और सिनैप्टिक टैगिंग एंड कैप्चर से प्रेरित है। टिकाऊ मेमोरी के लिए बार-बार या मजबूत सक्रियण की आवश्यकता होती है, न कि हर स्थानीय विक्षोभ (perturbation) की। लीकी एक्युमुलेटर एक "लेटेंट एविडेंस रिज़र्वोइर" के रूप में कार्य करता है, जहाँ केवल समयबद्ध रूप से समन्वित सुदृढ़ीकरण ही समेकन (consolidation) की ओर ले जाता है।
सांख्यिकीय (Statistical): मॉडल ड्रिफ्ट को एक अनुमानित घटक ( $\Delta_{pred}$ $Δ_{p r e d}$ ) और एक इनोवेशन नॉइज़ घटक ( $\Delta_{noise}$ $Δ_{n o i se}$ ) में विभाजित करता है। सैद्धांतिक विश्लेषण (प्रपोजिशन 1 और 2) यह प्रदर्शित करता है कि लीकी एक्युमुलेटर एक लो-पास फ़िल्टर के रूप में कार्य करता है:
- इनोवेशन नॉइज़ (मार्टिंगेल डिफरेंस) केंद्रित और वेरिएंस में सीमित रहता ( $\text{Var}(w_t) \le \frac{\sigma^2}{1-\lambda^2}$ )।
- स्थिर ड्रिफ्ट (Persistent drift) सुसंगत रूप से संचित होता है, और जैसे-जैसे निरंतरता बढ़ती है, शोर के सापेक्ष बढ़ता जाता है।
- यह तंत्र $\tau$ के माध्यम से फॉल्स ट्रिगर्स (शोर पर अपडेट होना) की संभावना को नियंत्रित करता है, जिसे अज़ुमा-होफ़िंग (Azuma–Hoeffding) बाउंड्स द्वारा समर्थित किया गया है।

मुख्य योगदान

औपचारिकीकरण (Formalization): यह शोध पत्र गैर-स्थिर पूर्वानुमान को समय-सूचकांक वाले सशर्त नियमों के परिवार पर भविष्यवाणी के रूप में औपचारिक बनाता है, जो स्पष्ट रूप से समझाया गया बदलाव और वास्तविक अनसुलझे ड्रिफ्ट के बीच अंतर करता है।
आर्किटेक्चर: Black-Mamba का परिचय, जो एक इवेंट-ट्रिगर्ड मेमोरी आर्किटेक्चर है जहाँ अपडेट तात्कालिक हानि के बजाय संचित सरप्राइज़ल द्वारा गेट किया जाता है।
सैद्धांतिक प्रमाण: गणितीय प्रमाण कि मार्टिंगेल-नॉइज़ मान्यताओं के तहत, साक्ष्य-गेटेड अपडेटिंग इनोवेशन नॉइज़ को दबा देती है, निरंतर ड्रिफ्ट को संचित करती है, और फॉल्स-ट्रिगर संभावनाओं को नियंत्रित करती है।

प्रयोगात्मक परिणाम

लेखक वास्तविक दुनिया और सिंथेटिक बेंचमार्क पर एक फ्रोजन SiMBA बैकबोन और एक निरंतर-अपडेट बेसलाइन (Titans-शैली की न्यूरल मेमोरी को दोहराते हुए) के विरुद्ध Black-Mamba का मूल्यांकन करते हैं।

वास्तविक दुनिया के बेंचमार्क (ETT, Electricity, Exchange Rate, Traffic, Weather):
- अधिकांश डेटासेट पर, पूर्वानुमान सटीकता (MSE/MAE) के मामले में Black-Mamba, फ्रोजन और निरंतर अपडेटेड दोनों मॉडलों के लगभग समान है।
- महत्वपूर्ण रूप से, एक्सचेंज रेट (Exchange Rate) डेटासेट पर (जिसे मजबूत वास्तविक ड्रिफ्ट वाला माना गया है), Black-Mamba सबसे लंबे क्षितिज (720 स्टेप्स) पर निरंतर अपडेटिंग की तुलना में बेहतर प्रदर्शन करता है, जिससे निरंतर मॉडल में देखी गई गिरावट से बचा जा सका। यह सुझाव देता है कि निरंतर अपडेटिंग शोर वाले स्थानीय नवाचारों के प्रति ओवर-अडैप्ट (over-adapt) हो जाती है।
सिंथेटिक ड्रिफ्ट स्ट्रीम्स (Synthetic Drift Streams):
- नियंत्रित ड्रिफ्ट परिदृश्यों में, Black-Mबमा फ्रोजन बेसलाइन के ऊपर निरंतर अपडेटिंग द्वारा प्रदान किए गए मीन स्क्वेर्ड एरर (MSE) सुधार का 98.9% हिस्सा कैप्चर करता है।
- दक्षता (Efficiency): Black-Mamba इस लक्ष्य को केवल 52.19% अपडेट बजट के साथ प्राप्त करता है (लगभग 1.5 मिलियन अपडेट बचाकर)।
- चयनात्मकता (Selectivity): अपडेट दर सेगमेंट की कठिनाई के साथ दृढ़ता से सह-संबंधित (+0.819) है, जो पुष्टि करता है कि मॉडल केवल तभी चुनिंदा रूप से अपडेट होता है जब ड्रिफ्ट निरंतर होता है, न कि समान रूप से।

महत्व और दावे

शोध पत्र का दावा है कि Black-Mamba निरंतर टेस्ट-टाइम अनुकूलन के लिए एक सिद्धांत-आधारित, कुशल विकल्प प्रदान करता है। मेमोरी प्रतिबद्धता (memory commitment) को तात्कालिक त्रुटि से अलग करके, यह विधि:

कंप्यूटेशनल लागत को कम करता है: इन्फरेंस के दौरान बहुत कम पैरामीटर राइट्स (writes)।
मजबूती (Robustness) में सुधार करता है: क्षणिक शोर के प्रति ओवर-अडैप्ट होने से बचता है, विशेष रूप से वास्तविक दुनिया के ड्रिफ्ट के तहत लॉन्ग-होरिज़न फोरकास्टिंग में।
सटीकता बनाए रखता है: निरंतर अनुकूलन विधियों के साथ प्रतिस्पर्धी प्रदर्शन बनाए रखता है जबकि स्टोकेस्टिक नवाचारों को फ़िल्टर करता है।

लेखक निष्कर्ष निकालते हैं कि संचित सरप्राइज़ल (accumulated surprisal) क्षणिक शोर से निरंतर ड्रिफ्ट को अलग करने के लिए एक मजबूत संकेत के रूप में कार्य करता है। वे Black-Mamba को सभी एडेप्टिव विधियों के विकल्प के रूप में नहीं, बल्कि इन्फरेंस-टाइम लर्निंग के एक सामान्य सिद्धांत के रूप में प्रस्तुत करते हैं, जो "हमेशा-अपडेट" और "चयनित-अपडेट" शासन के बीच एक स्पेक्ट्रम पेश करके मौजूदा दृष्टिकोणों का विस्तार करता है। यह कार्य अपने दायरे में विनम्र है, यह स्वीकार करते हुए कि मापने योग्य ड्रिफ्ट वाले वास्तविक दुनिया के बेंचमार्क सीमित हैं, लेकिन यह दावा करता है कि सैद्धांतिक विश्लेषण और सिंथेटिक/वास्तविक साक्ष्य का संयोजन इवेंट-ट्रिगर्ड अपडेट की प्रभावकारिता का समर्थन करता है।