💻 computer science

Temporal Coding as a Substrate for Sensorimotor Object Inference: A Spiking Reinterpretation of Thousand Brains Architecture

यह शोध पत्र 'थाउजेंड ब्रेन्स थ्योरी' के मोंटी फ्रेमवर्क में घने वेक्टर निरूपणों (dense vector representations) को रैंक-ऑर्डर स्पाइक पैकेट्स और STDP-आधारित लर्निंग से बदलने का प्रस्ताव देता है ताकि सेंसरिमोटर संपर्क अनुक्रमों को टेम्पोरली एनकोड किया जा सके, जिससे ट्रैवर्सल दिशा का लाभ उठाने वाला सुदृढ़ ऑब्जेक्ट इन्फरेंस सक्षम हो सके और मूल कार्यान्वयन की तुलना में बेहतर विभेदन सटीकता और शोर प्रतिरोध प्राप्त किया जा सके।

मूल लेखक: Joy Bose

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joy Bose

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: यह केवल यह नहीं है कि आप क्या महसूस करते हैं, बल्कि यह है कि आप इसे कब महसूस करते हैं

कल्पना कीजिए कि आपकी आँखों पर पट्टी बंधी है और आपसे केवल छूकर एक मग (mug) को पहचानने के लिए कहा गया है।

वर्तमान तरीका ( "फोटो एल्बम" दृष्टिकोण):
अभी, "मोंटी" (Monty) नामक कंप्यूटर मॉडल एक फोटो एल्बम की तरह काम करता है। हर बार जब आपकी उंगली मग को छूती है, तो यह उस जगह का एक "स्नैपशॉट" लेता है।

स्पर्श 1: "चिकनी सिरेमिक।"
स्पर्श 2: "मुड़ा हुआ हैंडल।"
स्पर्श 3: "नुकीला किनारा।"

कंप्यूटर इन स्नैपशॉट्स को डेटा के एक बड़े ढेर में जोड़ देता है। लेकिन समस्या यह है: यह क्रम (order) को भूल जाता है। यदि आपने किनारे से वापस चिकने हिस्से की ओर मग को छुआ, तो कंप्यूटर डेटा का बिल्कुल वही ढेर देखता है (चिकना + मुड़ा हुआ + किनारा)। वह सोचता है, "ओह, यह वही वस्तु है," क्योंकि सामग्री समान है, भले ही रेसिपी (क्रम) उलट दी गई हो।

समस्या:
वास्तविक दुनिया में, क्रम मायने रखता है। मग को बाएं-से-दाएं छूना, दाएं-से-बाएं छूने से अलग महसूस होता है। वर्तमान प्रणाली इस महत्वपूर्ण "दिशात्मक" जानकारी को फेंक देती है, जैसे कोई किताब पढ़ रहा हो लेकिन केवल पन्ने पर मौजूद शब्दों की सूची देख रहा हो, बिना वाक्य की संरचना की परवाह किए।

प्रस्तावित समाधान: "रेस" (दौड़) दृष्टिकोण

लेखक, जॉय बोस, कंप्यूटर के सोचने का एक नया तरीका सुझाते हैं, जो इस बात से प्रेरित है कि हमारा मस्तिष्क वास्तव में कैसे काम करता है। "स्नैपशॉट" (संख्याओं की एक सघन सूची) लेने के बजाय, कंप्यूटर को एक रेस सुननी चाहिए।

1. स्पाइक पैकेट (दौड़)

कल्पना कीजिए कि हर बार जब आपकी उंगली मग को छूती है, तो यह न्यूरॉन्स के एक समूह के बीच एक छोटी सी दौड़ शुरू कर देती है।

जिस न्यूरॉन को सबसे मजबूत संकेत मिलता है (जैसे, "चिकना!") वह फिनिश लाइन को सबसे पहले पार करता है।
अगला सबसे मजबूत ("मुड़ा हुआ!") दूसरे स्थान पर आता है।
सबसे कमजोर ("किनारा!") अंत में आता है।

जादू: जिस क्रम में वे फिनिश लाइन पार करते हैं, वही संदेश है।

बाएं-से-दाएं स्पर्श: चिकना जीता, फिर मुड़ा हुआ, फिर किनारा।
दाएं-से-बाएं स्पर्श: किनारा जीता, फिर मुड़ा हुआ, फिर चिकना।

भले ही वे तीन न्यूरॉन एक ही हों, लेकिन अनुक्रम (sequence) पूरी तरह से अलग है। अब कंप्यूटर दौड़ में कौन पहले जीता, इसे सुनकर दिशा का पता लगा सकता है।

2. समय का अंतर (स्टॉपवॉच)

पेपर यह भी सुझाव देता है कि इन दौड़ों के बीच के समय का उपयोग यह पता लगाने के लिए किया जाए कि उंगली कितनी दूर तक चली।

यदि उंगली धीरे चलती है, तो दौड़ों के बीच लंबा अंतराल होता है।
यदि उंगली तेजी से चलती है, तो दौड़ें एक के बाद एक होती हैं।

कंप्यूटर को दूरी जानने के लिए GPS या रूलर की आवश्यकता नहीं है; वह बस दौड़ों के बीच के समय के अंतर को देखता है। यह ठीक वैसा ही है जैसे जमीन को मापने के बिना, केवल अपने कदमों के बीच के सेकंड गिनकर यह जानना कि आपने कितनी दूरी तय की है।

3. सीखने का नियम ("कारण और प्रभाव" शिक्षक)

कंप्यूटर कैसे सीखता है कि एक मग कैसा महसूस होता है? यह STDP (Spike-Timing Dependent Plasticity) नामक एक नियम का उपयोग करता है।

इसे एक ऐसे शिक्षक के रूप में सोचें जो कहता है: "यदि न्यूरॉन A, न्यूरॉन B से ठीक पहले सक्रिय होता है, तो वे दोस्त हैं! चलिए उनके संबंध को मजबूत करते हैं।"
यदि न्यूरॉन A, न्यूरॉन B के बाद सक्रिय होता है, तो शिक्षक कहता है, "आप दोस्त नहीं हैं। चलिए संबंध को कमजोर करते हैं।"

समय के साथ, कंप्यूटर मग का एक ऐसा मानचित्र बनाता है जो दिशा को याद रखता है। वह सीख जाता है कि बाएं-से-दाएं चलते समय "चिकना" आमतौर पर "मुड़े हुए" की ओर ले जाता है, लेकिन दाएं-से-बाएं चलते समय "किनारा" "मुड़े हुए" की ओर ले जाता है।

4. "मेमोरी डायल" (लैम्ब्डा - $\lambda$ )

अंत में, सिस्टम में एक स्मार्ट "मेमोरी डायल" (जिसे $\lambda$ कहा जाता है) होता है।

एक साधारण गेंद के लिए: हर स्पर्श एक जैसा महसूस होता है। सिस्टम वर्तमान स्पर्श पर भरोसा करने और अतीत को भूलने के लिए सीखता है (कम मेमोरी)।
एक जटिल पावर ड्रिल के लिए: हर स्पर्श अद्वितीय होता है। सिस्टम अगले स्पर्श को समझने के लिए पूरी यात्रा को याद रखने के लिए सीखता है (उच्च मेमोरी)।

सिस्टम स्वचालित रूप से प्रत्येक वस्तु के लिए सही डायल सेटिंग का पता लगा लेता है, ठीक वैसे ही जैसे आप एक नए अध्याय को समझने के लिए पूरी कहानी याद रख सकते हैं, लेकिन एक दोहराव वाले गीत को समझने के लिए केवल अंतिम वाक्य की आवश्यकता होती है।

प्रयोगों ने क्या दिखाया

लेखक ने मोंटी सिस्टम के एक "सिंथेटिक" संस्करण का उपयोग करके एक सरल कंप्यूटर सिमुलेशन के साथ इस विचार का परीक्षण किया। यहाँ क्या हुआ:

"मिरर" (दर्पण) टेस्ट: उन्होंने दो ऐसी वस्तुएं बनाईं जिनमें बिल्कुल एक जैसे भाग (चिकना, मुड़ा हुआ, किनारा) थे, लेकिन वे विपरीत क्रम में व्यवस्थित थे।
- पुराना सिस्टम: 50% बार गलत हुआ (जैसे सिक्का उछालना)। यह अंतर नहीं पहचान सका क्योंकि इसने क्रम को अनदेखा कर दिया।
- नया सिस्टम: 100% सही रहा। इसने अंतर पहचान लिया क्योंकि इसने "रेस के क्रम" को सुना।
"नॉइजी" (शोर वाला) टेस्ट: उन्होंने सेंसर में "स्टैटिक" या शोर जोड़ा (जैसे कांपता हुआ हाथ)।
- पुराना सिस्टम: प्रदर्शन खराब ही रहा क्योंकि वह पहले से ही भ्रमित था।
- नया सिस्टम: सेंसर हिलने के बावजूद बहुत सटीक रहा। क्योंकि इसके पास दो सुराग थे (रेस का क्रम और समय का अंतर), यह शोर को बेहतर तरीके से अनदेखा कर सका।
"मेमोरी" (स्मृति) टेस्ट: उन्होंने "मेमोरी डायल" ( $\lambda$ ) को बदलते हुए देखा।
- एक साधारण गोले के लिए, डायल एक कम संख्या पर स्थिर हो गया (वर्तमान पर भरोसा करें)।
- एक जटिल ड्रिल के लिए, डायल एक उच्च संख्या पर स्थिर हो गया (इतिहास पर भरोसा करें)।
- सिस्टम ने बिना बताए खुद ही यह समझ लिया।

सारांश

यह पेपर तर्क देता है कि वस्तुओं को छूकर वास्तव में समझने के लिए, एक कंप्यूटर को केवल यह सूचीबद्ध नहीं करना चाहिए कि वह क्या महसूस कर रहा है। उसे स्पर्श की कहानी रिकॉर्ड करनी चाहिए: चीजें किस क्रम में हुईं और उनके बीच का समय क्या था। "सघन सूचियों" से "दौड़ते हुए स्पाइक्स" की ओर स्विच करके, सिस्टम वस्तुओं को पहचानने, शोर को संभालने और कुशलता से सीखने में बहुत बेहतर हो जाता है, और यह सब कम कंप्यूटिंग शक्ति का उपयोग करते हुए करता है।

लेखक यह दिखाने के लिए एक सरल कोड रेसिपी (लगभग 450 पंक्तियाँ) प्रदान करते हैं कि इसे कैसे बनाया जा सकता है, जिससे यह सिद्ध होता है कि इस तरह का "मस्तिष्क-समान" सोचने का तरीका आज संभव है।

तकनीकी सारांश: सेंसरमोटर ऑब्जेक्ट इन्फरेंस के लिए टेम्पोरल कोडिंग एक सबस्ट्रेट के रूप में

1. समस्या विवरण

थाउजेंड ब्रेन्स थ्योरी (TBT) और इसका ओपन-सोर्स कार्यान्वयन, Monty, ऑब्जेक्ट रिकग्निशन को सेंसरमोटर इन्फरेंस के माध्यम से मॉडल करता है: किसी वस्तु की सतह पर सक्रिय रूप से सेंसर को घुमाकर और संपर्क-दर-संपर्क साक्ष्य (evidence) संचित करके वस्तु की पहचान करना। हालाँकि, वर्तमान Monty कार्यान्वयन प्रत्येक संपर्क को एक सघन फ्लोटिंग-पॉइंट वेक्टर (dense floating-point vector) के रूप में एनकोड करता है। जबकि सिस्टम इंटर-स्टेप डिस्प्लेसमेंट को ट्रैक करता है और साक्ष्य संचित करता है, यह प्रत्येक संपर्क के फीचर एक्टिवेशन पैटर्न को एक अनऑर्डर्ड सेट (unordered set) के रूप में मानता है।

यह दृष्टिकोण महत्वपूर्ण जानकारी को त्याग देता है: जिस दिशात्मक अनुक्रम (directional sequence) में फीचर्स का सामना किया गया था। उदाहरण के लिए, एक मग के हैंडल (smooth → curved → edge) के माध्यम से चलते हुए सेंसर द्वारा उत्पन्न साक्ष्य वही होगा जो एक हैंडल के विपरीत दिशा (edge → curved → smooth) में जाने पर उत्पन्न होगा, जबकि ये दोनों यात्राएं वस्तु की ज्यामिति के बारे में विपरीत स्थानिक दिशाओं का प्रतिनिधित्व करती हैं। वर्तमान आर्किटेक्चर यह दर्शाने में विफल रहता है कि "फीचर A को फीचर B से पहले महसूस किया गया था," जो कि एक ऐसा अनुक्रम है जो स्वाभाविक रूप से वस्तु के आकार के बारे में स्थानिक अर्थ रखता है।

2. कार्यप्रणाली

यह शोध पत्र Monty आर्किटेक्चर की एक पुनर्व्याख्या प्रस्तावित करता है जहाँ सेंसर संपर्क का प्रतिनिधित्व सघन वेक्टर्स से बदलकर रैंक-ऑर्डर स्पाइक पैकेट्स (rank-order spike packets) में बदल जाता है। यह परिवर्तन फीचर एक्टिवेशन के दिशात्मक अनुक्रम को सुरक्षित रखता है, जिससे फायरिंग का क्रम ही स्वयं प्रतिनिधित्व बन जाता है। प्रस्तावित आर्किटेक्चर में चार एकीकृत घटक शामिल हैं:

A. SpikeEncoder

एक स्थिर वेक्टर के बजाय, प्रत्येक संपर्क न्यूरल घटनाओं का एक संक्षिप्त समूह (burst) उत्पन्न करता है। न्यूरॉन्स एक्टिवेशन स्ट्रेंथ के आधार पर रैंक-ऑर्डर में फायर करते हैं: सबसे मजबूती से सक्रिय न्यूरॉन पहले फायर करता है ( $t=0$ ), उसके बाद बढ़ते अंतराल (latency) के साथ अन्य न्यूरॉन्स।

तंत्र (Mechanism): यदि एक संपर्क न्यूरॉन्स $N_1, N_2, N_3$ को $0.9, 0.2, 0.1 $की स्ट्रेंथ से सक्रिय करता है, तो स्पाइक पैकेट$ N_1 \to N_2 \to N_3$ के क्रम में होता है।
महत्व: समान फीचर सेट वाले दो संपर्क लेकिन अलग-अलग ट्रैवर्सल ऑर्डर (traversal orders) अलग-अलग स्पाइक सीक्वेंस उत्पन्न करते हैं (जैसे, एक में $N_{smooth}$ अग्रणी है, दूसरे में $N_{edge}$ )।

B. LatencyDecoder

यह घटक इंटर-पैकेट लेटेंसी (क्रमिक स्पाइक बर्स्ट के बीच का समय अंतराल) से स्थानिक विस्थापन (spatial displacement) को अंतर्निहित रूप से इन्फर करता है।

तंत्र: यह मानते हुए कि मोटर वेलोसिटी $v$ समान है, विस्थापन की गणना $\Delta x \approx v \cdot \Delta t \cdot \text{direction}$ के रूप में की जाती है।
महत्व: यह स्पष्ट निर्देशांक गणना या बाहरी ओडोमेट्री की आवश्यकता को समाप्त करता है; न्यूरल घटनाओं का समय ही स्थानिक मीट्रिक के रूप में कार्य करता है।

C. STDP लर्निंग रूल

लर्निंग मैकेनिज्म मानक संचय (accumulation) के स्थान पर स्पाइक-टाइमिंग डिपेंडेंट प्लास्टिसिटी (STDP) को प्रतिस्थापित करता है।

तंत्र: सिनैप्टिक वेट्स को तब मजबूत किया जाता है जब एक प्री-सिनैप्टिक न्यूरॉन एक पोस्ट-सिनैप्टिक न्यूरॉन से ठीक पहले फायर करता है (कारण संबंधी क्रम/causal order), और यदि क्रम उल्टा हो तो उन्हें कमजोर किया जाता है।
महत्व: बार-बार अन्वेषण के बाद, वेट मैट्रिक्स सतह के प्र्वास (traversal) के दिशात्मक संरचना को एनकोड करता है (जैसे, $N_{smooth} \to N_{curved} \to N_{edge}$ ), जो विपरीत दिशाओं के बीच अंतर करता है जिन्हें सघन वेक्टर्स नहीं कर सकते।

D. एडैप्टिव एविडेंस एक्युमुलेटर विद लर्नेबल $\lambda$

एक लर्नेबल पैरामीटर $\lambda$ ( $0 \le \lambda \le 1$ ) हालिया संपर्क पर निर्भरता और संचित इतिहास के बीच संतुलन को नियंत्रित करता है।

तंत्र: अपडेट नियम $E(t+1) = (1-\lambda) \cdot \text{likelihood}(\text{obs}_t) + \lambda \cdot E(t)$ है।
अनुकूलन (Adaptation): $\lambda$ को प्रेडिक्शन एरर के आधार पर समायोजित किया जाता है। एकसमान वस्तुओं (जैसे, एक गोला) के लिए, $\lambda$ कम मानों की ओर अभिसरित होता है (वर्तमान संपर्क पर भरोसा करता है); जटिल वस्तुओं (जैसे, एक पावर ड्रिल) के लिए, $\lambda$ उच्च मानों की ओर अभिसरित होता है (इतिहास पर भरोसा करता है)।

3. मुख्य योगदान

सूचनात्मक विश्लेषण: सेंसरमोटर अन्वेषण के दौरान सघन वेक्टर प्रतिनिधित्व द्वारा छोड़ी गई स्थानिक जानकारी का एक सटीक विवरण।
रैंक-ऑर्डर एनकोडिंग: एक स्पाइक पैकेट एनकोडिंग स्कीम जो फीचर एक्टिवेशन के दिशात्मक अनुक्रम को सुरक्षित रखती है।
अंतर्निहित विस्थापन (Implicit Displacement): स्पष्ट पोज ट्रांसफॉर्म के बिना इंटर-पैकेट टाइमिंग अंतराल से स्थानिक विस्थापन को इन्फर करने का एक तंत्र।
कॉज़ल लर्निंग: एक STDP-आधारित लर्निंग रूल जो ट्रैवर्सल दिशा को सिनैप्टिक वेट्स में एनकोड करता है।
एडैप्टिव कॉन्टेक्स्ट: एक लर्नेबल $\lambda$ पैरामीटर जो विशिष्ट वस्तुओं की ज्यामितीय जटिलता के अनुसार मेमोरी होराइजन को अनुकूलित करता है।
कार्यान्वयन: मौजूदा Monty कोडबेस के भीतर लगभग 450 लाइनों के NumPy कोड की एक न्यूनतम कार्यान्वयन, जो तीन परीक्षण योग्य भविष्यवाणियों के साथ आता है।

4. प्रयोगात्मक परिणाम

शोध पत्र YCB ऑब्जेक्ट डेटासेट बेंचमार्क का उपयोग करके तीन सिंथेटिक प्रयोगों के माध्यम से मुख्य दावों की पुष्टि करता है:

ट्रैवर्सल डिस्क्रिमिनेशन (भविदन 3):
- कार्य: समान फीचर सेट लेकिन विपरीत स्थानिक व्यवस्था वाले दो ऑब्जेक्ट्स के बीच अंतर करना (जैसे, Smooth-Curved-Edge बनाम Edge-Curved-Smooth)।
- परिणाम: सघन संचय (dense accumulation) चांस (51.2%) पर प्रदर्शन करता है क्योंकि समित फीचर वेक्टर्स समान थे। टेम्पोरल कोडिंग ने STDP के माध्यम से एनकोड किए गए विशिष्ट कॉज़ल पाथवे का लाभ उठाकर 100% सटीकता प्राप्त की।
शोर रोबस्टनेस (भविदन 2):
- कार्य: विभिन्न स्तरों के सेंसर शोर ( $\sigma$ ) के तहत प्रदर्शन का मूल्यांकन करना।
- परिणाम: टेम्पोरल कोडिंग ने सभी परीक्षण किए गए शोर स्तरों पर सघन संचय की तुलना में 30-50 प्रतिशत अंक की सटीकता बढ़त बनाए रखी। जबकि सघन प्रदर्शन चांस पर रहा, टेम्पोरल कोडिंग ने उच्च शोर ( $\sigma=0.50$ ) पर भी 79.2% सटीकता बनाए रखते हुए कुशलतापूर्वक गिरावट दर्ज की।
लैम्ब्डा कन्वर्जेंस (Lambda Convergence):
- कार्य: विभिन्न ज्यामितीय जटिलता वाले ऑब्जेक्ट्स में $\lambda$ के अभिसरण को देखना।
- परिणाम: सिस्टम ने ऑब्जेक्ट स्ट्रक्चर को दर्शाते हुए स्वायत्त रूप से विशिष्ट $\lambda$ मान सीखे: एकसमान सतह (गोला) के लिए 0.30, मध्यम जटिलता के लिए 0.60, और जटिल सतह (पावर ड्रिल) के लिए 0.87।

5. महत्व और दावे

शोध पत्र तर्क देता है कि संपर्क का अनुक्रम केवल अर्थ का वाहन नहीं है बल्कि स्वयं अर्थ बनता है सेंसरमोटर इन्फरेंस में। फीचर एक्टिवेशन के अस्थायी क्रम को त्यागकर, वर्तमान डेंस-वेक्टर कार्यान्वयन TBT की उन क्षमताओं को खो देते हैं जो स्थानिक रूप से विपरीत यात्राओं के बीच अंतर कर सकती हैं।

प्रस्तावित आर्किटेक्चर यह प्रदर्शित करता है कि टेम्पोरल कोडिंग निम्नलिखित में संरचनात्मक लाभ प्रदान करती है:

डेटा दक्षता: कम संपर्कों के साथ उच्च भेदभाव सटीकता प्राप्त करना।
रोबस्टनेस: खराब समन्वय अनुमान (coordinate estimates) वाले शोर भरे मोटर निष्पादन के तहत प्रदर्शन बनाए रखना।
सामान्यीकरण (Generalization): युग्मवार कॉज़ल ऑर्डर को एनकोड करना जो नवीन स्थानिक व्यवस्थाओं में स्थानांतरित होते हैं।

लेखक स्पष्ट रूप से कहते हैं कि यह कार्य सेंसरमोटर इन्फरेंस में कंप्यूटेशनल दक्षता को संबोधित करता है और मशीन चेतना के प्रश्नों को हल करने का दावा नहीं करता है। केंद्रीय दावा विनम्र लेकिन विशिष्ट है: प्रस्तावित रैंक-ऑर्डर स्पाइक पैकेट आर्किटेक्चर उस जानकारी को पुनः प्राप्त करता है जिसे वर्तमान मोंटी फ्रेमवर्क त्याग देता है, जिससे सिस्टम उन ऑब्जेक्ट ज्योमेट्री को पहचानने में सक्षम होता है जो वर्तमान में अविभेद्य हैं। पूर्ण YCB बेंचमार्क पर एंड-टू-एंड मूल्यांकन भविष्य के कार्य के रूप में नोट किया गया है।