💻 computer science

Adaptive Hebbian Memory Routing in Vision Transformers for Few-Shot Learning

यह शोध पत्र विजन ट्रांसफॉर्मर्स के लिए अडैप्टिव हेब्बियन रूटिंग (Adaptive Hebbian Routing) का प्रस्ताव करता है, जो एक विधि है जो मेमोरी योगदान, अपडेट स्ट्रेंथ और रिटेंशन को गतिशील रूप से नियंत्रित करने के लिए एक लाइटवेट एमएलपी (MLP) का उपयोग करती है, जिससे यह विभिन्न बैकबोन और डेटासेट में फ्यू-शॉट लर्निंग सटीकता और इन्फरेंस दक्षता में फिक्स्ड हेब्बियन दृष्टिकोणों से बेहतर प्रदर्शन करता है।

मूल लेखक: Mohammed Yusuf Mujawar, Noorbakhsh Amiri Golilarz

प्रकाशित 2026-06-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mohammed Yusuf Mujawar, Noorbakhsh Amiri Golilarz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नई भाषा सीखने की कोशिश कर रहे हैं, लेकिन आपके पास अध्ययन करने के लिए केवल एक ही वाक्य है। यह वही है जिसे कंप्यूटर वैज्ञानिक "फ्यू-शॉट लर्निंग" (Few-Shot Learning) कहते हैं। यह बिल्कुल वैसा ही है जैसे किसी छात्र को केवल एक उदाहरण देखकर पूरा नया विषय सीखने के लिए कहना।

लंबे समय तक, कंप्यूटर विजन मॉडल (वे "मस्तिष्क" जो कंप्यूटर को देखने की क्षमता देते हैं) बहुत ही कठोर मस्तिष्क वाले छात्रों की तरह थे। एक बार प्रशिक्षित होने के बाद, उनका ज्ञान "जमा हुआ" (frozen) हो जाता था। यदि आप उन्हें बिल्ली का एक ऐसा नया प्रकार दिखाते जिसे उन्होंने पहले कभी नहीं देखा था, तो वे आसानी से अनुकूलित नहीं हो पाते थे क्योंकि उनके आंतरिक नियम परीक्षण के दौरान नहीं बदलते थे।

यह शोध पत्र इस बारे में है कि कैसे कंप्यूटर के इन मस्तिष्कों को तेजी से अनुकूलित होने में मदद की जा सकती है। यहाँ उनके विचार का विवरण दिया गया, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है।

समस्या: "जमा हुआ" मस्तिष्क (The "Frozen" Brain)

मानक कंप्यूटर मॉडल में दो प्रकार के "वेट्स" (नियम) होते हैं:

स्लो वेट्स (Slow Weights): ये प्रशिक्षण के वर्षों के दौरान सीखे गए स्थायी नियम हैं। ये उस मुख्य पाठ्यक्रम की तरह हैं जिसे एक छात्र ने स्कूल में याद किया है। ये परीक्षण के दौरान नहीं बदलते।
चुनौती: जब एक छात्र पहली बार में एक नए प्रकार की समस्या (छवियों का एक नया वर्ग) देखता है, तो उसे इसे समझने के लिए अभी उपलब्ध कुछ उदाहरणों का उपयोग करने की आवश्यकता होती है। मानक मॉडल संघर्ष करते हैं क्योंकि वे परीक्षण के प्रश्नों को देखते समय नए उदाहरणों को अस्थायी रूप रूप से "याद" नहीं रख पाते हैं।

पुराना समाधान: "स्टिकी नोट" (Hebbian Memory)

वैज्ञानिकों ने हेब्बियन लर्निंग (Hebbian learning) की अवधारणा पर आधारित एक "फास्ट वेट" प्रणाली जोड़कर इसे ठीक करने की कोशिश की थी।

उपमा: कल्पना कीजिए कि एक छात्र, जो परीक्षा के दौरान, अपनी डेस्क पर एक "स्टिकी नोट" लिखने की अनुमति रखता है। हर बार जब वह एक नया उदाहरण (सपोर्ट सेट) देखता है, तो वह उस पर एक त्वरित नोट लिखता है। जब वह एक परीक्षण प्रश्न (क्वेरी) देखता है, तो वह उत्तर देने में मदद के लिए उस नोट को देखता है।
दोष: पुराने तरीके में, छात्र हर बार एक ही बल के साथ नोट लिखता था, चाहे वह नोट मददगार हो या भ्रमित करने वाला। कभी-कभी, नोट इतना चिपचिपा होता था कि वह डेस्क पर भीड़ जमा देता था और सोचने में कठिनाई पैदा करता था। कभी-कभी, नोट बहुत जल्दी फीका पड़ जाता था। यह एक "एक ही आकार सबके लिए" (one-size-fits-all) वाला दृष्टिकोण था जो हर प्रकार के टेस्ट के लिए अच्छा काम नहीं करता था।

नया समाधान: "स्मार्ट लाइब्रेरियन" (Adaptive Hebbian Routing)

इस शोध पत्र के लेखक "एडेप्टिव हेब्बियन रूटिंग" (Adaptive Hebbian Routing) नामक एक नया सिस्टम प्रस्तावित करते हैं। एक छात्र द्वारा अंधाधुंध नोट लिखने के बजाय, वे डेस्क पर एक "स्मार्ट लाइब्रेरियन" (एक छोटा, हल्का कंप्यूटर प्रोग्राम जिसे MLP राउटर कहा जाता है) जोड़ते हैं।

यहाँ लाइब्रेरियन कैसे मदद करता है:

निर्णय लेना कि नोट का उपयोग कब करना है: लाइब्रेरियन नए उदाहरणों को देखता है। यदि उदाहरण भ्रमित करने वाले हैं, तो लाइब्रेरियन कह सकता है, "अभी स्टिकी नोट का उपयोग न करें; यह आपको परेशान कर सकता है।" यदि उदाहरण स्पष्ट हैं, तो लाइब्रेरियन कहता है, "आगे बढ़ें, नोट का उपयोग करें!"
निर्णय लेना कि कितने जोर से लिखना है: लाइब्रेरियन पेन को नियंत्रित करता है। यदि नई जानकारी बहुत महत्वपूर्ण है, तो लाइब्रेरियन उसे टेस्ट के लिए स्थायी बनाने के लिए जोर से दबाता है। यदि यह एक मामूली विवरण है, तो नोट हल्के हाथ से लिखा जाता है।
निर्णय लेना कि नोट को कितनी देर तक रखना है: लाइब्रेरियन तय करता है कि नोट पूरे टेस्ट के लिए डेस्क पर रहना चाहिए या जल्दी से गायब हो जाना चाहिए।

सिस्टम को विशिष्ट स्थिति के आधार पर अपने अस्थायी मेमोरी का उपयोग कैसे करना है, यह निर्णय लेने की अनुमति देकर, कंप्यूटर केवल कुछ उदाहरणों से सीखने में बहुत बेहतर हो जाता है।

उन्होंने क्या टेस्ट किया

शोधकर्ताओं ने इस "स्मार्ट लाइब्रेरियन" का परीक्षण तीन अलग-अलग प्रकार के कंप्यूटर विज़न मॉडल (जिन्हें ViT, DeiT, और Swin कहा जाता है) पर दो अलग-अलग "टेस्ट बुक्स" का उपयोग करके किया:

ओम्निग्लॉट (Omniglot): कई विभिन्न भाषाओं के हस्तलिखित पात्रों का एक डेटासेट (जैसे नए वर्णमालाओं को पहचानना सीखना)।
CIFAR-FS: कारों, बिल्लियों और हवाई जहाजों जैसी सामान्य वस्तुओं का एक डेटासेट।

परिणाम

बेहतर ग्रेड: लगभग हर टेस्ट में, "स्मार्ट लाइब्रेरियन" वाले मॉडल्स ने पुराने "फिक्स्ड स्टिकी नोट" तरीके की तुलना में उच्च स्कोर प्राप्त किया।
- उदाहरण के लिए, Swin मॉडल पर, फिक्स्ड मेथड ने 96.74% का स्कोर प्राप्त किया, लेकिन नए एडेप्टिव मेथड ने 96.94% प्राप्त किया।
तेज सोच: आश्चर्यजनक रूप से, नया तरीका तेज भी था। क्योंकि लाइब्रेरियन जानता है कि कब स्टिकी नोट का उपयोग नहीं करना है, इसलिए कंप्यूटर बेकार की जानकारी को प्रोसेस करने में समय बर्बाद नहीं करता है। Swin मॉडल पर, टेस्ट टाइम 16.51 मिलीसेकंड से घटकर 14.05 मिलीसेकंड हो गया।
टूटे हुए सिस्टम को ठीक करना: कुछ मॉडल्स (ViT और DeiT) के लिए, पुराना "फिक्स्ड स्टिकी नोट" तरीका वास्तव में उन्हें बिना किसी नोट के होने की तुलना में खराब प्रदर्शन करा रहा था। "स्मार्ट लाइब्रेरियन" ने इसे ठीक कर दिया, जिससे उनका प्रदर्शन वापस शीर्ष स्तर पर आ गया।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र दिखाता है कि कंप्यूटर को अस्थायी मेमोरी देना एक शानदार विचार है, लेकिन मेमोरी का उपयोग कैसे किया जाता है, यह केवल मेमोरी होने से अधिक महत्वपूर्ण है। एक छोटा, स्मार्ट कंट्रोलर जोड़कर जो यह तय करता है कि कब याद रखना है, कितनी मजबूती से याद रखना है, और मेमोरी को कितनी देर तक रखना है, कंप्यूटर पहले की तुलना में बहुत तेज़ी से और अधिक सटीकता से नए विजुअल कार्यों को सीख सकते हैं।

लेखक निष्कर्ष निकालते हैं कि यह "एडेप्टिव हेब्बियन रूटिंग" बहुत कम उदाहरणों से कंप्यूटर को सिखाने का एक अधिक कुशल और शक्तिशाली तरीका है।

तकनीकी सारांश: विजन ट्रांसफॉर्मर में फ्यू-शॉट लर्निंग के लिए एडेप्टिव हेब्बियन मेमोरी रूटिंग (Adaptive Hebbian Memory Routing)

समस्या विवरण (Problem Statement)

फ्यू-शॉट इमेज रिकग्निशन (Few-shot image recognition) के लिए मॉडल्स को केवल एक छोटे लेबल वाले सपोर्ट सेट का उपयोग करके नई क्लासों के अनुकूल होने की आवश्यकता होती है। मानक डीप नेटवर्क "स्लो वेट्स" (slow weights) पर निर्भर करते हैं जो इन्फरेंस के दौरान स्थिर रहते हैं, जिससे हर नए एपिसोड के लिए कार्य-विशिष्ट (task-specific) रिप्रजेंटेशन बनाना कठिन हो जाता है।

हेब्बियन फास्ट-वेट मेमोरी (Hebbian fast-weight memory) सपोर्ट सेट से प्राप्त अस्थायी, कार्य-विशिष्ट जुड़ाव को संग्रहीत करने के लिए एक तंत्र प्रदान करती है। हालाँकि, पिछले कार्यों ने प्रदर्शित किया है कि निश्चित (fixed) हेब्बियन मेमोरी व्यवहार (स्थिर एक्टिवेशन, अपडेट स्ट्रेंथ और रिटेंशन) विभिन्न आर्किटेक्चर में असंगत परिणाम देता है: यह स्विन (Swin) ट्रांसफॉर्मर में सुधार करता है लेकिन ViT और DeiT में प्रदर्शन को कम कर देता है जब उन्हें सघन रूप से (densely) डाला जाता है। इसके अलावा, यह स्पष्ट नहीं है कि क्या प्रत्येक फ्यू-शॉट एपिसोड के लिए एक एकल, निश्चित मेमोरी व्यवहार इष्टतम है, या क्या मेमोरी पाथवे को विशिष्ट सपोर्ट सेट के आधार पर अपने एक्टिवेशन और प्लास्टिसिटी को अनुकूलित करना चाहिए।

कार्यप्रणाली (Methodology)

लेखक एडेप्टिव हेब्बियन रूटिंग (Adaptive Hebbian Routing) का प्रस्ताव करते हैं, जो एक हल्का (lightweight) दृष्टिकोण है जो हेब्बियन मेमोरी पाथवे को "एपिसोड-कंडीशन्ड" (episode-conditioned) बनाता है। निश्चित हेब्बियन नियमों को लागू करने के बजाय, यह विधि वर्तमान सपोर्ट सेट फीचर्स के आधार पर मेमोरी मैकेनिज्म के तीन पहलुओं को गतिशील रूप से नियंत्रित करने के लिए एक हल्के मल्टी-लेयर पर्सेप्ट्रॉन (MLP) राउटर का उपयोग करती है।

मुख्य घटक (Core Components)

हेब्बियन फास्ट-वेट मॉड्यूल (Hebbian Fast-Weight Module):
- यह टोकन रिप्रजेंटेशन $X$ प्राप्त करता है और उन्हें कीज़ ( $K$ ), वैल्यूज़ ( $V$ ), और क्वेरीज़ ( $Q$ ) में प्रोजेक्ट करता है।
- यह $K$ और $V$ के आउटर प्रोडक्ट के माध्यम से एक एसोसिएटिव अपडेट $A$ बनाता है।
- यह एक डिके फैक्टर $\lambda$ और एक प्लास्टिसिटी रेट $\eta$ का उपयोग करके एक फास्ट-वेट मेमोरी मैट्रिक्स $M$ को अपडेट करता है: $M \leftarrow \lambda M + \eta A$ ।
- मेमोरी को क्वेरी रिप्रजेंटेशन के माध्यम से पढ़ा जाता है और रेसिडुअल कनेक्शन के माध्यम से बैकबोन फीचर्स में जोड़ा जाता है।
- मेमोरी मैट्रिक्स को प्रत्येक एपिसोड की शुरुआत में रीसेट किया जाता है, यह सुनिश्चित करने के लिए कि यह केवल अस्थायी जुड़ाव ही संग्रहीत करे।
एडेप्टिव MLP राउटर (Adaptive MLP Router):
- एक अलग, हल्का राउटर चुनिटे बैकबोन लोकेशन्स पर संलग्न किया जाता है।
- यह एक विशिष्ट लेयर से मीन-पूल किए गए सपोर्ट-टोकन फीचर्स ( $z_l$ ) को इनपुट के रूप में लेता है।
- राउटर एपिसोड के लिए तीन कंट्रोल वैल्यूज की भविष्यवाणी करता है:
  - आउटर एक्टिवेशन गेट ( $g_l$ ): वर्तमान रिप्रजेंटेशन में मेमोरी आउटपुट के योगदान को नियंत्रित करता है।
  - प्लास्टिसिटी रेट ( $\eta_l$ ): नए सपोर्ट-सेट जुड़ाव लिखने की शक्ति को नियंत्रित करता है।
  - मेमोरी डिके ( $\lambda_l$ ): एपिसोड के दौरान पिछले मेमोरी के रिटेंशन को नियंत्रित करता है।

अध्ययन किए गए एडेप्टिव वेरिएंट्स (Adaptive Variants Studied)

पेपर इन तीन कॉन्फ़िगरेशन का मूल्यांकन करता है ताकि इन कंट्रोल्स के प्रभावों को अलग किया जा सके:

एडेप्टिव प्लेसमेंट (Adaptive Placement): केवल आउटर एक्टिवेशन गेट ( $g_l$ ) सीखा जाता है; प्लास्टिसिटी और डिके को मानक सीखे गए पैरामीटर रहने दिया जाता है।
एडेप्टिव प्लास्टिसिटी (Adaptive Plasticity): मेमोरी पाथवे पूरी तरह से सक्रिय है, लेकिन राउटर एपिसोड-विशिष्ट प्लास्टिसिटी रेट ( $\eta_l$ ) और डिके ( $\lambda_l$ ) की भविष्यवाणी करता है।
फुल्ली एडेप्टिव हेब्बियन रूटिंग (Fully Adaptive Hebbian Routing): राउटर तीनों वेरिएबल्स ( $g_l, \eta_l, \lambda_l$ ) की भविष्यवाणी करता है, जिससे मॉडल को विशिष्ट एपिसोड के लिए योगदान शक्ति और अपडेट डायनेमिक्स दोनों को सीखने की अनुमति मिलती है।

बैकबोन इंटीग्रेशन (Backbone Integration)

ViT-Small & DeiT-Small: एडेप्टिव मॉड्यूल्स को ब्लॉक 3, 6, 9, और 12 के बाद स्पार्सली (sparsely) डाला गया है (फिक्स्ड बेसलाइन्स में डेंस इंसर्शन के विपरीत)।
Swin-Tiny: एक सीधा तुलनात्मक अध्ययन किया गया है जहाँ फिक्स्ड और एडेप्टिव वेरिएंट्स ठीक एक ही मेमोरी लोकेशन का उपयोग करते हैं। यह मेमोरी प्लेसमेंट के प्रभाव को एडेप्टिव कंट्रोल से अलग करता है।

मुख्य योगदान (Key Contributions)

एडेप्टिव हेब्बियन रूटिंग का प्रस्ताव: एक विधि जो एपिसोड-विशिष्ट फीचर्स के आधार पर मेमोरी एक्टिवेशन, प्लास्टिसिटी स्ट्रेंथ और रिटेंशन को नियंत्रित करने के लिए एक हल्के MLP का उपयोग करती है।
डिसेंटैंगल्ड एनालिसिस (Disentangled Analysis): अध्ययन मेमोरी एक्टिवेशन (Adaptive Placement) के प्रभावों को एपिसोड-विशिष्ट मेमोरी अपडेट (Adaptive Plasticity) से अलग करता है।
नियंत्रित आर्किटेक्चर तुलना: एक सीधा स्विन (Swin) तुलना जहाँ फिक्स्ड और एडेप्टिव वेरिएंट्स एक ही मेमोरी लोकेशन साझा करते हैं, जो यह सिद्ध करता है कि सुधार मेमोरी लोकेशन के बजाय एडेप्टिव कंट्रोल से आता है।
दक्षता लाभ (Efficiency Gains): यह प्रदर्शित करना कि एडेप्टिव रूटिंग इन्फरेंस टाइम और पैरामीटर काउंट को कम करते हुए सटीकता में सुधार कर सकती है, विशेष रूप से ViT/DeiT में डेंस फिक्स्ड इंसर्शन से बचकर।

प्रयोगात्मक परिणाम (Experimental Results)

डेटासेट्स और प्रोटोकॉल (Datasets and Protocols)

प्रयोग Omniglot (स्क्रैच से प्रशिक्षित) और CIFAR-FS (ImageNet प्री-ट्रेंड बैकबोन्स पर फाइन-ट्यून किया गया) पर किए गए। मूल्यांकन 5-वे 1-शॉट टास्क, मल्टी-शॉट (1–10) इवैल्यूएशन, और क्रॉस-डोमेन ट्रांसफर (CIFAR-FS $\to$ Omniglot) शामिलों पर किया गया।

प्रदर्शन निष्कर्ष (Performance Findings)

Omnigлот (ViT/DeiT): डेंस फिक्स्ड हेब्बियन इंसर्शन ने प्रदर्शन को काफी कम कर दिया (लगभग 95.4% से गिरकर 90% हो गया)। एडेप्टिव वेरिएंट्स ने इस नुकसान की भरपाई की, जिसमें फुल्ली एडेप्टिव रूटिंग ने बेस मॉडल (95.4%) से थोड़ा अधिक सटीकता (95.48%) प्राप्त की।
Omniglot (Swin): नियंत्रित तुलना (समान स्थान) में, फिक्स्ड हेब्बियन ने बेस स्विन को 96.14% से बढ़ाकर 96.74% किया। एडेप्टिव प्लास्टिसिटी ने इसे और सुधार कर 96.92% कर दिया, और फुल्ली एडेप्टिव रूटिंग ने 96.94% के साथ सर्वश्रेष्ठ परिणाम प्राप्त किया। यह पुष्टि करता है कि भले ही मेमोरी लोकेशन इष्टतम हो, फिर भी एडेप्टिव प्लास्टिसिटी और रिटेंशन महत्वपूर्ण हैं।
CIFAR-FS: एडेप्टिव वेरिएंट्स ने तीनों बैकबोन्स में बेस मॉडल्स और फिक्स्ड हेब्बियन बेसलाइन्स दोनों को पछाड़ा। फुल्ली एडेप्टिव ViT ने फिक्स्ड हेब्बियन की तुलना में 16.01 प्रतिशत अंक (88.59% बनाम 72.58%) का सुधार किया।
मल्टी-शॉट: एडेप्टिव रूटिंग के लाभ 1-शॉट से 10-शॉट तक सपोर्ट उदाहरणों की संख्या बढ़ने के साथ बने रहे।
क्रॉस-डोमेन ट्रांसफर: एडेप्टिव Swin और DeiT ने फिक्स्ड बेसलाइन्स की तुलना में CIFAR-FS से Omniglot में बेहतर ट्रांसफर प्रदर्शन दिखाया, हालांकि परिणाम बैकबोन के अनुसार भिन्न थे।

दक्षता (Efficiency)

पैरामीटर्स: 4 लोकेशन्स पर स्पार्स इंसर्शन का उपयोग करके, एडेप्टिव ViT/DeiT मॉडल्स ने पैरामीटर काउंट को ~28.7M से घटाकर ~24.0M कर दिया।
इन्फरेंस टाइम: एडेप्टिव वेरिएंट्स काफी तेज़ थे। Omniglot पर, फुल्ली एडेप्टिव Swin ने इन्फरेंस टाइम को 16.51 ms (Fixed) से घटाकर 14.05 ms कर दिया। CIFAR-FS पर, फुल्ली एडेप्टिव ViT ने समय को 24.51 ms से घटाकर 11.50 ms कर दिया।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि फ्यू-शॉट लर्निंग में हेब्बियन मेमोरी की उपयोगिता केवल इस बात से निर्धारित नहीं होती कि इसे कहाँ डाला गया है, बल्कि इस बात से भी महत्वपूर्ण रूप से निर्धारित होती है कि एक एपिसोड के दौरान इसे कैसे नियंत्रित किया जाता है।

एडेप्टिव प्लास्टिसिटी महत्वपूर्ण है: सीधा स्विन (Swin) तुलना दर्शाता है कि ज्ञात इष्टतम मेमोरी लोकेशन के साथ भी, फिक्स्ड अपडेट रूल्स उप-इष्टतम (suboptimal) होते हैं। विशिष्ट एपिसोड के लिए प्लास्टिसिटी रेट और मेमोरी डिके को अनुकूलित करने से मापने योग्य सटीकता लाभ मिलता है।
आर्किटेक्चर के बीच मजबूती: जबकि डेंस फिक्स्ड हेब्बियन मेमोरी फ्लैट ट्रांसफॉर्मर बैकबोन्स (ViT/DeiT) को नुकसान पहुँचाती है, एडेप्टिव रूटिंग बेसलाइन प्रदर्शन को पुनः प्राप्त करती है और उससे बेहतर करती है, जो यह सुझाव देता है कि एपिसोड-कंडीशन्ड मेमोरी कंट्रोल एक अधिक मजबूत रणनीति है।
दक्षता: यह तरीका अस्थायी एसोसिएटिव मेमोरी का उपयोग करने का एक चयनात्मक और कुशल तरीका प्रदान करता है, जो डेंस फिक्स्ड इम्प्लीमेंटेशन की तुलना में कम कम्प्यूटेशनल ओवरहेड के साथ स्टेट-ऑफ-द-आर्ट फ्यू-शॉट परिणाम प्राप्त करता है।

लेखक निष्कर्ष निकालते हैं कि एडेप्टिव प्लास्टिसिटी और एडेप्टिव मेमोरी एक्टिवेशन, फुल बैकबोन रिट्रेनिंग की लागत के बिना, विजन ट्रांसफॉर्मर्स को फिक्स्ड हेब्बियन व्यवहार की तुलना में बेहतर फ्यू-शॉट टास्क रिप्रेजेंट करने की अनुमति देते हैं।