🤖 machine learning

QLAM: A Quantum Long-Attention Memory Approach to Long-Sequence Token Modeling

यह शोध पत्र QLAM को प्रस्तुत करता है, जो एक हाइब्रिड क्वांटम-क्लासिकल मेमोरी तंत्र है जो पैरामीटराइज्ड सर्किट के माध्यम से हिडन स्टेट्स को विकसित करने के लिए क्वांटम सुपरपोजिशन का लाभ उठाता है, जिससे अनुक्रमिक इमेज क्लासिफिकेशन कार्यों पर रिकरेंट और ट्रांसफॉर्मर-आधारित बेसलाइन्स से बेहतर प्रदर्शन करते हुए लॉन्ग-रेंज डिपेंडेंसीज़ की कुशल लीनियर-टाइम मॉडलिंग सक्षम होती है।

मूल लेखक: Hoang-Quan Nguyen, Sankalp Pandey, Khoa Luu

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hoang-Quan Nguyen, Sankalp Pandey, Khoa Luu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत लंबी कहानी को, शब्द दर शब्द, याद रखने की कोशिश कर रहे हैं जैसा कि वह आपको सुनाई जा रही है। कंप्यूटर मॉडल बिल्कुल यही करते हैं जब वे डेटा के लंबे अनुक्रमों (sequences) को प्रोसेस करते हैं, जैसे कि किसी किताब के वाक्य या एक रेखा में व्यवस्थित किए गए पिक्सेल।

यह शोध पत्र पेश करता है कि कैसे कंप्यूटर इन लंबी कहानियों को संभालने के लिए एक नया तरीका अपना सकते हैं, जिसे QLAM (क्वांटम लॉन्ग-अटेंशन मेमोरी) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से यहाँ समझाया गया है:

समस्या: "बहुत भारी" बैकपैक और "धुंधली होती" गूँज

वर्तमान कंप्यूटर मॉडल लंबी कहानियों को समझने में दो मुख्य तरीकों से संघर्ष करते हैं:

"बैकपैक" की समस्या (ट्रांसफॉर्मर्स): कहानी के अंत को पढ़ते समय शुरुआत को याद रखने के लिए, मानक मॉडल अब तक देखे गए हर एक शब्द की एक सूची रखने की कोशिश करते हैं। यह एक ऐसा बैकपैक रखने जैसा है जो हर नए शब्द के साथ भारी होता जाता है। अंततः, बैकपैक इतना भारी (बहुत अधिक डेटा) हो जाता है कि कंप्यूटर धीमा हो जाता है या क्रैश हो जाता है।
"धुंधली होती गूँज" की समस्या (आरएनएन - RNNs): अन्य मॉडल कहानी का एक एकल "सारांश" अपने दिमाग में रखने की कोशिश करते हैं। जैसे-जैसे नए शब्द आते हैं, वे इस सारांश को अपडेट करते हैं। लेकिन यह बातचीत को केवल आखिरी सुनी गई बात को दोहराकर याद रखने जैसा है; बातचीत की शुरुआत के विवरण समय के साथ धुंधले पड़ जाते हैं या विकृत हो जाते हैं।

समाधान: "क्वांटम सुपरपोजिशन" लाइब्रेरी

लेखक QLAM का प्रस्ताव देते हैं, जो इन समस्याओं को हल करने के लिए क्वांटम भौतिकी के अजीब नियमों का उपयोग करता है। एक भारी बैकपैक या धुंधली गूँज के बजाय, QLAM एक क्वांटम लाइब्रेरी का उपयोग करता है।

1. सुपरपोजिशन बुकशेल्फ़
एक जादुई बुकशेल्फ़ की कल्पना करें जहाँ, एक समय में एक किताब रखने के बजाय, आप अब तक पढ़ी गई सभी किताबों को एक साथ, लेकिन एक विशेष "सुपरपोजिशन" अवस्था में शेल्फ पर रख सकते हैं।

क्लासिकल तरीका: आपके पास 100 स्लॉट वाला एक शेल्फ है। आप एक स्लॉट में एक बार में केवल एक ही किताब रख सकते हैं। 1,000 किताबों को याद रखने के लिए, आपको 1,000 स्लॉट की आवश्यकता होगी।
QLAM का तरीका: क्वांटम मैकेनिक्स के कारण, एक एकल "क्वांटम स्लॉट" एक साथ सभी 1,000 किताबों का मिश्रण रख सकता है। यह एक ऐसी लाइब्रेरी की तरह है जहाँ कहानी का पूरा इतिहास एक ही, सघन, चमकते हुए गोले (orb) में मौजूद है। यह मेमोरी को अविश्वसनीय रूप से कुशल बनाता है; जैसे-जैसे कहानी लंबी होती जाती है, आपको बड़े शेल्फ की आवश्यकता नहीं होती।

2. मेमोरी का "नृत्य" (यूनिटरी इवोल्यूशन)
जैसे-जैसे कहानी आगे बढ़ती है, कंप्यूटर केवल मेमोरी में नए शब्द "जोड़ता" नहीं है (जिससे "धुंधली गूँज" की समस्या हो सकती है)। इसके बजाय, यह एक क्वांटम नृत्य करता है।

मेमोरी को एक घूमते हुए लट्टू (spinning top) के रूप में सोचें। जब एक नया शब्द आता है, तो लट्टू घूमता है और अपना आकार बदलता है, लेकिन वह कभी अपना संतुलन नहीं खोता या गिरता नहीं है।
भौतिकी के शब्दों में, इसे "यूनिटरी ट्रांसफॉर्मेशन" कहा जाता है। यह सुनिश्चित करता है कि सूचना की कुल मात्रा कितनी भी लंबी कहानी हो, हमेशा पूर्ण और स्थिर रहती है। अतीत को ओवरराइट नहीं किया जाता; इसे बस एक नए, स्थिर पैटर्न में पुनर्व्यवस्थित किया जाता है।

3. "जादुई लेंस" (मेज़रमेंट)
जब कंप्यूटर को कहानी के बारे में कोई प्रश्न पूछना होता है (जैसे "बिल्ली का रंग क्या था?"), तो वह शब्दों की पूरी सूची को स्कैन नहीं करता है।

इसके बजाय, वह एक जादुिक लेंस (एक क्वेरी-डिपेंडेंट मेजरमेंट) का उपयोग करता है।
आप लेंस को चमकते हुए मेमोरी ऑर्ब की ओर लक्षित करते हैं। लेंस विशिष्ट प्रश्न के लिए ट्यून किया गया है। जब आप इसके माध्यम से देखते हैं, तो ऑर्ब तुरंत "कोलैप्स" होकर आपको कहानी का प्रासंगिक हिस्सा दिखाता है, जबकि बाकी हिस्सा पृष्ठभूमि में धुंधला हो जाता है।
यह एक लाइब्रेरियन से पूछने जैसा है, "मुझे बिल्ली के बारे में हिस्सा दिखाएं," और पूरी लाइब्रेरी तुरंत खुद को इस तरह व्यवस्थित करती है कि केवल बिल्ली की कहानी ही दिखाई दे, बिना लाइब्रेरियन द्वारा हर एक किताब को पढ़े।

परिणाम: क्या यह काम करता है?

शोधकर्ताओं ने चित्रों (जैसे हस्तलिखित नंबर या कपड़े) को पिक्सेल की लंबी लाइनों में बदलकर इस विचार का परीक्षण किया और कंप्यूटर को उन्हें पहचानने के लिए कहा।

परीक्षण: उन्होंने QLAM की तुलना "बैकपैक" मॉडल्स (ट्रांसफॉर्मर्स) और "धुंधली गूँज" मॉडल्स (आरएनएन) से की।
परिणाम: QLAM लगातार जीता। यह लंबे अनुक्रमों के विवरण को याद रखने में बेहतर था और अधिक स्थिर था (यह आसानी से भ्रमित नहीं हुआ)।
यह क्यों महत्वपूर्ण है: इसने साबित कर दिया कि मेमोरी स्टोर करने के लिए क्वांटम "सुपरपोजिशन" का उपयोग करना एक शक्तिशाली नया तरीका है, जो कम "स्थान" के साथ अधिक याद रखने का एक तरीका प्रदान करता है और बिना शुरुआत को खोए।

सारांश में

QLAM एक प्रकार की नई कंप्यूटर मेमोरी है जो डेटा के एक लंबे अनुक्रम को केवल संग्रहीत की जाने वाली वस्तुओं की सूची के रूप में नहीं, बल्कि एक एकल, विकसित होते क्वांटम स्टेट के रूप में मानती है। यह एक साथ कई चीजों को रखने की क्षमता (सुपरपोजिशन) का उपयोग करता है ताकि पूरी कहानी को एक सघन, स्थिर रूप में रखा जा सके, और जब आवश्यक हो तो तुरंत उत्तर खोजने के लिए एक विशेष "लेंस" का उपयोग करता है। यह एक नया दृष्टिकोण है जो लंबी चीजों को याद रखने की समस्या को हल करने के लिए मशीन लर्निंग के साथ क्वांटम भौतिकी के सर्वश्रेष्ठ गुणों को जोड़ता है।

तकनीकी सारांश: QLAM: दीर्घ-अनुक्रम टोकन मॉडलिंग के लिए एक क्वांटम लॉन्ग-अटेंशन मेमोरी दृष्टिकोण

समस्या विवरण
अनुक्रमिक डेटा में दीर्घ-रेंज निर्भरता (long-range dependencies) को मॉडल करना मशीन लर्निंग में एक केंद्रीय चुनौती बनी हुई है। जबकि रिकरेंट न्यूरल नेटवर्क (RNNs) वैनिशिंग या एक्सप्लोडिंग ग्रेडिएंट्स से जूझते हैं जो दीर्घकालिक सूचना प्रतिधारण (information retention) को कम कर देते हैं, ट्रांसफॉर्मर (Transformers) इसे सेल्फ-अटेंशन तंत्र के माध्यम से संबोधित करते हैं लेकिन अनुक्रम लंबाई के सापेक्ष द्विघाती (quadratic) कम्प्यूटेशनल जटिलता का सामना करते हैं, जो स्केलेबिलिटी को सीमित करता है। स्टेट-स्पेस मॉडल्स (SSMs) एक लीनियर-टाइम विकल्प प्रदान करते हैं जो एक लेटेंट स्टेट को रिकरेंट अपडेट के माध्यम से विकसित करते हैं; हालाँकि, उनकी मेमोरी आमतौर पर योगात्मक (additive) या लीनियर ट्रांज़िशन के माध्यम से निर्मित होती है। यह शास्त्रीय योगात्मक संचय (classical additive accumulation) जटिल वैश्विक अंतःक्रियाओं को कैप्चर करने की क्षमता को सीमित कर सकता है और जैसे-जैसे अनुक्रम बढ़ते हैं, सूचना की हानि का कारण बन सकता है, क्योंकि ऐतिहासिक डेटा को एक निश्चित-आयामी वेक्टर में संकुचित किया जाना पड़ता है।

कार्यप्रणाली: क्वांटम लॉन्ग-अटेंशन मेमोरी (QLAM)
लेखक QLAM का प्रस्ताव करते हैं, जो एक हाइब्रिड क्वांटम-क्लासिकल मेमोरी तंत्र है जो क्वांटम सुपरपोजिशन और यूनिटरी इवोल्यूशन का उपयोग करके मेमोरी रिप्रजेंटेशन को पुनर्गठित करता है। टोकन-वार एम्बेडिंग्स या की-वैल्यू पेयर्स के रूप में मेमोरी को स्टोर करने वाले शास्त्रीय दृष्टिकोणों के विपरीत, QLAM हिडन स्टेट को एक कॉम्प्लेक्स हिलबर्ट स्पेस में एक क्वांटम स्टेट $|\psi_t\rangle$ के रूप में प्रस्तुत करता है।

मेमोरी रिप्रजेंटेशन: मेमोरी स्टेट एक नॉर्मलाइज्ड वेक्टर $|\psi_t\rangle \in \mathbb{C}^{2^n}$ है, जहाँ $n$ क्यूबिट्स की संख्या है। यह एक साथ कई कॉन्टेक्स्टुअल सिग्नल्स के सुसंगत सुपरपोजिशन (coherent superposition) को एनकोड करने की अनुमति देता है। लेखक नोट करते हैं कि यह रिप्रजेंटेशन $O(n) \sim O(\log_2 d)$ की मेमोरी जटिलता प्रदान करता है, जबकि शास्त्रीय स्टेट वेक्टर्स की जटिलता $O(d)$ होती है।
मेमोरी इवोल्यूशन: स्टेट इनपुट टोकन $x_t$ द्वारा कंडिशन्ड पैरामीटराइज्ड क्वांटम सर्किट्स (PQCs) के माध्यम से विकसित होता है। अपडेट नियम को $|\psi_t\rangle = U(x_t, \theta)|\psi_{t-1}\rangle$ के रूप में परिभाषित किया गया है, जहाँ $U(x_t, \theta) = U_{var}(\theta)U_{enc}(x_t)$ है। महत्वपूर्ण रूप से, क्योंकि $U$ एक यूनिटरी ऑपरेटर है, रूपांतरण नॉर्म-प्रिजर्विंग (norm-preserving) है ( $\||\psi_t\rangle\| = \||\psi_{t-1}\rangle\|$ )। यह लंबी अनुक्रमों पर स्थिर सूचना प्रसार सुनिश्चित करता है, जिससे शास्त्रीय डायनेमिकल सिस्टम में देखे जाने वाले घातीय विकास या क्षय (exponential growth or decay) से बचा जा सकता है।
रीडआउट मैकेनिज्म: कार्य-प्रासंगिक जानकारी प्राप्त करने के लिए, QLAM एक क्वेरी-डिपेंडेंट मेजरमेंट का उपयोग करता है। संग्रहीत कीज़ और वैल्यूज के बीच स्पष्ट युग्मवार (pairwise) अंतःक्रियाओं की गणना करने के बजाय, एक लर्नबल हर्मिटियन ऑब्जर्वेबल ऑपरेटर $O(q_t)$ , जो क्वेरी $q_t$ द्वारा पैरामीटराइज्ड है, क्वांटम स्टेट पर लागू किया जाता है। अटेंशन वेट $\alpha_{t,s}$ को एक्सपेक्टेशन वैल्यू $\langle \psi_t | O(q_t) | \psi_t \rangle$ से प्राप्त किया जाता है। यह ऐतिहासिक टोकन रिप्रजेंटेशन को संग्रहीत किए बिना ग्लोबल डिपेंडेंसीज को स्पष्ट रूप से कैप्चर करने और विशिष्ट जानकारी निकालने की अनुमति देता है।

प्रमुख योगदान

नया मेमोरी एब्स्ट्रैक्शन: यह पेपर QLAM को उन पहले अध्येशनों में से एक के रूप में पेश करता है जो क्लासिकल एडिटिव मेमोरी के स्थान पर क्वांटम सुपरपोजिशन-आधारित रिप्रजेंटेशन का उपयोग करके स्टेट-आधारित सीक्वेंस मॉडलिंग को बढ़ाने के लिए क्वांटम सुपरपोजिशन का लाभ उठाता है।
हाइब्रिड फ्रेमवर्क: यह एक हाइब्रिड क्वांटम-क्लासिकल आर्किटेक्चर प्रस्तावित करता है जहाँ कॉन्टेक्स्टुअल जानकारी को सीधे एक क्वांटम डिवाइस पर स्टोर और प्रोसेस किया जाता है (जिसे इस कार्य में सिम्युलेट किया गया है), जो यूनिटरी ट्रांसफॉर्मेशन के माध्यम से विकसित होती है और मेजरमेंट के माध्यम से प्राप्त की जाती है।
अटेंशन का सामान्यीकरण: यह कार्य अटेंशन मैकेनिज्म को क्वांटम सेटिंग में सामान्य करता है, जहाँ रिट्रीवल (retrieval) संग्रहीत कीज़ और वैल्यूज पर स्पष्ट समानता गणनाओं के बजाय क्वेरी-डिपेंडेंट मेजरमेंट्स के माध्यम से किया जाता है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक व्यावहारिक लर्निंग सेटिंग्स में क्वांटम मेमोरी की व्यवहार्यता का मूल्यांकन करने के लिए QLAM का अनुभवजन्य अन्वेषण करते हैं, यह प्रदर्शित करते हुए कि हाइब्रिड क्वांटम मेमोरी सीक्वेंस मॉडलिंग के बारे में सोचने के लिए एक आशाजनक दिशा है।

प्रायोगिक परिणाम
लेखकों ने मानक इमेज क्लासिफिकेशन बेंचमार्क के अनुक्रमिक वेरिएंट्स: sMNIST, sFashion-MNIST, और sCIFAR-10 पर QLAM का मूल्यांकन किया। इन कार्यों में, स्थानिक इंडक्टिव बायस (spatial inductive biases) को हटाने और अनुक्रमिक तर्क (sequential reasoning) पर निर्भरता को मजबूर करने के लिए छवियों को टोकन अनुक्रमों में फ्लैटन किया गया था।

प्रदर्शन: तीनों डेटासेट्स पर, QLAM ने रिकरेंट बेसलाइन्स (RNNs), ट्रांसफार्मर-आधारित मॉडल्स, और स्टेट-स्पेस मॉडल्स (SSMs) को लगातार पछाड़ दिया।
- sMNIST पर, QLAM ने 92.6% सटीकता प्राप्त की, जो ट्रांसफॉर्मर्स (91.3%) और SSMs (91.2%) से अधिक है।
- sFashion-MNIST पर, QLAM 81.4% तक पहुँचा, जो ट्रांसफॉर्मर्स (80.2%) और SSMs (79.6%) से बेहतर है।
- अधिक जटिल sCIFAR-10 पर, QLAM ने 53.6% हासिल किया, जबकि ट्रांसफॉर्मर्स के लिए यह 53.0% और SSMs के लिए 51.8% था।
स्थिरता: परिणामों ने 10-फोल्ड इवैल्यूएशन में कम स्टैंडर्ड डेविएशन दिखाया, जो इंगित करता है कि QLAM न केवल उच्च सटीकता प्रदान करता है, बल्कि उच्च प्रशिक्षण स्थिरता और डेटा स्प्लिट्स के प्रति मजबूती भी प्रदान करता है, विशेष रूप से जटिल डेटासेट्स में।
दक्षता: ये सुधार मॉडल की जटिलता बढ़ाए बिना प्राप्त किए गए, जो सुझाव देते हैं कि लाभ स्वयं मेमोरी मैकेनिज्म की प्रभावकारिता से आते हैं।

महत्व और दावे
पेपर का दावा है कि QLAM स्टेट-स्पेस फॉर्मुलेशन का एक सिद्धांतपूर्ण विस्तार प्रदान करता है जहाँ क्वांटम सुपरपोजिशन क्लासिकल एडिटिव मेमोरी की जगह लेता है। यह दृष्टिकोण SSMs के अनुकूल लीनियर-टाइम कम्प्यूटेशनल स्केलिंग को बनाए रखते हुए समृद्ध ग्लोबल रिप्रजेंटेशन को सक्षम बनाता है। मेमोरी को एक पैसिव स्टोरेज के बजाय एक सक्रिय रूप से विकसित होने वाली क्वांटम प्रणाली के रूप में मौलिक रूप से पुनर्कल्पित करके, QLAM मेमोरी मैकेनिज्म के कोर डिज़ाइन में क्वांटम कंप्यूटेशन को एकीकृत करने के लिए एक नया शोध पथ खोलता है। लेखक निष्कर्ष निकालते हैं कि जबकि निष्कर्ष क्वांटम-स्टेट-आधारित मेमोरी की क्षमता को मान्य करते हैं, गहन सैद्धांतिक समझ को गहरा करने, वास्तविक क्वांटम हार्डवेयर पर कार्यान्वयन तलाशने और बड़े पैमाने के लैंग्वेज और मल्टीमॉडल कार्यों तक ढांचे का विस्तार करने के लिए आगे के कार्य की आवश्यकता है।

समस्या: "बहुत भारी" बैकपैक और "धुंधली होती" गूँज

समाधान: "क्वांटम सुपरपोजिशन" लाइब्रेरी

परिणाम: क्या यह काम करता है?

सारांश में

इसी तरह के और पेपर