⚛️ quantum physics

Quantum-Inspired Self-Attention in a Large Language Model

यह शोध पत्र एक क्लासिकल क्वांटम-प्रेरित सेल्फ-अटेंशन मैकेनिज्म को GPT-1 में एकीकृत करता है, जो केवल मामूली इन्फरेंस समय वृद्धि के साथ कैरेक्टर एरर रेट, वर्ड एरर रेट और क्रॉस-एन्ट्रॉपी लॉस में मानक सेल्फ-अटेंशन की तुलना में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Nikita Kuznetsov, Niyaz Ismagilov, Ernesto Campos

प्रकाशित 2026-03-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nikita Kuznetsov, Niyaz Ismagilov, Ernesto Campos

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कहानी लिखना सिखाने की कोशिश कर रहे हैं। इसे अच्छी तरह से करने के लिए, रोबोट को यह समझने की आवश्यकता है कि शब्द एक-दूसरे से कैसे संबंधित हैं। यदि रोबोट पढ़ता है "The cat sat on the..." (बिल्ली बैठी थी...), तो उसे पता होना चाहिए कि अगला शब्द संभवतः "mat" (चटाई) होगा, न कि "moon" (चाँद)।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, यह जोड़ने वाला "दिमाग" Self-Attention कहलाता है। यह एक सुपर-पावर्ड हाइलाइटर की तरह है जो एक वाक्य को स्कैन करता है और पता लगाता है कि कौन से शब्द एक-दूसरे के लिए सबसे महत्वपूर्ण हैं।

हालाँकि, जैसे-जैसे ये AI मॉडल बड़े और स्मार्ट होते जा रहे हैं, यह हाइलाइटर बहुत धीमा और कंप्यूटर पावर का भूखा होता जा रहा है। यह घास के ढेर में से सुई खोजने के लिए हर एक तिनके को एक-एक करके देखने जैसा है।

यह पेपर इस "हाइलाइटर" को बनाने का एक नया तरीका पेश करता है जिसे QISA (Quantum-Inspired Self-Attention) कहा जाता है। यहाँ इसका सरल विवरण दिया गया है कि उन्होंने क्या किया और यह क्यों मायने रखता है।

1. समस्या: पुराना हाइलाइटर बहुत धीमा है

वर्तमान मानक (जो मूल GPT-1 जैसे मॉडलों द्वारा उपयोग किया जाता है) को Classical Self-Attention (CSA) कहा जाता है। यह बहुत अच्छा काम करता है, लेकिन जैसे-जैसे वाक्य लंबे होते जाते हैं, यह गणनात्मक रूप से महंगा (expensive) हो जाता है। यह एक पुस्तकालय को हाथ से व्यवस्थित करने जैसा है; यह काम तो करता है, लेकिन इसमें बहुत समय लगता है।

2. विचार: क्वांटम दुनिया से उधार लेना

वैज्ञानिक AI को तेज़ बनाने के लिए Quantum Computers (ऐसी मशीनें जो डेटा को प्रोसेस करने के लिए भौतिकी के अजीब नियमों का उपयोग करती हैं) का उपयोग करने की कोशिश कर रहे हैं। उन्होंने "Quantum Self-Attention" (QSA) बनाया, जो घास के ढेर में से सुई को तुरंत खोजने के लिए एक टेलीपोर्टर का उपयोग करने जैसा है।

पेंच (The Catch): वास्तविक क्वांटम कंप्यूटर अभी भी बहुत प्रयोगात्मक, शोर वाले (noisy) और उपयोग करने में कठिन हैं। वे एक प्रोटोटाइप कार की तरह हैं जो जादू से चलती है लेकिन अगर आप उसे गलत तरीके से देखें तो खराब हो जाती है।

3. समाधान: "क्वांटम-प्रेरित" हाइब्रिड

इस पेपर के लेखकों ने कहा, "क्या होगा यदि हम वास्तविक क्वांटम कंप्यूटर का उपयोग न करें, बल्कि हम उस गणित की नकल करें जिसका क्वांटम कंप्यूटर उपयोग करता है?"

उन्होंने हाइलाइटर का एक नया संस्करण बनाया जिसे QISA कहा जाता है।

रूपक (Metaphor): कल्पना कीजिए कि पुराना हाइलाइटर महत्व को मापने के लिए एक साधारण रूलर (पैमाने) का उपयोग करता है। नया QISA हाइलाइटर एक "क्वांटम-शैली" के रूलर का उपयोग करता है जो एक साथ महत्व के कई आयामों को माप सकता है, ठीक वैसे ही जैसे एक क्वांटम कंप्यूटर करेगा।
ट्विस्ट: उन्हें यह करने के लिए वास्तविक क्वांटम कंप्यूटर की आवश्यकता नहीं पड़ी। उन्होंने बस एक क्लासिकल कंप्यूटर प्रोग्राम लिखा जो फैंसी क्वांटम गणित का अनुकरण (simulate) करता है।

4. उन्होंने इसका परीक्षण कैसे किया

उन्होंने एक बुनियादी भाषा मॉडल (GPT-1) लिया और उसके मानक हाइलाइटर को अपने नए QISA संस्करण से बदल दिया। उन्होंने इसे शेक्सपियर के नाटकों (भाषा मॉडलों के लिए एक क्लासिक परीक्षण) के डेटासेट पर टेस्ट किया।

उन्होंने चार चीजों की तुलना की:

पुराना तरीका (CSA): मानक, विश्वसनीय तरीका।
नया हाइब्रिड (QISA): सामान्य कंप्यूटरों पर चलने वाला "क्वांटम गणित"।
क्वांटम संस्करण (QISA-A): वह संस्करण जिसे भविष्य के वास्तविक क्वांटम कंप्यूटरों पर चलाने के लिए डिज़ाइन किया गया है।
अन्य क्वांटम प्रयोग: पिछले क्वांटम अटेंशन के प्रयास।

5. परिणाम: एक बड़ी जीत

परिणाम आश्चर्यजनक रूप से अच्छे थे। नया QISA तरीका स्पष्ट विजेता था:

सटीकता (Accuracy): इसने बहुत कम गलतियाँ कीं।
- स्पेलिंग सही करने में यह 15.5 गुना बेहतर था (Character Error Rate)।
- पूरे शब्दों को सही करने में यह 4.7 गुना बेहतर था (Word Error Rate)।
- वाक्य में अगले शब्द की भविष्यवाणी करने में यह 13 गुना बेहतर था (Cross-Entropy Loss)।
गति (Speed): यह एक ट्रेड-ऑफ है। क्योंकि यह अधिक जटिल गणित कर रहा है, इसलिए इसे सोचने में थोड़ा अधिक समय लगता है।
- यह पुराने तरीके की तुलना में लगभग 2.6 गुना धीमा है।

उपमा (Analogy): कल्पना कीजिए कि पुराना तरीका एक तेज़ स्पोर्ट्स कार है जो 30 मील प्रति गैलन का माइलेज देती है। नया QISA तरीका एक भारी-भरकम ट्रक है जो 12 मील प्रति गैलन का माइलेज देता है (धीमा, अधिक ईंधन का उपयोग करता है), लेकिन यह 15 गुना अधिक कार्गो (बहुत बेहतर सटीकता) ले जा सकता है। कई कार्यों के लिए, उस अतिरिक्त कार्गो को ले जाना अतिरिक्त ईंधन के लायक होता है।

6. यह क्यों मायने रखता है

यह अभी के लिए तैयार है: आपको इसे उपयोग करने के लिए $100 मिलियन के क्वांटम कंप्यूटर की आवश्यकता नहीं है। आप इसे आज नियमित कंप्यूटरों पर चला सकते हैं।
यह एक ब्लूप्रिंट है: उन्होंने एक संस्करण (QISA-A) भी बनाया है जो विशेष रूप से भविष्य में वास्तविक, त्रुटि-मुक्त क्वांटम कंप्यूटरों के मौजूद होने पर काम करने के लिए है।
बेहतर आर्किटेक्चर: उन्होंने साबित किया कि सुधार केवल अधिक पैरामीटर्स (अधिक "मस्तिष्क कोशिकाओं") के कारण नहीं आया, बल्कि इस बात से आया कि "मस्तिष्क कैसे काम करता है"। यह एक बड़ा डिज़ाइन नहीं, बल्कि एक स्मार्ट डिज़ाइन है।

निष्कर्ष

लेखकों ने क्वांटम भौतिकी के शानदार, सैद्धांतिक गणित को एक मानक AI मॉडल पर लागू किया। परिणाम एक ऐसा सिस्टम है जो भाषा को समझने में काफी अधिक सटीक है, जिसमें प्रोसेसिंग समय में केवल मध्यम वृद्धि होती है। यह "दोनों दुनियाओं का सर्वश्रेष्ठ" दृष्टिकोण है जो भविष्य के AI मॉडलों को और भी स्मार्ट और कुशल बना सकता है, यहाँ तक कि पूर्ण रूप से कार्यात्मक क्वांटम कंप्यूटरों के आने से पहले ही।

यहाँ निकिता कुज़नेत्सोव, नियज़ इस्मागिलोव और अर्नेस्टो कैम्पोस के शोध पत्र "Quantum-Inspired Self-Attention in a Large Language Model" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ट्रांसफॉर्मर-आधारित लार्ज लैंग्वेज मॉडल्स (LLMs) टोकन संबंधों को मॉडल करने के लिए सेल्फ-अटेंशन मैकेनिज्म पर बहुत अधिक निर्भर करते हैं। हालाँकि, इन आर्किटेक्चर को स्केल करने से कम्प्यूटेशनल और मेमोरी लागत तेजी से बढ़ती है। साथ ही, क्वांटम नेचुरल लैंग्वेज प्रोसेसिंग (QNLP) के क्षेत्र ने क्वांटम सेल्फ-अटेंशन (QSA) मैकेनिज्म (जैसे QSANN) विकसित किए हैं जो सुपरपोजिशन और एंटैंगलमेंट जैसे क्वांटम सिद्धांतों का लाभ उठाते हैं।

वर्तमान QSA की सीमा: मौजूदा QSA मॉडल्स का परीक्षण मुख्य रूप से टेक्स्ट क्लासिफिकेशन कार्यों पर किया गया है। वे अक्सर सीमित पैरेललाइजेशन क्षमताओं (जो ट्रांसफॉर्मर्स की एक मुख्य शक्ति है) से जूझते हैं और प्रत्येक टोकन के लिए एक अद्वितीय पैरामीटराइज्ड क्वांटम सर्किट (ansatz) को प्रशिक्षित करने की आवश्यकता होती है, जो कम्प्यूटेशनल रूप से महंगा है।
अंतराल (Gap): ऑटोरिग्रेसिव लैंग्वेज मॉडलिंग (GPT जैसे जनरेटिव कार्यों) में क्वांटम-प्रेरित अटेंशन मैकेनिज्म को एकीकृत करने की कमी है, और पहले किसी भी कार्य ने एक पूर्ण GPT पाइपलाइन में मानक अटेंशन वैल्यू लेयर को क्वांटम-प्रेरित विकल्प से सफलतापूर्वक प्रतिस्थापित नहीं किया है।

2. कार्यप्रणाली (Methodology)

लेखक एक क्लासिकल क्वांटम-प्रेरित सेल्फ-अटेंशन (QISA) मैकेनिज्म और एक क्वांटम-डिप्लॉय करने योग्य संस्करण (QISA-A) प्रस्तावित करते हैं। इन्हें GPT-1 आर्किटेक्चर में एकीकृत किया गया है।

मुख्य नवाचार: वैल्यू लेयर का प्रतिस्थापन (The Value Layer Replacement)

लेखकों ने मानक मल्टी-हेड सेल्फ-अटेंशन (MHSA) में वैल्यू लेयर को प्रदर्शन में सुधार के प्राथमिक योगदानकर्ता के रूप में पहचाना है। उन्होंने वैल्यू लेयर में मानक लीनियर प्रोजेक्शन को क्वांटम एक्सपेक्टेशन वैल्यूज से प्रेरित ऑपरेशन्स से बदल दिया।

मानक सेल्फ-अटेंशन (CSA): $V = X W_V$ की गणना करता है।
QISA मैकेनिज्म:
- इनपुट टोकन्स को नॉर्मलाइज्ड क्लासिकल वेक्टर्स $|x_i\rangle$ के रूप में माना जाता है।
- एक साधारण मैट्रिक्स मल्टीप्लिकेशन के बजाय, टोकन $i$ के लिए वैल्यू वेक्टर $v_i^{(j)}$ की गणना एक्सपेक्टेशन वैल्यूज के एक वेक्टर के रूप में की जाती है:
  $v_i^{(j)} := [\langle P_1 \rangle_i^{(j)}, \langle P_2 \rangle_i^{(j)}, \dots, \langle P_h \rangle_i^{(j)}]$
- जहाँ $\langle P_k \rangle_i^{(j)} = \langle x_i | \tilde{W}_V^{(j)\top} P_k \tilde{W}_V^{(j)} | x_i \rangle$ ।
- $\tilde{W}_V^{(j)}$ एक ट्रेन करने योग्य लीनियर मैप है, और $P_k$ पाउली स्ट्रिंग्स (ऑपरेटरों का समूह $\{I, X, Y, Z\}^{\otimes n}$ ) का प्रतिनिधित्व करता है।
- मुख्य अंतर: QSANN के विपरीत, जिसमें प्रत्येक टोकन के लिए एक अद्वितीय एंसेट (ansatz) सर्किट की आवश्यकता होती है, QISA एक टोकन-स्वतंत्र लीनियर मैप $\tilde{W}_V$ का उपयोग करता है, जो मानक ट्रांसफॉर्मर्स की तरह क्लासिकल पैरेललाइजेशन की अनुमति देता है।

वेरिएंट्स (Variants)

QISA: एक पूर्णतः क्लासिकल सिमुलेशन जहाँ "क्वांटम" ऑपरेशन्स को मैट्रिक्स-वेक्टर मल्टीप्लीकेशन के माध्यम से लागू किया जाता है।
QISA-A: एक वेरिएंट जहाँ लीनियर मैप $\tilde{W}_V$ को एक पैरामीटराइज्ड क्वांटम सर्किट (ansatz) $U(\theta)$ द्वारा प्रतिस्थापित किया जाता है। इसे भविष्य के एरर-करेक्टेड क्वांटम हार्डवेयर के लिए डिज़ाइन किया गया है, लेकिन बेंचमार्किंग के लिए इसे क्लासिकली सिम्युलेट किया गया है।
बेसलाइन्स (Baselines): अध्ययन में QISA/QISA-A की तुलना मानक CSA और मूल QSANN के तीन वेरिएंट्स (ओरिजिनल, रिड्यूस्ड पैरामीटर्स, और मॉडिफाइड Q/K स्ट्रक्चर) से की गई है।

प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल: GPT-1 आर्किटेक्चर (6 ट्रांसफॉर्मर लेयर्स)।
डेटासेट: शेक्सपियर के टेक्स्ट (कैरेक्टर-लेवल टोकनाइज़र)।
कॉन्फ़िगरेशन: 4 और 16 के एम्बेडिंग साइज, और 1 और 4 हेड काउंट के साथ टेस्ट किया गया।
फ्रेमवर्क: क्वांटम सिमुलेशन के लिए TorchQuantum फ्रेमवर्क के साथ PyTorch।
ऑप्टिमाइजेशन: क्वांटम मॉडल्स के लिए 1-3 लेयर्स वाले हार्डवेयर-एफिशिएंट एंसेट (HEA) का उपयोग किया गया।

3. मुख्य योगदान (Key Contributions)

प्रथम ऑटोरिग्रेसिव एकीकरण: यह पूर्ण ऑटोरिग्रेसिव लैंग्वेज मॉडलिंग पाइपलाइन (GPT-1) के भीतर क्वांटम सेल्फ-अटेंशन मैकेनिज्म का पहला ज्ञात कार्यान्वयन है, जो टेक्स्ट क्लासिफिकेशन से आगे बढ़ता है।
QISA आर्किटेक्चर: एक नया मैकेनिज्म प्रस्तावित करता है जो क्लासिकल ट्रांसफॉर्मर्स के पैरेललाइजेशन लाभों को बनाए रखते हुए, वैल्यू लेयर के माध्यम से क्वांटम फीचर मैप्स की एक्सप्रेसिव पावर को प्राप्त करता है।
प्रदर्शन बेंचमार्किंग: यह प्रदर्शित करता है कि क्वांटम-प्रेरित मॉडल जनरेटिव कार्यों में मानक क्लासिकल अटेंशन की तुलना में काफी बेहतर प्रदर्शन कर सकते हैं, भले ही उन्हें क्लासिकल हार्डवेयर पर सिम्युलेट किया गया हो।
QISA-A वेरिएंट: एक ऐसा संस्करण पेश करता है जो विशेष रूप से भविष्य के क्वांटम हार्डवेयर के लिए तैयार किया गया है, जो प्रदर्शन समानता बनाए रखते हुए पैरामीटर की संख्या को कम करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल्स का मूल्यांकन क्रॉस-एन्ट्रॉपी (CE) लॉस, कैरेक्टर एरर रेट (CER), और वर्ड एरर रेट (WER) का उपयोग करके किया गया।

प्रदर्शन लाभ (एम्बेडिंग साइज 16):
- क्रॉस-एन्ट्रॉपी लॉस: QISA ने मानक CSA की तुलना में 13× सुधार हासिल किया।
- कैरेक्टर एरर रेट (CER): QISA, CSA से 15.5× बेहतर था।
- वर्ड एरर रेट (WER): QISA, CSA से 4.7× बेहतर था।
- QISA और QISA-A ने लगातार सभी QSANN वेरिएंट्स और मानक CSA को पछाड़ दिया।
पैरामीटर दक्षता (Parameter Efficiency):
- सिंगल-हेड कॉन्फ़िगरेशन ( $H=1$ ) में, QISA और CSA में समान संख्या में पैरामीटर्स हैं। इसके बावजूद, QISA ने CSA से काफी बेहतर प्रदर्शन किया, जो यह सिद्ध करता है कि सुधार आर्किटेक्चरल है, न कि केवल बढ़े हुए पैरामीटर काउंट के कारण।
- मल्टी-हेड कॉन्फ़िगरेशन के लिए, QISA में CSA की तुलना में अधिक पैरामीटर हैं, लेकिन कुछ QSANN वेरिएंट्स की तुलना में कम हैं।
कम्प्यूटेशनल लागत (Computational Cost):
- ट्रेनिंग: बैकप्रोपैगेशन के दौरान यूनिटरी मैट्रिसेस की गणना करने के ओवरहेड के कारण सिम्युलेटेड क्वांटम मॉडल्स काफी धीमे (कई गुना) हैं।
- इन्फरेंस (Inference): ऑब्जर्वेबल्स को कैश करने और उन्हें हाइजनबर्ग पिक्चर (परिशिष्ट B) में विकसित करने से इन्फरेंस टाइम पेनल्टी को कम किया गया। QISA इन्फरेंस, CSA की तुलना में केवल 2.6× धीमा है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

आर्किटेक्चरल श्रेष्ठता: परिणाम बताते हैं कि "क्वांटम-प्रेरित" वैल्यू लेयर टोकन एम्बेडिंग्स के अधिक प्रभावी रूपांतरण को सक्षम बनाती है, जिससे क्लासिकल हार्डवेयर पर भी बेहतर लैंग्वेज मॉडलिंग क्षमताएं मिलती हैं।
व्यावहारिक समझौता (Practical Trade-off): पेपर का तर्क है कि 2.6× इन्फरेंस टाइम में वृद्धि, एरर रेट में भारी कमी (15.5× सुधार में CER) के लिए एक सार्थक समझौता है।
भविष्य का हार्डवेयर: हालांकि वर्तमान क्वांटम हार्डवेयर (NISQ) में एरर करेक्शन की कमी है, लेकिन QISA-A वेरिएंट भविष्य के फॉल्ट-टोलरेंट क्वांटम कंप्यूटरों के लिए एक प्रमुख उम्मीदवार के रूप में स्थित है। यह QISA के समान प्रदर्शन प्रदान करता है लेकिन कम पैरामीटर्स के साथ, जो वास्तविक हार्डवेयर पर पैरामीटर-शिफ्ट रूल की कम्प्यूटेशनल लागत को कम कर सकता है।
व्यापक प्रभाव: यह कार्य सैद्धांतिक QNLP और व्यावहारिक LLM डिप्लॉयमेंट के बीच के अंतर को पाटता है, यह सुझाव देता है कि क्वांटम-प्रेरित क्लासिकल एल्गोरिदम तुरंत NLP प्रदर्शन को बढ़ा सकते हैं और भविष्य के क्वांटम-नेटिव मॉडल्स के लिए मार्ग प्रशस्त कर सकते हैं।

कोड उपलब्धता: कार्यान्वयन GitHub पर ओपन-सोर्स है (PyTorch + TorchQuantum)।