⚛️ quantum physics

Boltzmann Attention: Learnable Ising Couplings for Cooperative Attention

यह शोध पत्र बोल्ट्ज़मैन अटेंशन (Boltzmann attention) प्रस्तुत करता है, जो एक ऊर्जा-आधारित तंत्र है जो मानक अटेंशन को एक आइसिंग सिस्टम (Ising system) के रूप में मॉडल किए गए सीख योग्य युग्मवार संयोजनों (pairwise couplings) के साथ संवर्धित करता है ताकि सहकारी और विरोधी अंतर-स्थिति निर्भरताओं को स्पष्ट रूप से कैप्चर किया जा सके, जो अनुक्रम मॉडलिंग कार्यों में बेहतर प्रदर्शन प्रदर्शित करता है और क्वांटम एनीलिंग-आधारित प्रशिक्षण के लिए एक मार्ग प्रदान करता है।

मूल लेखक: Gilhan Kim, Daniel K. Park

प्रकाशित 2026-06-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gilhan Kim, Daniel K. Park

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल कहानी को समझने की कोशिश कर रहे हैं, जैसे कि कोई नाटक या उपन्यास। आधुनिक AI में, "अटेंशन मैकेनिज्म" (attention mechanism) वह उपकरण है जिसका उपयोग कंप्यूटर यह तय करने के लिए करता है कि वाक्य के किन शब्दों पर ध्यान केंद्रित करना महत्वपूर्ण है।

वर्तमान में, अधिकांश AI मॉडल एक विधि का उपयोग करते हैं जिसे सॉफ्टमैक्स अटेंशन (Softmax Attention) कहा जाता है। आप इसे एक सोलो ऑडिशन (एकल ऑडिशन) की तरह समझ सकते हैं। वाक्य का हर शब्द AI को प्रभावित करने के लिए चिल्लाता है, "मेरी ओर देखो! मैं महत्वपूर्ण हूँ!" AI उन सभी को सुनता है, उनमें से उस एक को चुनता है जो अपने आप में सबसे अच्छा लगता है, और उसे स्पॉटलाइट देता है। यदि एक शब्द को बहुत अधिक ध्यान मिलता है, तो दूसरों को कम मिलता है क्योंकि कुल स्पॉटलाइट सीमित होती है।

समस्या यह है कि जैसा कि इस शोध पत्र के लेखक बताते हैं, यह प्रणाली प्रत्येक शब्द को एक अलग व्यक्ति के रूप में देखती है। यह शब्दों को एक-दूसरे से बात करने की अनुमति नहीं देती है—AI द्वारा निर्णय लेने से पहले। वास्तविक जीवन में, शब्द अक्सर टीमों में काम करते हैं। उदाहरण के लिए, यदि आप एक ओपन ब्रैकेट ( देखते हैं, तो आप जानते हैं कि आपको एक क्लोजिंग ब्रैकेट ) को भी खोजना ही होगा। वर्तमान "सोलो ऑडिशन" प्रणाली में, AI को यह संबंध परत-दर-परत (layer by layer) अप्रत्यक्ष रूप से समझना पड़ता है, जो धीमा और अक्षम है।

नया विचार: बोल्ट्ज़मैन अटेंशन (Boltzmann Attention)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे बोल्ट्ज़मैन अटेंशन कहा जाता है। सोलो ऑडिशन के बजाय, इसे एक ग्रुप डांस (समूह नृत्य) या टीम हडल (टीम की बैठक) की तरह कल्पना करें।

इस नए सिस्टम में, शब्द (या "टोकेन्स") मंच पर नर्तकों की तरह हैं। वे केवल संगीत (इनपुट) के आधार पर नाचने का निर्णय नहीं लेते; उनके पास अन्य नर्तकों के साथ एक सीखने योग्य संबंध (learnable relationship) भी होता है।

सहकारी नृत्य (Cooperative Dancing): यदि दो शब्द दोस्त हैं (जैसे एक ब्रैकेट और उसका मिलान), तो सिस्टम एक "पॉजिटिव कपलिंग" सीखता है। यदि एक शब्द स्पॉटलाइट में आगे कदम बढ़ाता है, तो वह अपने दोस्त को भी अपने साथ खींच लेता है।
प्रतिस्पर्धी नृत्य (Competitive Dancing): यदि दो शब्द प्रतिद्वंद्वी हैं, तो सिस्टम एक "नेगेटिव कपलिंग" सीखता है। यदि एक आगे बढ़ता है, तो वह दूसरे को पीछे धकेलता है।

लेखक इन संबंधों को आइसिंग कपलिंग्स (Ising Couplings) कहते हैं। यह कहने का एक फैंसी तरीका है कि AI यह सीखता है कि कौन किसके साथ अच्छा काम करता है।

यह कैसे काम करता है (भौतिकी का सादृश्य)

यह शोध पत्र सांख्यिकीय भौतिकी (statistical physics) (यह अध्ययन कि कण कैसे व्यवहार करते हैं) की अवधारणाओं का उपयोग करता है।

पुराना तरीका (Softmax): एक ऐसे कमरे की कल्पना करें जहाँ हर कोई सुनाई देने के लिए चिल्ला रहा है। जो सबसे तेज़ चिल्लाता है, वही जीतता है। कोई भी अपने पड़ोसियों को नहीं सुनता।
नया तरीका (Boltzmann): एक ऐसे कमरे की कल्पना करें जहाँ हर कोई एक-दूसरे का हाथ थामे हुए है। यदि एक व्यक्ति आगे झुकता है, तो उसके पड़ोसी भी खिंचाव महसूस करते हैं और आगे झुक जाते हैं। सिस्टम पूरे कमरे की "ऊर्जा" (energy) की गणना करता है। एक अच्छी व्यवस्था (जहाँ दोस्त साथ हैं और दुश्मन अलग हैं) में ऊर्जा कम होती है, इसलिए AI स्वाभाविक रूप से उस स्थिति में स्थिर हो जाता है।

उन्हें क्या मिला

शोधकर्ताओं ने इस नए "ग्रुप डांस" तरीके का परीक्षण दो विशिष्ट कार्यों पर किया:

"टाइनी शेक्सपियर" को पढ़ना: उन्होंने AI को शेक्सपियर के एक वाक्य में अगला वर्ण (character) अनुमान लगाने के लिए कहा।
- परिणाम: छोटे वाक्यों के लिए, नई विधि पुरानी विधि के समान थी। लेकिन जैसे-जैसे वाक्य लंबे होते गए, नई विधि काफी बेहतर होती गई। यह ऐसा था जैसे "ग्रुप डांस" लंबी, जटिल कहानियों को संभालने में अधिक कुशल हो गया जहाँ दूर स्थित शब्दों को समन्वय करने की आवश्यकता थी।
ब्रैकेट मैचिंग (Brackets Matching): उन्होंने AI को कोष्ठकों (parentheses) की एक स्ट्रिंग दी जैसे ((())) और उससे पूछा कि कौन सा ओपनिंग ब्रैकेट किसी विशिष्ट क्लोजिंग ब्रैकेट से मेल खाता है।
- परिणाम: यह कार्य जोड़ों (pairs) के बारे में है। नया तरीका, अपने अंतर्निहित "दोस्ती" के नियमों के साथ, पुराने तरीके को पछाड़ देता है। यह बहुत अधिक सटीक रहा, विशेष रूप से तब जब ब्रैकेट की स्ट्रिंग्स लंबी और नेस्टेड (nested) थीं।

"क्वांटम" ट्विस्ट

एक बहुत लंबे वाक्य के लिए पूर्ण "ग्रुप डांस" की गणना करना एक सामान्य कंप्यूटर के लिए गणितीय रूप से असंभव है क्योंकि इसमें बहुत सारे संयोजन (combinations) होते हैं। यह 100 लोगों के हाथ पकड़ने के कितने संभावित तरीकों को गिनने की कोशिश करने जैसा है।

इसे हल करने के लिए, लेखकों ने डायबैटिक क्वांटम एनीलिंग (Diabatic Quantum Annealing - DQA) नामक तकनीक का उपयोग किया।

सादृश्य: एक पर्वतीय परिदृश्य में सबसे निचले बिंदु को खोजने की कल्पना करें। एक सामान्य कंप्यूटर कदम-दर-कदम चलता है, जिसमें बहुत समय लगता है। एक क्वांटम कंप्यूटर (या उसका सिमुलेशन) एक जादुई कोहरे की तरह है जो तुरंत पूरे परिदृश्य को "महसूस" कर सकता है और बहुत तेज़ी से सबसे निचली घाटी को ढूंढ सकता है।
परिणाम: उन्होंने दिखाया कि इस क्वांटम-प्रेरित सैंपलिंग पद्धति का उपयोग करना पूर्ण (लेकिन धीमे) गणितीय गणना के समान ही प्रभावी था। यह सुझाव देता है कि भविष्य में, विशेष क्वांटम हार्डवेयर इस प्रकार के अटेंशन को बहुत लंबे दस्तावेज़ों के लिए व्यावहारिक बना सकता है।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र तर्क देता है कि वर्तमान में AI जिस तरह से ध्यान देता है वह बहुत "अकेला" है। यह शब्दों को व्यक्तिगत रूप से प्रतिस्पर्धा करने के लिए मजबूर करता है। सीखने योग्य टीम वर्क के नियमों (कपलिंग्स) को जोड़कर, जो शब्दों को सीधे एक-दूसरे को प्रभावित करने की अनुमति देते हैं, AI लंबे, जटिल संरचनाओं को समझने में बहुत बेहतर हो जाता है।

उन्होंने सिद्ध किया कि:

यह टीमवर्क दृष्टिकोण मानक पद्धति की तुलना में बेहतर काम करता है, विशेष रूप से लंबी अनुक्रमों (sequences) के लिए।
यह सुधार विशेष रूप से शब्दों के एक-दूसरे को प्रभावित करने की क्षमता से आता है, न कि केवल गणित को थोड़ा बदलने से।
वास्तविक दुनिया की समस्याओं को कुशलतापूर्वक बनाने के लिए क्वांटम-प्रेरित विधियों का उपयोग किया जा सकता है।

संक्षेप में: AI ने अकेले चिल्लाना बंद करके अपने पड़ोसियों को सुनना सीख लिया, और इसके परिणामस्वरूप वह बहुत अधिक स्मार्ट हो गया।

तकनीकी सारांश: बोल्ट्ज़मैन अटेंशन (Boltzmann Attention)

समस्या विवरण

मानक अटेंशन तंत्र, जिसमें ट्रांसफॉर्मर्स में सर्वव्यापी सॉफ्टमैक्स अटेंशन शामिल है, मुख्य रूप से व्यक्तिगत क्वेरी-की (query–key) समानता के माध्यम से प्रासंगिकता की गणना करते हैं। जबकि सॉफ्टमैक्स सामान्यीकरण (normalization) स्थितियों के बीच प्रतिस्पर्धा उत्पन्न करता है (एक भार को बढ़ाने से अन्य कम हो जाते हैं), इसमें सीखने योग्य अंतःक्रियाओं (learnable interactions) के स्पष्ट पैरामीट्रिकरण का अभाव है। सांख्यिकीय भौतिकी के संदर्भ में, मानक अटेंशन एक गैर-परस्पर क्रिया वाले शासन (non-interacting regime, $J=0$ ) में कार्य करता है, जहाँ ऊर्जा फलन में स्थानीय क्षेत्र (क्वेरी-की समानता से व्युत्पन्न) होते हैं लेकिन स्पिन-स्पिन कपलिंग (spin–spin couplings) नहीं होते हैं।

यह संरचनात्मक सीमा मॉडल को अटेंशन लेयर के भीतर ही सहयोगात्मक या प्रतिरोधी को-अटेंशन (co-attention) संरचनाओं को सीधे दर्शाने से रोकती है। उदाहरण के लिए, किसी विषय (subject) पर ध्यान देना स्वाभाविक रूप से उसके क्रिया (verb) की प्रासंगिकता को बढ़ा सकता है, या एक शुरुआती ब्रैकेट (opening bracket) एक विशिष्ट समापन ब्रैकेट (closing bracket) पर ध्यान देने की आवश्यकता को अनिवार्य कर सकता है। हालांकि मल्टी-हेड अटेंशन और गहरे स्टैकिंग (deep stacking) इन सहसंबंधों को क्रमिक परतों के माध्यम से पुनर्गठित करके आंशिक रूप से इसकी भरपाई कर सकते हैं, लेकिन ये तंत्र अप्रत्यक्ष हैं। अटेंशन लेयर स्वयं अंतर-स्थिति सहसंबंधों (inter-position correlations) को पैरामीट्राइज़ करने में असमर्थ रहती है, जो एक बाधा बन जाती है क्योंकि अनुक्रम की लंबाई बढ़ने के साथ स्थिति युग्मों (position pairs) की संख्या द्विघाती (quadratic) रूप से बढ़ती है।

कार्यप्रणाली

लेखक बोल्ट्ज़मैन अटेंशन का प्रस्ताव करते हैं, जो एक ऊर्जा-आधारित सामान्यीकरण है जो अटेंशन पैटर्न को एक इंटरैक्टिंग आइसिंग सिस्टम (Ising system) के रूप में मॉडल करता है।

सैद्धांतिक ढांचा

स्वतंत्र रूप से या वैश्विक सामान्यीकरण के बजाय, यह विधि प्रत्येक की (key) स्थिति $j$ को एक बाइनरी स्पिन $s_j \in \{-1, +1\}$ असाइन करती है, जो "ध्यान दें" ( $+1$ ) या "अनदेखा करें" ($-1 $) को दर्शाता है। अटेंशन पैटर्न एक आइसिंग मॉडल के बोल्ट्ज़मैन वितरण द्वारा नियंत्रित होता है जिसमें प्रत्येक क्वेरी स्थिति$ i$ के लिए निम्नलिखित ऊर्जा फलन होता है:

$E_i(s) = -\sum_{j} h_{ij} s_j - \sum_{j<k} J_{jk} s_j s_k$

जहाँ:

स्थानीय क्षेत्र ( $h_{ij}$ ): मानक क्वेरी-की समानता ( $q_i \cdot k_j / \sqrt{d_k}$ ) से व्युत्पन्न, जो सॉफ्टमैक्स अटेंशन के रॉ स्कोर्स के समान है।
युग्मवार कपलिंग ( $J_{jk}$ ): बैचों में साझा किए गए सीखने योग्य पैरामीटर जो अंतर-स्थिति को-अटेंशन संरचना को एनकोड करते हैं।
- $J_{jk} > 0$ (फेरोमैग्नेटिक): स्थिति $j$ पर ध्यान देने से $k$ पर ध्यान देने की संभावना बढ़ जाती है।
- $J_{jk} < 0$ (एंटीफेरोमैग्नेटिक): $j$ पर ध्यान देने से $j$ पर ध्यान देने की संभावना कम हो जाती है।

अटेंशन वेट $\alpha_{ij}$ को मार्जिनल स्पिन मैग्नेटाइजेशन से प्राप्त किया जाता है: $\alpha_{ij} = (\langle s_j \rangle_i + 1)/2$ । इन वेट्स को फिर मानों को एकत्रित करने के लिए सामान्यीकृत किया जाता है।

मुख्य अंतर

सॉफ्टमैक्स/सिग्मॉइड से परे: सॉफ्टमैक्स और सिग्मॉइड अटेंशन दोनों $J=0$ सीमा (स्वतंत्र स्पिन) के अनुरूप हैं। बोल्ट्ज़मैन अटेंशन $J \neq 0$ पेश करता है, जो ऐसे सहसंबंध बनाता है जिन्हें वे नहीं दर्शा सकते।
सीखने योग्य बनाम व्युत्पन्न: उन पूर्व कार्यों के विपरीत जो क्वेरी-की स्कोर से कपलिंग प्राप्त करते हैं (जो इनपुट के फलन के रूप में स्थिर होते हैं), यह विधि $J$ को एक स्वतंत्र रूप से सीखने योग्य पैरामीटर के रूप में मानती है, जिससे मॉडल तात्कालिक इनपुट समानता से स्वतंत्र संरचनात्मक पूर्वाग्रहों (structural priors) को एनकोड कर सकता है।
अनुमान (Inference): प्रयोगों में प्रभाव को आइसोलेट करने के लिए, यह विधि सैंपलिंग शोर के बिना, सभी $2^T$ स्पिन कॉन्फ़िगरेशन पर सटीक गणना (exact enumeration) का उपयोग करती है।

मुख्य योगदान

बोल्ट्ज़मैन अटेंशन का प्रस्ताव: एक आइसिंग-आधारित सामान्यीकरण जो सीधे अटेंशन वितरण में सीखने योग्य अंतर-स्थिति कपलिंग पेश करता है, जो गैर-परस्पर क्रिया वाले ( $J=0$ ) शासन से आगे बढ़ता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि सीखने योग्य कपलिंग एक मानक ट्रांसफार्मर आर्किटेक्चर के भीतर अनुक्रम मॉडलिंग प्रदर्शन में सुधार करती है। यह सुधार अनुक्रम की लंबाई के साथ बढ़ता हुआ दिखाया गया है, जो गैर-परस्पर क्रिया वाले मॉडलों की लंबी अनुक्रमों पर विशिष्ट सीमा को संबोधित करता है।
एब्लेशन विश्लेषण (Ablation Analysis): एक चार-तरफा एब्लेशन ( $h+J$ , $h$ -only, $J$ -only) पुष्टि करता है कि प्रदर्शन में सुधार विशेष रूप से सीखने योग्य युग्मवार कपलिंग ( $J$ ) से आता है, न कि केवल एक्टिवेशन के कार्यात्मक रूप (sigmoid बनाम softmax) या स्थानीय क्षेत्रों से।
क्वांटम सैंपलिंग मार्ग: एक प्रमाण-आधारित प्रदर्शन कि डायैबेटिक क्वांटम एनीलिंग (DQA) का उपयोग बोल्ट्ज़मैन अटेंशन को प्रशिक्षित करने के लिए किया जा सकता है। यह क्लासिकल सटीक गणना (exact classical enumeration) द्वारा सुलभ छोटे अनुक्रम लंबाई से परे बोल्ट्ज़मैन अटेंशन के लिए एक स्केलेबल मार्ग स्थापित करता है।

प्रयोगात्मक परिणाम

लेखकों ने दो कार्यों पर विधि का मूल्यांकन किया: कैरेक्टर-लेवल लैंग्वेज मॉडलिंग (Tiny Shakespeare) और एक सिंथेटिक ब्रैकेट मैचिंग कार्य।

1. टिनी शेक्सपियर (कैरेक्टर-लेवल लैंग्वेज मॉडलिंग)

सेटअप: सिंगल-लेयर, डिकोडर-ओनली ट्रांसफार्मर जिसमें एक अटेंशन हेड ( $H=1$ ) है ताकि इंट्रा-हेड कपलिंग के प्रभाव को अलग किया जा सके।
निष्कर्ष: बोल्ट्ज़मैन अटेंशन ( $h+J$ $h + J$ ) जैसे-जैसे अनुक्रम लंबाई ( $T$ $T$ ) बढ़ती है, मानक सॉफ्टमैक्स अटेंशन की तुलना में लगातार बेहतर प्रदर्शन करता है।
- $T=4$ पर, प्रदर्शन सॉफ्टमैक्स के तुलनीय था।
- $T=12$ पर, बोल्ट्ज़मैन अटेंशन ने सॉफ्टमैक्स की तुलना में परप्लेक्सिटी (perplexity) में 1.08% सुधार हासिल किया।
- $h$ -only वेरिएंट (जो सिग्मॉइड अटेंशन के समान है) $T \ge 8$ पर सॉफ्टमैक्स से खराब प्रदर्शन करता है, जो पुष्टि करता है कि $J=0$ बॉटलनेक $T \ge 8$ पर बना रहता है।
- $J$ -only वेरिएंट ( $h=0$ ) खराब प्रदर्शन करता है, जो दर्शाता है कि डेटा-डिपेंडेंट लोकल फील्ड्स आवश्यक हैं।
कपलिंग संरचना: सीखी गई कपलिंग ने दूरी-निर्भर संरचना प्रदर्शित की: निकटतम स्थितियों ( $|j-l| = 2\text{--}4$ ) के लिए सकारात्मक (फेरोमैग्नेटिक) कपलिंग और दूर की स्थितियों ( $|j-l| \ge 6$ ) के लिए नकारात्मक (एंटीफेरोमैग्नेटिक) कपलिंग।

2. ब्रैकेट मैचिंग

सेटअप: एक सिंथेटिक कार्य जिसके लिए मॉडल को मिलान करने वाले ओपनिंग और क्लोजिंग ब्रैकेट की पहचान करने की आवश्यकता होती है, जो स्वाभाविक रूप से युग्मवार समन्वय (pairwise coordination) पर निर्भर है।
निष्कर्ष: बोल्ट्ज़मैन अटेंशन लंबे अनुक्रमों पर सॉफ्टमैक्स की तुलना में काफी बेहतर प्रदर्शन करता है।
- $T=16$ पर, बोल्ट्ज़मैन अटेंशन ने सॉफ्टमैक्स की तुलना में 2.89 प्रतिशत अंक (pp) अधिक सटीकता प्राप्त की।
- अंतराल अनुक्रम की लंबाई के साथ बढ़ता गया, जो नेस्टेड संरचनाओं की कॉम्बिनेटोरियल जटिलता को दर्शाता है।
- एब्लेशन ने पुष्टि की कि फीड-फॉरवर्ड नेटवर्क (FFN) युग्मवार कपलिंग की कमी की पूरी तरह से भरपाई नहीं कर सकता है; FFN को हटाने से प्रदर्शन का अंतर और भी बढ़ गया (+4.53 pp)।

3. डायैबेटिक क्वांटम एनीलिंग (DQA)

विधि: लेखकों ने सटीक गणना (exact enumeration) को बदलने के लिए, प्रशिक्षण के लिए अनुमानित बोल्ट्ज़मैन सैंपल उत्पन्न करने हेतु एक ट्रोटराइज्ड क्वांटम सर्किट का उपयोग करके DQA का अनुकरण किया।
परिणाम: DQA-प्रशिक्षित मॉडल ने दोनों कार्यों पर सटीक बोल्ट्ज़मैन गणना के साथ प्रतिस्पर्धी परप्लेक्सिटी और सटीकता प्राप्त की।
महत्व: यह DQA को एक व्यावहारिक सैंपलिंग विधि के रूप में मान्य करता है। जबकि सटीक गणना $O(2^T)$ के रूप में घातीय रूप से स्केल करती है, क्वांटम हार्डवेयर पर DQA रैखिक रूप से $O(T)$ स्केल करता है, जो व्यावहारिक अनुक्रम लंबाई के लिए बोल्ट्ज़मैन अटेंशन के विस्तार का एक व्यवहार्य मार्ग प्रदान करता है।

महत्व और दावे

पेपर का दावा है कि मानक अटेंशन तंत्र में सीखने योग्य युग्मवार कपलिंग की अनुपस्थिति एक संरचनात्मक प्रतिनिधित्व संबंधी बाधा (structural representational bottleneck) है, जो सॉफ्टमैक्स और सिग्मॉइड दोनों वेरिएंट में साझा है। सीखने योग्य आइसिंग कपलिंग पेश करके, लेखक एक सिद्धांत आधारित वृद्धि प्रदान करते हैं जो अटेंशन लेयर्स को स्थितियों के बीच सहकारी और प्रतिस्पर्धी निर्भरताओं को स्पष्ट रूप से मॉडल करने की अनुमति देता है।

इस कार्य का महत्व तीन गुना है:

प्रतिनिधित्व शक्ति (Representational Power): यह प्रदर्शित करता है कि स्पष्ट अंतर-स्थिति अंतःक्रियाएं अनुक्रम मॉडलिंग में सुधार करती हैं, विशेष रूप से उन कार्यों के लिए जिनमें दीर्घकालिक या संरचित निर्भरता की आवश्यकता होती है, और यह लाभ अनुक्रम की लंबाई के साथ बढ़ता है।
वास्तुकला अंतर्दृष्टि (Architectural Insight): यह सुधार के स्रोत को $J$ टर्म के रूप में अलग करता है, यह दिखाते हुए कि मानक पॉइंटवाइज लेयर्स (FFN) अटेंशन मैकेनिज्म के भीतर प्रदान किए गए सहसंबंधों की पूरी तरह से नकल नहीं कर सकते हैं।
क्वांटम कनेक्शन: यह अटेंशन मैकेनिज्म को क्वांटम कंप्यूटिंग के साथ जोड़ता है, यह प्रदर्शित करते हुए कि DQA एक व्यावहारिक प्रशिक्षण विधि प्रदान करता है, जो ऐसे स्तरों पर बोल्ट्ज़मैन अटेंशन के परिनियोजन को सक्षम कर सकता है जहाँ क्लासिकल सटीक अनुमान (exact inference) अव्यवहार्य है।

लेखक एक मध्यम रुख बनाए रखते हैं, यह नोट करते हुए कि उनके प्रयोग प्रभावों को अलग करने के लिए छोटे मॉडल और सटीक गणना का उपयोग करते हैं, और प्राथमिक योगदान सीखने योग्य कपलिंग के सिद्धांत और व्यवहार्यता को स्थापित करना है, जिसमें DQA को स्केलेबिलिटी के लिए प्रूफ-ऑफ-कॉन्सेप्ट के रूप में उपयोग किया गया है।