⚛️ quantum physics

CTQWformer: A CTQW-based Transformer for Graph Classification

यह शोध पत्र CTQWformer का प्रस्ताव करता है, जो एक नवीन हाइब्रिड फ्रेमवर्क है जो वैश्विक संरचनात्मक निर्भरताओं और गतिशील सूचना प्रसार दोनों को कैप्चर करने के लिए निरंतर-समय क्वांटम वॉक्स (continuous-time quantum walks) को ट्रांसफॉर्मर आर्किटेक्चर के साथ एकीकृत करता है, जिससे मौजूदा GNN और ग्राफ कर्नेल विधियों की तुलना में ग्राफ वर्गीकरण कार्यों में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Zhan Li, Wuqing Yu, Yusen Wu, Chuan Wang

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhan Li, Wuqing Yu, Yusen Wu, Chuan Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल शहर को समझने की कोशिश कर रहे हैं। आपके पास एक नक्शा है (ग्राफ स्ट्रक्चर) जो दिखाता है कि सड़कें कैसे आपस में जुड़ी हैं, और आपके पास हर इमारत का विवरण है (नोड फीचर्स)।

पारंपरिक कंप्यूटर प्रोग्राम (GNNs) इस शहर को समझने के लिए एक संदेशवाहक को उसके आस-पास के पड़ोसियों के पास भेजते हैं और पूछते हैं, "तुम्हें क्या दिख रहा है?" वे इस तरह संदेशों को आगे बढ़ाते रहते हैं। हालाँकि, इस तरीके के साथ दो बड़ी समस्याएँ हैं:

यह बहुत स्थानीय (local) है: संदेशवाहक कुछ ब्लॉक चलने के बाद थक जाता है और शहर के दूसरी ओर क्या हो रहा है, उसे भूल जाता है (लंबे समय तक चलने वाले कनेक्शनों को मिस कर देता है)।
यह बहुत स्थिर (static) है: यह शहर को एक जमी हुई तस्वीर की तरह मानता है, यह अनदेखा करता है कि समय के साथ शहर कैसे बदल सकता है या इसमें क्या प्रवाह हो सकता है।

मिलिए CTQWformer से: एक नया, सुपर-स्मार्ट तरीका जो इन "शहरों" (ग्राफ) का विश्लेषण करने के लिए तीन दुनियाओं के सर्वश्रेष्ठ गुणों को जोड़ता है: क्वांटम भौतिकी (Quantum Physics), ट्रांसफॉर्मर (Transformers) (AI चैटबॉट्स के पीछे की तकनीक), और समय यात्रा (Time Travel)।

यह कैसे काम करता है, यहाँ इसके सरल भागों में विवरण दिया गया है:

1. "क्वांटम वॉकर" (भौतिकी वाला भाग)

एक थके हुए संदेशवाहक की तरह जो एक बार में एक ब्लॉक चलता है, इसके बजाय एक क्वांटम वॉकर की कल्पना करें।

जादू: क्वांटम दुनिया में, एक कण केवल एक सड़क पर नहीं चलता; वह एक ही समय में कई जगहों पर हो सकता है (सुपरपोजिशन) और तालाब में लहरों की तरह खुद के साथ हस्तक्षेप (interfere) कर सकता है।
नवाचार: आमतौर पर, यह "क्वांटम वॉकर" एक निश्चित, कठोर नियम होता है। लेकिन CTQWformer एक कस्टम, सीखने योग्य मार्गदर्शक (जिसे हैमिल्टोनियन कहा जाता है) बनाता है। इसे एक ऐसे GPS की तरह समझें जो सड़क के लेआउट और वहां से गुजरने वाली इमारतों के प्रकार, दोनों के आधार पर वॉकर के रास्ते को एडजस्ट करना सीखता है।
परिणाम: यह वॉकर पूरे शहर का तुरंत पता लगा लेता है, उन जटिल पैटर्न और कनेक्शनों को पकड़ लेता है जिन्हें एक सामान्य वॉकर मिस कर देता। यह एक "मूवी" बनाता है कि कैसे वॉकर समय के साथ शहर के माध्यम से घूमता है।

2. दो विशेष टीमें

एक बार जब क्वांटम वॉकर अपनी मूवी पूरी कर लेता है, तो CTQWformer डेटा को विश्लेषण के लिए दो टीमों में विभाजित करता है:

टीम A: "स्नैपशॉट" विश्लेषक (ट्रांसफॉर्मर)
- यह क्या करता है: यह क्वांटम वॉकर की मूवी के अंतिम फ्रेम को देखता है।
- उपमा: कल्पना करें कि आपने 10 सेकंड के बाद वॉकर कहाँ पहुँचा, उसकी एक फोटो ली। यह फोटो आपको शहर की संरचना का "बड़ा चित्र" (big picture) दिखाती है।
- यह कैसे मदद करता है: यह इस फोटो को एक ट्रांसफॉर्मर (AI मस्तिष्क) में फीड करता है। यह AI को बताता है, "हे, इन विशिष्ट इमारतों पर विशेष ध्यान दें क्योंकि क्वांटम भौतिकी कहती है कि वे मजबूती से जुड़ी हुई हैं।" यह AI को ग्राफ के वैश्विक आकार को समझने में मदद करता है।
टीम B: "मूवी" विश्लेषक (रिकरेंट नेटवर्क)
- यह क्या करता है: यह वॉकर के सेकंड 1 से सेकंड 10 तक चलने की पूरी मूवी देखता है।
- उपमा: जबकि टीम A अंतिम फोटो देखती है, टीम B उस नृत्य को देखती है। वह देखती है कि वॉकर कैसे झूमता है, उछलता है, वापस आता है और बहता है।
- यह कैसे मदद करता है: यह एक रिकरेंट नेटवर्क (एक प्रकार का AI जो अनुक्रमों/sequences में अच्छा है) का उपयोग करता है ताकि शहर की लय (rhythm) और ताल (tempo) को सीखा जा सके। यह कैप्चर करता है कि सूचना कैसे बहती है और समय के साथ कैसे बदलती है, जिसे एक स्थिर फोटो नहीं दिखा सकती।

3. भव्य समापन (फ्यूजन)

अंत में, मॉडल "स्नैपशॉट विश्लेषक" (संरचना) और "मूवी विश्लेषक" (समय-आधारित प्रवाह) के निष्कर्षों को लेता है और उन्हें एक साथ जोड़ (fuse) देता है।

यह इन परतों को एक के ऊपर एक रखता है, जैसे समझ का एक टॉवर बनाना।
सबसे ऊपर, यह पूरे ग्राफ को एक एकल लेबल देने के लिए (जैसे, "यह ग्राफ एक प्रोटीन है" या "यह एक सोशल नेटवर्क है") सभी सीखी गई जानकारी का "मीन एवरेज" (औसत) लेता है।

यह एक बड़ी बात क्यों है?
पेपर का दावा है कि क्वांटम भौतिकी (जो स्वाभाविक रूप से जटिल, वैश्विक कनेक्शनों को संभालने में अच्छा है) को डीप लर्निंग (जो डेटा से सीखने में अच्छा है) के साथ मिलाकर, CTQWformer मौजूदा तरीकों को पछाड़ देता है।

पुराने तरीके एक आवर्धक लेंस (magnifying glass) के साथ नक्शा देखने जैसे थे (बहुत स्थानीय) या एक स्थिर फोटो की तरह (बिना समय के)।
CTQWformer एक ड्रोन की तरह है जो एक साथ हर जगह उड़ सकता है (ग्लोबल), 3D में शहर को देख सकता है (स्ट्रक्चर), और ट्रैफिक फ्लो का हाई-स्पीड वीडियो रिकॉर्ड कर सकता है (डायनेमिक्स), जबकि यह भी सीख रहा है कि विशिष्ट कार्यों के लिए कौन से रास्ते सबसे महत्वपूर्ण हैं।

मुख्य बात:
लेखकों ने मानक डेटासेट्स (जैसे रासायनिक अणु और सोशल नेटवर्क) पर इसका परीक्षण किया और पाया कि उनका "क्वांटम-ट्रांसफॉर्मर" हाइब्रिड पिछले तरीकों की तुलना में इन ग्राफों को वर्गीकृत करने में बेहतर था, जिससे यह साबित हुआ कि AI में थोड़ा सा "क्वांटम डायनेमिक्स" जोड़ने से यह एक ही समय में जंगल और पेड़ों, दोनों को देखने में मदद कर सकता है।

तकनीकी सारांश: CTQWformer

समस्या विवरण

ग्राफ न्यूरल नेटवर्क (GNNs) और ट्रांसफॉर्मर-आधारित आर्किटेक्चर ने ग्राफ लर्निंग में प्रगति की है, लेकिन वे विशिष्ट सीमाओं का सामना करते हैं। पारंपरिक GNNs अक्सर स्थानीय रिसेप्टिव फील्ड्स (local receptive fields), गहरे नेटवर्क में ओवर-स्मूथिंग (over-smoothing), और दीर्घ-दूरी की निर्भरताओं (long-range dependencies) को पकड़ने में असमर्थता से जूझते हैं। इसके विपरीत, जबकि ट्रांसफॉर्मर दीर्घ-दूरी की निर्भरताओं को मॉडल करने में उत्कृष्ट हैं, वे अक्सर स्थानीय और वैश्विक संरचनात्मक निर्भरताओं (structural dependencies) दोनों को एक साथ प्रभावी ढंग से कैप्चर करने में विफल रहते हैं। इसके अलावा, मौजूदा तरीकों में ग्राफ संरचनाओं में निहित गतिशील सूचना प्रसार (dynamic information propagation) को मॉडल करने के लिए भौतिक रूप से आधारित तंत्र (physically grounded mechanism) की कमी हो सकती है। यह शोध पत्र एक ऐसे फ्रेमवर्क की आवश्यकता की पहचान करता है जो वैश्विक ध्यान (global attention), स्थानीय संरचनात्मक जानकारी को संरक्षित करने और गतिशील विकास पैटर्न (dynamic evolution patterns) को मॉडल करने का कार्य एक साथ कर सके।

कार्यप्रणाली (Methodology)

लेखक CTQWformer का प्रस्ताव करते हैं, जो एक हाइब्रिड ग्राफ लर्निंग फ्रेमवर्क है जो निरंतर-समय क्वांटम वॉक (Continuous-Time Quantum Walks - CTQW) को GNNs के साथ एकीकृत करता है। यह मॉडल ग्राफ-स्तरीय प्रतिनिधित्व शिक्षण (graph-level representation learning) के लिए CTQW के स्थिर भौतिक संरचनात्मक पूर्वाग्रहों (static physical structural biases) और गतिशील टेम्पोरल विकास पैटर्न (dynamic temporal evolution patterns) दोनों को कैप्चर करने के लिए डिज़ाइन किया गया है। इस आर्किटेक्चर में तीन मुख्य घटक शामिल हैं:

1. क्वांटम वॉक एनकोडर (Quantum Walk Encoder - QWE)

स्थिर लैपलेसियन (Laplacian) या एडजेसेंसी मैट्रिसेस (adjacency matrices) पर निर्भर शास्त्रीय CTQW मॉडलों के विपरीत, CTQWformer एक ट्रेन करने योग्य हैमिल्टोनियन ( $H_\theta$ ) का उपयोग करता है।

निर्माण: हैमिल्टोनियन ग्राफ टोपोलॉजी और नोड फीचर्स को फ्यूज करता है। एज वेट्स (edge weights) को इनकमडेंट नोड फीचर्स को जोड़ने और उन्हें बाउंडेड वेट्स सुनिश्चित करने के लिए ReLU और Sigmoid एक्टिवेशन के साथ एक मल्टी-लेयर पर्सेप्ट्रॉन (MLP) के माध्यम से पास करके सीखा जाता है।
डायनामिक्स: सिस्टम श्रोडिंगर समीकरण ( $i \frac{d}{dt}|\psi(t)\rangle = H|\psi(t)\rangle$ ) के अनुसार विकसित होता है। मॉडल डिस्क्रीट टाइम स्टेप्स $T$ के एक सेट पर ऑर्थोनॉर्मल बेसिस स्टेट्स (सिंगल-नोड इनिशियल स्टेट्स) से शुरू होने वाले CTQW के विकास का अनुकरण करता है।
आउटपुट: यह प्रक्रिया एक टेम्पोरल इवोल्यूशन टेंसर $P \in \mathbb{R}^{T \times n \times n}$ उत्पन्न करती है, जो प्रत्येक टाइम स्टेप पर ग्राफ के माध्यम से वॉकर के प्रोबेबिलिटी डिस्ट्रीब्यूशन को एनकोड करती है।

2. क्वांटम वॉक-ग्राफ ट्रांसफॉर्मर (Quantum Walk-Graph Transformer - QWGT) मॉड्यूल

यह मॉड्यूल वैश्विक संरचनात्मक जागरूकता (global structural awareness) की आवश्यकता को संबोधित करता है।

तंत्र: यह ग्राफ ट्रांसफॉर्मर के सेल्फ-अटेंशन मैकेनिज्म में CTQW सिमुलेशन से प्राप्त फाइनल-टाइम प्रोपेगेशन प्रोबेबिलिटीज ( $P^T$ ) को एक स्टैटिक स्ट्रक्चरल बायस के रूप में शामिल करता है।
एकीकरण: बायस मैट्रिक्स $B$ को $P^T$ को नॉर्मलाइज करके और लॉग-ट्रांसफॉर्मेशन लागू करके प्राप्त किया जाता है ( $B = \log(1 + P^T)$ ), जिसे अटेंशन स्कोर मैट्रिक्स ( $QK^T/\sqrt{d} + B$ ) में जोड़ा जाता है। यह अटेंशन मैकेनिज्म को केवल फीचर समानता के बजाय अंतर्निहित ग्राफ टोपोलॉजी और भौतिक संरचनात्मक गुणों का सम्मान करने के लिए निर्देशित करता है।

3. क्वांटम वॉक-ग्राफ रिकरेंट (Quantum Walk-Graph Recurrent - QWGR) मॉड्यूल

यह मॉड्यूल क्वांटम वॉक के गतिशील टेम्पोरल विकास को कैप्चर करता है।

तंत्र: यह CTQW इवोल्यूशन टेंसर के पूर्ण टेम्पोरल सीक्वेंस को प्रोसेस करता है। विशेष रूप से, यह विभिन्न टाइम स्टेप्स में प्रोबेबिलिटी मैट्रिसेस से डायगोनल एलिमेंट्स (नोड-वाइज सेल्फ-प्रोपेगेशन प्रोबेबिलिटीज) को निकालता है।
आर्किटेक्चर: इन सीक्वेंसों को फॉरवर्ड और बैकवर्ड दोनों दिशाओं में टेम्पोरल फ्लक्चुएशन और डिपेंडेंसी को मॉडल करने के लिए एक बाइडायरेक्शनल गेटेड रिकरेंट यूनिट (BiGRU) में फीड किया जाता है।
आउटपुट: परिणामी नोड रिप्रेजेंटेशन को मीन पूलिंग और एक फीड-फॉरवर्ड नेटवर्क के माध्यम से एग्रीगेट किया जाता है ताकि ग्राफ-स्तरीय एम्बेडिंग बनाई जा सके।

फ्यूजन और प्रेडिक्शन (Fusion and Prediction)

QWGT और QWGR मॉड्यूल्स को एकीकृत लेयर्स में जोड़ा जाता है। उनके आउटपुट को कॉन्कैटिनेट किया जाता है और एक फीड-फॉरवर्ड फ्यूजन नेटवर्क के माध्यम से पास किया जाता है। मॉडल मल्टी-लेयर स्टेकिंगिंग को सपोर्ट करता है, जहाँ ग्राफ-स्तरीय एम्बेडिंग्स को बाद की लेयर्स को गाइड करने के लिए वापस नोड-स्तरीय रिप्रेजेंटेशन में ब्रॉडकास्ट किया जाता है। अंत में, ग्राफ-स्तरीय वर्गीकरण के लिए ग्लोबल मीन पूलिंग अंतिम नोड एम्बेडिंग्स को एग्रीगेट करती है।

प्रमुख योगदान (Key Contributions)

ट्रेन करने योग्य हैमिल्टोनियन (Trainable Hamiltonian): एक पैरामीटराइज्ड हैमिल्टोनियन का डिज़ाइन जो ग्राफ स्ट्रक्चर और नोड फीचर्स दोनों को एकीकृत करता है। यह CTQW डायनामिक्स को नोड फीचर्स के आधार पर कनेक्शन को अनुकूल रूप से कैप्चर करने की अनुमति देता है, जिससे मॉडल एट्रिब्यूटेड ग्राफ क्लासिफिकेशन कार्यों के लिए उपयुक्त हो जाता है।
हाइब्रिड फ्रेमवर्क (CTQWformer): पहले हाइब्रिड CTQW-आधारित ट्रांसफॉर्मर का प्रस्ताव। यह अनूठे रूप से जोड़ता है:
- स्टैटिक बायस: ट्रांसफॉर्मर के अटेंशन मैकेनिज्म को गाइड करने के लिए फाइनल-टाइम CTQW प्रोबेबिलिटीज का उपयोग।
- डायनेमिक मॉडलिंग: टेम्पोरल इवोल्यूशन को प्रोसेस करने के लिए बाइडायरेक्शनल रिकरेंट नेटवर्क का उपयोग।
  यह एकीकरण मॉडल को स्टैटिक फिजिकल स्ट्रक्चरल बायस और डायनेमिक टेम्पोरल इवोल्यूशन पैटर्न दोनों को कैप्चर करने की अनुमति देता है।
प्रदर्शन: व्यापक प्रयोगों से पता चलता है कि यह फ्रेमवर्क कई बेंचमार्क डेटासेट्स पर पारंपरिक ग्राफ कर्नेल्स और विभिन्न GNN-आधारित तरीकों (Graphormer और GraphGPS सहित) से बेहतर प्रदर्शन करता है।

प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन TU कलेक्शन के छह बेंचमार्क डेटासेट्स (MUTAG, PTC(MR), PROTEINS, DD, IMDB-B, IMDB-M) पर किया गया, जिसमें बायोइंफॉर्मेटिक्स और सोशल नेटवर्क शामिल हैं।

ग्राफ कर्नेल्स के साथ तुलना: CTQWformer ने सात ग्राफ कर्नेल तरीकों, जिनमें क्लासिकल R-कन्वोल्यूशन कर्नेल्स और CTQW पर आधारित इंफॉर्मेशन-थ्योरेटिक कर्नेल्स (जैसे JTQK, QJSK) शामिल हैं, को लगातार पछाड़ दिया। इसने छह में से पांच डेटासेट्स पर सर्वश्रेष्ठ प्रदर्शन किया।
GNNs के साथ तुलना: मॉडल ने आठ प्रतिनिधि GNNs (जैसे GIN, GCN, GraphSAGE) और तीन स्टेट-ऑफ-द-आर्ट ग्राफ ट्रांसफॉर्मर्स (Graphormer, GraphGPS, GRIT) के मुकाबले प्रतिस्पर्धी या बेहतर परिणाम प्राप्त किए।
एब्लेशन स्टडीज (Ablation Studies): QWGR मॉड्यूल (टेम्पोरल मॉडलिंग) को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई (उदाहरण के लिए, MUTAG एक्यूरेसी 92.54% से गिरकर 74.97% हो गई), जो डायनेमिक इवोल्यूशन को मॉडल करने के महत्वपूर्ण महत्व को उजागर करता है। QWGT मॉड्यूल (स्ट्रक्चरल बायस) को हटाने से छोटी लेकिन ध्यान देने योग्य कमी आई, जो दर्शाता है कि दोनों घटक मूल्यवान हैं।
हाइपरपैरामीटर सेंसिटिविटी: अध्ययन में पाया गया कि मध्यम टाइम स्टेप्स (जैसे, MUTAG के लिए $T=4$ ) और नेटवर्क डेप्थ (जैसे, $L=2$ ) ने इष्टतम प्रदर्शन दिया, जो सुझाव देता है कि अत्यधिक इवोल्यूशन टाइम या नेटवर्क डेप्थ सूचना के तनुकरण (dilution) या ओवर-स्मूथिंग का कारण बन सकते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि CTQWformer क्वांटम डायनामिक्स को ट्रेन करने योग्य डीप लर्निंग फ्रेमवर्क में सफलतापूर्वक एकीकृत करके एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

फिजिकल ग्राउंडिंग: यह श्रोडिंगर समीकरण के माध्यम से ग्राफ स्ट्रक्चर की भौतिक रूप से आधारित मॉडलिंग प्रदान करता है, जो क्वांटम वॉक में निहित कंस्ट्रक्टिव और डिस्ट्रक्टिव इंटरफेरेंस प्रभावों के माध्यम से जटिल संरचनात्मक जानकारी को कैप्चर करता है।
पूरक मॉडलिंग (Complementary Modeling): स्टैटिक स्ट्रक्चरल बायस को डायनेमिक टेम्पोरल इवोल्यूशन के साथ फ्यूज करके, मॉडल उन मॉडलों की सीमाओं को दूर करता है जो केवल स्थानीय एकत्रीकरण या स्टैटिक अटेंशन पर निर्भर करते हैं।
प्रथम श्रेणी का (First of its Kind): लेखक कहते हैं कि उनकी जानकारी के अनुसार, यह पहला हाइब्रिड CTQW-आधारित ट्रांसफॉर्मर है जो ग्राफ लर्निंग को आगे बढ़ाने के लिए CTQW-व्युत्पन्न स्ट्रक्चरल बायस के साथ टेम्पोरल इवोल्यूशन मॉडलिंग को एकीकृत करता है।

लेखक निष्कर्ष निकालते हैं कि यह कार्य ग्राफ रिप्रेजेंटेशन लर्निंग के लिए क्वांटम वॉक डायनामिक्स की क्षमता को प्रदर्शित करता है और यह सुझाव देता है कि भविष्य का कार्य कम्प्यूटेशनल दक्षता में सुधार करने और फ्रेमवर्क को व्यापक ग्राफ लर्निंग कार्यों तक विस्तारित करने पर केंद्रित होगा।