⚛️ quantum physics

Superpositional Gradient Descent: Harnessing Quantum Principles for Model Training

यह शोध पत्र सुपरपोजिशनल ग्रेडिएंट डिसेंट (SGD) को प्रस्तुत करता है, जो एक नवीन हाइब्रिड क्वांटम-क्लासिकल ऑप्टिमाइज़र है जो वर्तमान हार्डवेयर स्केलेबिलिटी सीमाओं के बावजूद, सिंथेटिक और बड़े पैमाने के लैंग्वेज मॉडल प्रशिक्षण दोनों में AdamW की तुलना में तेज़ अभिसरण (convergence) और कम लॉस प्राप्त करने के लिए क्वांटम सुपरपोजिशन और सर्किट परटर्बेशन का लाभ उठाता है।

मूल लेखक: Ahmet Erdem Pamuk, Emir Kaan Özdemir, Şuayp Talha Kocabay

प्रकाशित 2026-01-30

📖 4 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ahmet Erdem Pamuk, Emir Kaan Özdemir, Şuayp Talha Kocabay

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, धुंधले पहाड़ी क्षेत्र में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। एक स्मार्ट कंप्यूटर प्रोग्राम (जैसे कि एक लार्ज लैंग्वेज मॉडल) को प्रशिक्षित करना बिल्कुल ऐसा ही महसूस होता है। कंप्यूटर को सबसे अच्छा उत्तर प्राप्त करने के लिए अपने आंतरिक "नॉब्स" (पैरामीटर्स) को समायोजित करने की आवश्यकता होती है, जिसका अर्थ है त्रुटियों के परिदृश्य में सबसे गहरी घाटी को खोजना।

आमतौर पर, कंप्यूटर ग्रेडिएंट डिसेंट (Gradient Descent) नामक एक विधि का उपयोग करता है। इसे एक ऐसे पदयात्री के रूप में सोचें जो हमेशा उस सबसे तीव्र ढलान की दिशा में कदम बढ़ाता है जिसे वह देख सकता है। यह अच्छी तरह से काम करता है, लेकिन छोटे गड्ढों और खोओं से भरे एक जटिल पहाड़ी क्षेत्र में, पदयात्री अक्सर एक उथले गड्ढे (एक "लोकल मिनिमम") में फंस जाता है और सोचता है कि उसने नीचे का रास्ता पा लिया है, भले ही पास में ही एक बहुत गहरी घाटी मौजूद हो।

नया विचार: सुपरपोजिशनल ग्रेडिएंट डिसेंट (Superpositional Gradient Descent)

इस शोध पत्र के लेखक, जो हाई स्कूल के छात्रों का एक समूह है, पदयात्री की मदद करने के लिए एक नया तरीका प्रस्तावित करते हैं: सुपरपोजिशनल ग्रेडिएंट डिसेंट (SGD)।

केवल एक समय में एक पथ पर चलने के बजाय, वे पदयात्री को एक "क्वांटम सुपरपावर" देते हैं। क्वांटम दुनिया में, कण मापे जाने तक एक ही समय में कई स्थानों पर मौजूद हो सकते हैं। लेखक इसे पदयात्री के कदमों में एक विशेष प्रकार की "हलचल" या "पल्स" जोड़कर दोहराते हैं।

उपमा: लयबद्ध झकझोरना (The Rhythmic Shaker)
कल्पना कीजिए कि पदयात्री एक पहाड़ी से नीचे उतर रहा है, लेकिन हर कुछ कदमों के बाद, वह कंचों (marbles) के एक डिब्बे को हिलाता है।

झकझोरना (The Shake): यह "क्वांटम परटर्बेशन" है। यह एक गणितीय तरंग (साइन वेव्स का उपयोग करके, जैसे ध्वनि या प्रकाश) है जो पदयात्री को लयबद्ध पैटर्न में थोड़ा बाएं, दाएं, ऊपर या नीचे धकेलती है।
प्रभाव: यदि पदयात्री एक छोटे, उथले गड्ढे में फंस जाता है, तो यह लयबद्ध झकझोरना उसे बस इतनी ऊर्जा देता है कि वह बाहर निकल सके और पहाड़ के वास्तविक तल की खोज जारी रख सके। यह एक हल्के भूकंप की तरह है जो आपको पहाड़ से पूरी तरह गिराए बिना एक जाल से बाहर निकलने में मदद करता है।

उन्होंने इसका परीक्षण कैसे किया

छात्रों ने एक कंप्यूटर प्रोग्राम बनाया जो मानक गणित के साथ इन "क्वांटम हलचलों" को मिलाता है। उन्हें एक वास्तविक क्वांटम कंप्यूटर की आवश्यकता नहीं थी; उन्होंने मानक सॉफ़्टवेयर (PyTorch और Qiskit) का उपयोग करके क्वांटम प्रभावों का अनुकरण किया।

उन्होंने इस नई विधि का दो तरीकों से परीक्षण किया:

एक सरल पहेली: उन्होंने कंप्यूटर को काल्पनिक वाक्यों को क्रमबद्ध करने के लिए कहा। नई विधि ने मानक विधि की तुलना में समाधान तेजी से खोजा और अधिक सटीक परिणाम प्राप्त किया।
एक बड़ा मस्तिष्क अपग्रेड: उन्होंने एक बड़े भाषा मॉडल (एक प्रकार का AI जो प्रश्न लिखता है और उत्तर देता है) को GSM8K नामक डेटासेट (गणित की शब्द समस्याओं) का उपयोग करके एक नया कौशल सिखाने का प्रयास किया।

परिणाम

शोध पत्र का दावा है कि यह "क्वांटम-विगल" (quantum-wiggled) दृष्टिकोण दो मुख्य तरीकों से मानक विधि (जिसे AdamW कहा जाता है) से बेहतर रहा:

गति: AI बहुत तेज़ी से उच्च स्तर की सटीकता तक पहुँच गया। गणित के परीक्षण में, यह लगभग 4.6 "राउंड" के प्रशिक्षण में 90% सटीकता तक पहुँच गया, जबकि मानक विधि को 7.4 राउंड लगे। यह 37.8% समय की बचत है।
गुणवत्ता: अंतिम परिणाम अधिक सटीक था। वाक्य क्रमबद्ध करने के परीक्षण में, नई विधि ने 93.8% सटीकता प्राप्त की, जो मानक विधि से थोड़े लेकिन स्पष्ट अंतर से बेहतर थी।

कमी

शोध पत्र इसकी कमियों के बारे में ईमानदार है। क्योंकि कंप्यूटर को प्रत्येक चरण के लिए इन अतिरिक्त "क्वांटम हलचलों" की गणना करनी पड़ती है, इसलिए प्रत्येक व्यक्तिगत चरण को कंप्यूट करने में लगभग 35% अधिक समय लगता है। हालाँकि, क्योंकि AI कुल मिलाकर कम चरणों में समाधान खोज लेता है, काम पूरा करने के लिए कुल समय अभी भी लगभग 16% तेज़ है।

सारांश

संक्षेप में, यह शोध पत्र सुझाव देता है कि क्वांटम भौतिकी की एक अवधारणा (एक साथ कई अवस्थाओं में होने के विचार) को उधार लेकर और उसे गणितीय "झकझोरने" में बदलकर, हम AI मॉडलों को खराब स्थितियों से बचने और तेजी से सीखने में मदद कर सकते हैं। हालांकि इसके लिए वर्तमान में प्रति चरण थोड़ी अधिक कंप्यूटिंग शक्ति की आवश्यकता होती है, लेकिन समग्र परिणाम एक स्मार्ट और तेजी से प्रशिक्षित होने वाला AI है। लेखक नोट करते हैं कि यह एक नई खोज है और इसे और भी बड़े मॉडलों तक ले जाना भविष्य के लिए एक चुनौती होगी।

तकनीकी सारांश: सुपरपोजिशनल ग्रेडिएंट डिसेंट (Superpositional Gradient Descent)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs), विशेष रूप से ट्रांसफॉर्मर आर्किटेक्चर पर आधारित मॉडल्स का प्रशिक्षण, स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) और इसके एडेप्टिव वेरिएंट्स (जैसे AdamW) पर निर्भर करता है। हालाँकि, ये शास्त्रीय अनुकूलन विधियाँ (classical optimization methods) डीप न्यूरल नेटवर्क्स में निहित उच्च-आयामी, गैर-उत्तल (non-convex) लॉस लैंडस्केप्स में नेविगेट करने में महत्वपूर्ण चुनौतियों का सामना करती हैं। वे अक्सर खराब लोकल मिनिमा या सैडल पॉइंट्स (saddle points) से बाहर निकलने के लिए संघर्ष करती हैं, जिसके लिए अत्यधिक पुनरावृत्तियों (iterations) की आवश्यकता होती है। जबकि क्वांटम कंप्यूटिंग सुपरपोजिशन जैसे सिद्धांतों की पेशकश करती है जो सैद्धांतिक रूप से समाधान स्थानों (solution spaces) के अधिक कुशल अन्वेषण को सक्षम कर सकती है, क्वांटम-प्रेरित विधियाँ शास्त्रीय प्रशिक्षण को कैसे बेहतर बना सकती हैं, इसके तंत्र अभी भी कम खोजे गए हैं।

कार्यप्रणाली (Methodology)

लेखक सुपरपोजिशनल ग्रेडिएंट डिसेंट (SGD) का प्रस्ताव करते हैं, जो एक हाइब्रिड ऑप्टिमाइज़ेशन फ्रेमवर्क है जो शास्त्रीय ग्रेडिएंट अपडेट में क्वांटम सुपरपोजिशन सिद्धांतों को एकीकृत करता है। यह दृष्टिकोण भौतिक क्वांटम हार्डवेयर की आवश्यकता नहीं रखता है, बल्कि PyTorch और Qiskit का उपयोग करके हाइब्रिड क्वांटम-क्लासिकल सर्किट्स को सिम्युलेट करता है।

मुख्य गणितीय सूत्रीकरण (Core Mathematical Formulation)

SGD मानक मोमेंटम-आधारित अपडेट के साथ एक क्वांटम-प्रेरित विक्षोभ पद (perturbation term - $Q$ ) को इंजेक्ट करके मानक पैरामीटर अपडेट नियम को संशोधित करता है:

$\theta_{t+1} = \theta_t - \alpha \left( \frac{m_t}{\sqrt{v_t} + \epsilon} + \lambda \cdot Q(\theta_t, \nabla_{\theta_t}L) \right)$

जहाँ:

$\alpha$ लर्निंग रेट है।
$m_t$ और $v_t$ पहले और दूसरे मोमेंट्स (Adam से) का प्रतिनिधित्व करते हैं।
$\lambda$ क्वांटम विक्षोभ की शक्ति को नियंत्रित करने वाला एक हाइपरपैरामीटर है।
$Q(\theta, \nabla_\theta L)$ विक्षोभ फलन (perturbation function) है जिसे इस प्रकार परिभाषित किया गया है:
$Q(\theta, \nabla_\theta L)_i = \begin{cases} \sin(\pi \cdot \theta_i) \cdot (\nabla_\theta L)_i & \text{यदि } i < n_{qubits} \\ 0 & \text{अन्यथा} \end{cases}$

साइन-आधारित (sine-based) विक्षोभ क्वांटम वेव इंटरफेरेंस (wave interference) की नकल करता है, जो तरंग जैसी (wave-like) अपडेट बनाता है जो वर्तमान पैरामीटर मानों के साथ सुचारू रूप से भिन्न होते हैं। यह तंत्र हाइपोथेटाइज़ किया गया है कि यह अस्थाई रूप से ग्रेडिएंट सिग्नल्स को बढ़ाकर या कम करके ऑप्टिमाइज़र को उथले लोकल मिनिमा से बाहर निकलने में मदद करता है।

आर्किटेक्चर एकीकरण (Architecture Integration)

यह फ्रेमवर्क ट्रांसफॉर्मर मॉडल्स के लिए एक क्वांटम अटेंशन (Quantum Attention) तंत्र भी पेश करता है। यह मानक स्केल्ड डॉट-प्रोडक्ट अटेंशन को क्वांटम सर्किट योगदान $\Phi(Q, K, C)$ के साथ संवर्धित करता है:
$\text{Attention}(Q, K, V) = \text{softmax}\left( \frac{QK^T}{\sqrt{d_k}} + \Phi(Q, K, C) \right) V$
क्वांटम सर्किट $C$ हैडामार्ड गेट्स (Hadamard gates), पैरामीटराइज्ड रोटेशन गेट्स ( $R_y, R_z$ ), और CNOT एंटैंगलमेंट ऑपरेशन्स का उपयोग करता है ताकि अटेंशन स्कोर्स को प्रोसेस किया जा सके, जिसका लक्ष्य रिप्रजेंटेशनल कैपेसिटी (representational capacity) को बढ़ाना है।

कार्यान्वयन विवरण (Implementation Details)

टूल्स: PyTorch और Qiskit (निर्बाध एकीकरण के लिए TorchConnector का उपयोग करते हुए)।
सर्किट कॉन्फ़िगरेशन: पैरामीटराइज्ड रोटेशन गेट्स और CNOT एंटैंगलमेंट के साथ 4 क्विबिट्स; सर्किट डेप्थ 2।
हाइपरपैरामीटर्स: टेक्स्ट कार्यों के लिए $1\times10^{-3}$ और LLM फाइन-ट्यूनिंग के लिए $2\times10^{-5}$ की लर्निंग रेट; क्वांटम वेट $\lambda$ को 0.1 और 0.5 पर टेस्ट किया गया।

मुख्य योगदान (Key Contributions)

नया ऑप्टिमाइज़र: सुपरपोजिशनल ग्रेडिएंट डिसेंट का परिचय, जो सर्किट विक्षोभ के माध्यम से ग्रेडिएंट अपडेट को क्वांटम सुपरपोजिशन से जोड़ता है।
गणितीय ढांचा: एक हाइब्रिड अपडेट नियम का औपचारिक रूप जो शास्त्रीय मोमेंटम को साइनुसोइडल (sinusoidal), क्वांटम-प्रेरित शोर के साथ जोड़ता है।
हाइब्रिड आर्किटेक्चर: रिप्रजेंटेशनल कैपेसिटी को बढ़ाने के लिए ट्रांसफॉर्मर मॉडल्स के भीतर एक क्वांटम अटेंशन तंत्र का कार्यान्वयन।
अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक सीक्वेंस क्लासिफिकेशन और बड़े पैमाने पर LLM फाइन-ट्यूनिंग कार्यों पर विधि की प्रभावकारिता का प्रदर्शन।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो प्राथमिक कार्यों पर मानक Adam और AdamW के मुकाबले SGD का मूल्यांकन किया:

सिंथेटिक टेक्स्ट क्लासिफिकेशन:
- अभिसरण (Convergence): $\lambda=0.5$ के साथ SGD ने 4.6 एपॉक्स में 90% सटीकता प्राप्त की, जबकि मानक Adam के लिए यह 7.4 एपॉक्स था (प्रशिक्षण समय में 37.8% की कमी)।
- अंतिम प्रदर्शन: SGD ( $\lambda=0.5$ ) ने 93.8% ± 0.7% की अंतिम सटीकता प्राप्त की, जो मानक Adam से 2.3 प्रतिशत अंक बेहतर है।
LLM फाइन-ट्यूनिंग (GSM8K के साथ Llama-3.2-1B-Instruct):
- लॉस रिडक्शन: दोनों SGD कॉन्फ़िगरेशन ने एक एपोक के बाद AdamW की तुलना में कम औसत लॉस प्राप्त किया।
  - AdamW: 0.2188
  - SGD ( $\lambda=0.1$ ): 0.2098 (4.11% की कमी)
  - SGD ( $\lambda=0.5$ ): 0.2097 (4.16% की कमी)
- स्थिरता (Stability): $\lambda=0.5$ वेरिएंट ने सबसे अनुकूल लॉस प्रक्षेपवक्र (trajectory) प्रदर्शित किया, जो बेहतर प्रशिक्षण स्थिरता का संकेत देता है।
कंप्यूटेशनल दक्षता:
- हालांकि क्वांटम सर्किट सिमुलेशन के कारण SGD को प्रति एपोक लगभग 35% अधिक समय लगता है, लेकिन तेज़ अभिसरण के परिणामस्वरूप 90% सटीकता तक पहुँचने के लिए कुल समय में 16% की कमी आती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सुपरपोजिशनल ग्रेडिएंट डिसेंट बड़े पैमाने के क्वांटम हार्डवेयर की अनुपस्थिति में भी मॉडल व्यवहार को नियंत्रित करने और बढ़ाने के लिए क्वांटम सिद्धांतों का लाभ उठाने का एक व्यावहारिक मार्ग प्रदान करता है। मुख्य अंतर्दृष्टि यह है कि क्वांटम-प्रेरित विक्षोभ प्रभावी रूप से कई पैरामीटर कॉन्फ़िगरेशन को एक साथ एक्सप्लोर कर सकते हैं, जिससे खराब लोकल मिनिमा से बाहर निकलने में मदद मिलती है।

लेखक इस कार्य को शास्त्रीय अनुकूलन और क्वांटम कंप्यूटिंग के बीच एक सेतु के रूप में देखते हैं, यह सुझाव देते हुए कि ये हाइब्रिड तकनीकें न्यूरल नेटवर्क को प्रशिक्षित करने के लिए मूर्त लाभ प्रदान कर सकती हैं। वे स्केलेबिलिटी और हार्डवेयर बाधाओं के संबंध में वर्तमान सीमाओं को स्वीकार करते हैं लेकिन इस बात पर जोर देते हैं कि परिणाम क्वांटम कंप्यूटिंग और डीप लर्निंग के चौराहे पर नई अंतर्दृष्टि प्रदान करते हैं। भविष्य के कार्य को बड़े मॉडल्स तक विस्तार करने, परिष्कृत सर्किट डिज़ाइन्स की खोज करने और अंततः वास्तविक क्वांटम प्रोसेसरों पर तैनाती पर ध्यान केंद्रित करने के रूप में पहचाना गया है।