⚛️ quantum physics

Connectivity determines the capability of sparse neural network quantum states

यह शोध पत्र लॉटरी टिकट परिकल्पना (Lottery Ticket Hypothesis) को क्वांटम मेनी-बॉडी सिस्टम तक विस्तारित करता है, जो यह प्रदर्शित करता है कि स्पार्स न्यूरल नेटवर्क क्वांटम अवस्थाएं संरचना-निर्भर प्रदर्शन और सार्वभौमिक स्केलिंग नियमों के माध्यम से सघन (dense) मॉडलों के तुलनीय सटीकता प्राप्त कर सकती हैं, जो स्पार्सिटी-प्रेरित क्वांटम चरण संक्रमणों (quantum phase transitions) और संवर्धित भौतिक व्याख्यात्मकता को प्रकट करते हैं।

मूल लेखक: Brandon Barton, Juan Carrasquilla, Christopher Roth, Agnes Valenti

प्रकाशित 2026-01-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Brandon Barton, Juan Carrasquilla, Christopher Roth, Agnes Valenti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से जटिल लाइब्रेरी (एक न्यूरल नेटवर्क) है जिसे एक विशिष्ट, कठिन पहेली को हल करने के लिए डिज़ाइन किया गया है: एक क्वांटम सिस्टम का "ग्राउंड स्टेट" (ground state) खोजना। भौतिक विज्ञान में, ग्राउंड स्टेट किसी सिस्टम की सबसे कम ऊर्जा वाली, सबसे स्थिर स्थिति होती है—जैसे कि हिलाए गए कंचों के डिब्बे में सबसे सटीक और शांत व्यवस्था खोजना।

आमतौर पर, इस पहेली को हल करने के लिए, आपको पूरी लाइब्रेरी की आवश्यकता होती है, जिसमें लाखों किताबें (पैरामीटर्स) होती हैं। लेकिन यह पेपर एक दिलचस्प सवाल पूछता है: क्या वास्तव में हमें उन सभी किताबों की आवश्यकता है, या उस लाइब्रेरी के भीतर एक छोटा, छिपा हुआ "विजेता टिकट" (winning ticket) है जो उस विशिष्ट भाग का उपयोग करके पहेली को उतनी ही अच्छी तरह से हल कर सकता है?

यह विचार "लॉटरी टिकट हाइपोथीसिस" (Lottery Ticket Hypothesis) पर आधारित है, जो सुझाव देता है कि विशाल, अत्यधिक विकसित न्यूरल नेटवर्क के भीतर, छोटे, स्पार्स (sparse) सब-नेटवर्क्स होते हैं जो स्वाभाविक रूप से काम करने में सक्षम होते हैं।

यहाँ शोधकर्ताओं ने जो पाया है, उसे सरल भाषा में समझाया गया है:

1. संरचना (Structure) "सीड" (Seed) से अधिक महत्वपूर्ण है

मूल "लॉटरी टिकट" विचार में, वैज्ञानिकों ने सोचा था कि आपको जीतने के लिए दो चीजों की आवश्यकता होती है:

सही संरचना (शेल्फ पर किताबों की विशिष्ट व्यवस्था)।
सही प्रारंभिक मान (जब आप पहली बार किताबें खोलते हैं तो उनमें लिखे विशिष्ट शब्द)।

पेपर का नया मोड़: जब इसे क्वांटम भौतिकी पर लागू किया गया, तो उन्होंने पाया कि केवल संरचना ही मायने रखती है।

उपमा: कल्पना कीजिए कि आपके पास एक घर का एक विशिष्ट ब्लूप्रिंट (नक्शा) है (संरचना)। सामान्य मशीन लर्निंग में, आपको लग सकता है कि आपको इसे बनाने के लिए उन्हीं विशिष्ट ईंटों और गारे (प्रारंभिक वेट्स) की भी आवश्यकता है।
निष्कर्ष: इस क्वांटम संदर्भ में, यदि आप विजेता सब-नेटवर्क का ब्लूप्रिंट लेते हैं लेकिन इसे रैंडम ईंटों और गारे के साथ बनाते हैं, तो भी यह पूरी तरह से काम करता है! "विजेता टिकट" केवल कनेक्शनों का आकार है, न कि उनके अंदर के विशिष्ट नंबर। यह एक बहुत बड़ा आश्चर्य है क्योंकि इसका मतलब है कि नेटवर्क का "कंकाल" ही भौतिकी को थामे रखता है, न कि विशिष्ट शुरुआती मान।

2. "गोल्डिलॉक्स" ज़ोन (Scaling Laws)

जैसे-जैसे शोधकर्ताओं ने नेटवर्क को छाँटा (pruned/काटा), उन्होंने केवल प्रदर्शन में धीमी गिरावट नहीं देखी। इसके बजाय, उन्होंने तीन अलग-अलग "ज़ोन" पाए, जैसे कि मानचित्र पर अलग-अलग जलवायु क्षेत्र:

लश फॉरेस्ट (Lush Forest - कम त्रुटि वाला): जब नेटवर्क अभी काफी बड़ा होता है, तो यह पहेली को पूरी तरह से हल करता है। कुछ शाखाओं को काटने से पेड़ को कोई नुकसान नहीं होता।
पावर-लॉ स्लोप (Power-Law Slope): जैसे-जैसे आप अधिक काटते हैं, प्रदर्शन एक अनुमानित, गणितीय तरीके से गिरना शुरू हो जाता है।
डेजर्ट (Desert - उच्च त्रुटि वाला): एक बार जब आप एक निश्चित बिंदु से आगे कट जाते हैं, तो नेटवर्क ढह जाता है। यह पहेली को हल नहीं कर पाता, चाहे आप इसे कितना भी प्रशिक्षित क्यों न करें।

खोज: इन ज़ोनों के बीच की सीमाएं केवल नेटवर्क के आकार पर नहीं, बल्कि समस्या की भौतिकी पर निर्भर करती हैं। उदाहरण के लिए, एक "फेरोमैग्नेटिक" अवस्था (जहाँ सभी स्पिन एक दिशा में संरेखित होते हैं) को एक बहुत छोटे नेटवर्क के साथ दर्शाना एक "क्रिटिकल" अवस्था (जहाँ चीजें अराजक होती हैं) की तुलना में आसान है।

3. "स्पैरसिटी-इंड्यूस्ड" फेज ट्रांजिशन (Sparsity-Induced Phase Transition)

यह सबसे जादुई हिस्सा है। शोधकर्ताओं ने पाया कि जैसे-जैसे वे नेटवर्क को काट रहे थे, नेटवर्क केवल "खराब" नहीं हो रहा था; वास्तव में यह अपना स्वरूप बदल रहा था।

उपमा: कल्पना कीजिए कि आप धीरे-धीरे एक घर की दीवारें हटा रहे हैं। एक निश्चित बिंदु पर, घर केवल एक छोटा घर नहीं रह जाता; यह अचानक एक पूरी तरह से अलग प्रकार की संरचना, जैसे कि एक टेंट में बदल जाता है।
निष्कर्ष: एक विशिष्ट "स्पैरसिटी" (कितने कनेक्शन बचे हैं) पर, नेटवर्क एक फेज ट्रांजिशन (अवस्था परिवर्तन) से गुजरता है। यह सही, जटिल क्वांटम भौतिकी का प्रतिनिधित्व करने से अचानक एक बहुत सरल, टूटे हुए संस्करण का प्रतिनिधित्व करने में बदल जाता है।
उन्होंने इसे "फिडेलिटी" (fidelity - पिछले चरण की तुलना में उत्तर की समानता) को मापकर सिद्ध किया। ट्रांजिशन पॉइंट पर, समानता तुरंत शून्य के करीब गिर गई, जैसे कि कोई लाइट स्विच बंद हो गया हो। यह एक "फर्स्ट-ऑर्डर" फेज ट्रांसिशन है, एक ऐसी अवधारणा जो आमतौर पर पानी के बर्फ बनने जैसी चीजों के लिए आरक्षित है, लेकिन यहाँ यह एक कंप्यूटर प्रोग्राम में तार काटने मात्र से हुआ।

4. "टोरिक कोड" पहेली को सुलझाना

शोधकर्ताओं ने "टोरिक कोड" (जिसमें टोपोलॉजिकल ऑर्डर शामिल है, जो एक बहुत ही जटिल प्रकार का क्वांटम अरेंजमेंट है) नामक एक प्रसिद्ध, कठिन पहेली पर इसका परीक्षण किया।

परिणाम: नेटवर्क को छाँटकर (pruning), उन्होंने अनजाने में एक परफेक्ट, सरलीकृत समाधान खोज निकाला जिसे मनुष्यों ने स्पष्ट रूप से डिज़ाइन नहीं किया था।
उपमा: यह एक भूलभुलैया को दीवारों को बेतरतीब ढंग से हटाकर हल करने जैसा है। अंततः, आप इतनी दीवारें हटा देते हैं कि भूलभुलैया गायब हो जाती है, और आप सीधे निकास तक ले जाने वाले एक सीधे, खुले रास्ते के साथ बच जाते हैं।
उन्होंने पाया कि शेष स्पार्स नेटवर्क ने कनेक्शनों का एक विशिष्ट पैटर्न (फिल्टर्स) इस्तेमाल किया जो एक गणितीय "एम्प्लीफायर" (एम्पलीफायर) की तरह काम करता था, जो सही उत्तरों को बढ़ाता था और गलत उत्तरों को कुचल देता था। यह समाधान इतना कुशल था कि यह "एसिम्टोटिकली एक्सैक्ट" (asymptotically exact) था, जिसका अर्थ है कि इसे शेष कनेक्शनों की शक्ति को समायोजित करके एकदम सटीक बनाया जा सकता था।

सारांश

संक्षेप में, यह पेपर दिखाता है कि:

कनेक्टिविटी ही सर्वोपरि है: क्वांटम भौतिकी की समस्याओं के लिए, न्यूरल नेटवर्क का आकार सबसे महत्वपूर्ण हिस्सा है, न कि उसके अंदर के विशिष्ट नंबर।
भौतिकी सीमाओं को निर्धारित करती है: नेटवर्क कब विफल होता है, यह रैंडम नहीं है; यह उस सिस्टम के भौतिक नियमों द्वारा निर्धारित होता है जिसका यह अनुकरण (simulate) करने की कोशिश कर रहा है।
अचानक बदलाव: नेटवर्क को काटने से यह अचानक एक "पदार्थ की अवस्था" (state of matter) से दूसरी अवस्था में बदल सकता है, जो कंप्यूटर प्रूनिंग और क्वांटम भौतिकी के बीच गहरे संबंधों को प्रकट करता है।
खोज का उपकरण: प्रूनिंग केवल मॉडल को छोटा बनाने के बारे में नहीं है; यह जटिल भौतिकी समस्याओं को हल करने के नए, कुशल तरीके खोजने का एक तरीका है जिन्हें मनुष्यों ने शायद ही सोचा होगा।

तकनीकी सारांश: कनेक्टिविटी (संबद्धता) स्पार्स न्यूरल नेटवर्क क्वांटम अवस्थाओं की क्षमता निर्धारित करती है

समस्या विवरण
यह कार्य क्वांटम अनेक-शरीर हैमिल्टोनियन (many-body Hamiltonians) के ग्राउंड स्टेट्स को अनुमानित करने के लिए न्यूरल नेटवर्क के उपयोग पर 'लॉटरी टिकट परिकल्पना' (Lottery Ticket Hypothesis - LTH) की प्रयोज्यता की जांच करता है। विशिष्ट मशीन लर्निंग कार्यों (जैसे कि इमेज रिकग्निशन) के विपरीत, जहाँ डेटा विरल (sparse) होता है, क्वांटम अनेक-शरीसीय वेवफंक्शंस आम तौर पर पूरी तरह से सघन (dense) प्रतिनिधित्व होते हैं जिनमें आयाम (amplitudes) कई क्रमों (orders of magnitude) तक फैले होते हैं। लेखक इस चुनौती का समाधान करते हैं कि क्या एक ओवरपैरामिट्राइज्ड (overparameterized) न्यूरल नेटवर्क के भीतर ऐसे स्पार्स सबनेटवर्क्स खोजे जा सकते हैं जो अकेले प्रशिक्षित होने पर मूल सघन मॉडल के प्रदर्शन के बराबर हों। विशेष रूप से, वे यह परीक्षण करते हैं कि क्या इस संदर्भ में "विजेता टिकट" (winning ticket) विशिष्ट प्रारंभिक भार मानों (weights) पर निर्भर करता है (जैसा कि मूल LTH में है) या केवल स्पार्स सबनेटवर्क की कनेक्टिविटी संरचना पर।

कार्यप्रणाली (Methodology)
यह अध्ययन स्पार्स मास्क उत्पन्न करने के लिए इटरेटिव मैग्नीट्यूड प्रूनिंग विद वेट रिवाइंडिंग (Iterative Magnitude Pruning with Weight Rewinding - IMP-WR) का उपयोग करता है। प्रक्रिया में शामिल है:

प्री-ट्रेनिंग: एक रैंडमली इनिशियलाइज्ड डेंस न्यूरल नेटवर्क को प्रशिक्षित करना।
प्रूनिंग (छंटाई): इटरेटिव रूप से सबसे छोटे परिमाण वाले भारों को हटाना और शेष भारों को प्रूनिंग इटरेशन की शुरुआत में उनके मानों पर वापस लाना (rewind करना)।
आइसोलेटेड ट्रेनिंग: परिणामी स्पार्स सबनेटवर्क्स ("टिकट्स") के लिए तीन अलग-अलग इनिशियलाइजेशन रणनीतियों का परीक्षण करना:
- $T(\theta_{init}, m_{imp})$ : मूल LTH परीक्षण (मूल भार + सीखा हुआ मास्क)।
- $T(\theta_{rand}, m_{imp})$ : रैंडम भार + सीखा हुआ मास्क।
- $T(\theta_{init}, m_{rand})$ : मूल भार + रैंडम मास्क।

प्रयोगों में दो भौतिक मॉडलों का उपयोग किया गया है:

ट्रांसवर्स फील्ड आइसिंग मॉडल (TFIM): एक 2D सिस्टम जो फेरोमैग्नेटिक और पैरामैग्नेटिक चरणों के बीच एक क्वांटम फेज ट्रांजिशन प्रदर्शित करता है।
टोरिक कोड (Toric Code - TC): एक टोपोलॉजिकल ऑर्डर वाला मॉडल जिसका सटीक ग्राउंड स्टेट समाधान मौजूद है।

परीक्षण किए गए न्यूरल नेटवर्क आर्किटेक्चर में शैलो फीड-फॉरवर्ड न्यूरल नेटवर्क (FFNNs), शैलो कनवल्शनल न्यूरल नेटवर्क (CNNs), और रेसिडुअल CNNs (ResCNNs) शामिल हैं। वेरिएशनल एनर्जी कॉस्ट फंक्शन को कम करने के लिए नेचुरल ग्रेडिएंट डिसेंट (स्टोकेस्टिक रीकॉन्फ़िगरेशन) का उपयोग करके प्रशिक्षण किया जाता है।

प्रमुख योगदान

क्वांटम अवस्थाओं के लिए LTH का पुनर्गठन: लेखक प्रदर्शित करते हैं कि न्यूरल-नेटवर्क क्वांटम अवस्थाओं के लिए, "विजेता टिकट" केवल स्पार्स कनेक्टिविटी संरचना द्वारा परिभाषित होता है। भारों का विशिष्ट इनिशियलाइजेशन नगण्य है; रैंडम इनिशियलाइजेशन से प्रशिक्षित स्पार्स सबनेटवर्क ( $T(\theta_{rand}, m_{imp})$ ) उन नेटवर्कों के समान प्रदर्शन करते हैं जो मूल इनिशियलाइजेशन ( $T(\theta_{init}, m_{imp})$ ) से प्रशिक्षित किए गए थे। यह मूल LTH के विपरीत है, जहाँ विशिष्ट प्रारंभिक पैरामीटर मान अत्यंत महत्वपूर्ण होते हैं।
यूनिवर्सल स्केलिंग व्यवहार: शोध पत्र में एरर बनाम स्पर्सिटी कर्व में यूनिवर्सल स्केलिंग क्षेत्रों की पहचान की गई है जो विभिन्न नेटवर्क आकारों और भौतिक मॉडलों में बने रहते हैं। इन क्षेत्रों में शामिल हैं:
- एक लो-एरर प्लेटो (Low-Error Plateau - LEP) उच्च पैरामीटर घनत्व पर।
- एक एप्रोक्सिमेट पावर-लॉ (Approximate Power-Law - APL) क्षेत्र।
- एक हाई-एरर प्लेटो (High-Error Plateau - HEP) निम्न पैरामीटर घनत्व पर।
  इन क्षेत्रों की सीमाएं हैमिल्टोनियन के अंतर्निहित भौतिकी द्वारा निर्धारित होती हैं।
स्पर्सिटी-इंड्यूस्ड फेज ट्रांजिशन: प्रति स्पिन पैरामीटर्स की संख्या ( $\rho$ ) को एक कंट्रोल पैरामीटर के रूप में मानने के बाद, लेखक एक शैलो नेटवर्क में फर्स्ट-ऑर्डर क्वांटम फेज ट्रांजिशन की पहचान करते हैं। यह संक्रमण APL और HEP के बीच होता है, जो ऊर्जा के डेरिवेटिव में विच्छेदन (discontinuity) और आस-पास के प्रूनड अवस्थाओं के बीच फिडेलिटी (fidelity) में तीव्र गिरावट द्वारा पहचाना जाता है।
प्रूनिंग के माध्यम से व्याख्यात्मकता: प्रूनिंग प्रक्रिया यह प्रकट करती है कि स्पार्स सबनेटवर्क्स की संरचना हैमिल्टोनियन की भौतिकी को सीधे एनकोड करती है। टोरिक कोड के लिए, प्रूनिंग एक ऐसी सटीक समाधान संरचना को उजागर करती है जो "ऑड पैरिटी फिल्टर्स" (odd parity filters) से बनी है जो ग्राउंड स्टेट की प्लाक्वेट स्थितियों (plaquette conditions) को लागू करती है।

परिणाम

TFIM प्रदर्शन: स्पार्स नेटवर्क (मूल मापदंडों के 5-20% के साथ) मूल डेंस मॉडलों के समान सटीकता प्राप्त करते हैं। हाई-एरर प्लेटो में संक्रमण प्रत्येक चरण (फेरोमैग्नेटिक बनाम पैरामैग्नेटिक) के आधार पर अलग-अलग स्पर्सिटी स्तरों पर होता है, जो वास्तविक ग्राउंड स्टेट आइजनवेक्टर की अंतर्निहित स्पर्सिटी को दर्शाता है।
फेज ट्रांजिशन सिग्नेचर: TFIM के क्रिटिकल पॉइंट पर, APL से HEP में संक्रमण कुल मैग्नेटाइजेशन ( $M_z$ और $M_x$ ) में अचानक परिवर्तन और फिडेलिटी में तीव्र गिरावट द्वारा चिह्नित होता है, जो स्पर्सिटी द्वारा प्रेरित फर्स्ट-ऑर्डर फेज ट्रांजिशन की पुष्टि करता है।
टोरिक कोड समाधान: टोरिक कोड पर एक सिंगल-लेयर FFNN को प्रून करने से एक ऐसा समाधान प्राप्त होता है जहाँ एरर वेट मैग्नीट्यूड के साथ तेजी से (exponentially) घटता है। परिणामी स्पार्स संरचना उन फिल्टर्स से बनी है जो प्रभावी रूप से सटीक ग्राउंड स्टेट बाधाओं (कन्फ़िगरेशन का सुपरपोजिशन जो $\lambda_{Bp}(\sigma) = 1$ को संतुष्ट करता है) को लागू करती हैं।
आर्किटेक्चर स्वतंत्रता: कनेक्टिविटी-निर्धारित प्रदर्शन का घटनाक्रम FFNNs, CNNs और ResCNNs में बना रहता है, हालांकि ResCNNs अपने लोकलाइज्ड कर्नेल स्ट्रक्चर के कारण रैंडम मास्क के साथ भी उच्च प्रदर्शन दिखाते हैं क्योंकि यह एक मजबूत प्रारंभिक प्रायर (prior) प्रदान करता है।

महत्व
शोध पत्र का दावा है कि प्रूनिंग न केवल मॉडल कंप्रेशन के लिए बल्कि क्वांटम अनेक-शरीय प्रणालियों की भौतिकी की व्याख्या करने के लिए भी एक शक्तिशाली उपकरण के रूप में कार्य करती है। स्पार्स सबनेटवर्क्स की संरचना को अंतर्निहित हैमिल्टोनियन से जोड़कर, लेखक दिखाते हैं कि:

न्यूरल नेटवर्क बिना किसी पूर्व आर्किटेक्चरल डिज़ाइन के जटिल क्वांटम समस्याओं (जैसे टोरिक कोड) के कुशल, एसिम्प्टोटिक रूप से सटीक समाधान खोजने में सक्षम हैं।
प्रूनिंग की गतिशीलता (dynamics) मौलिक गुणों को प्रकट करती है, जैसे कि रिप्रेजेंटेशनल कैपेसिटी (स्पर्सिटी) द्वारा संचालित फेज ट्रांजिशन।
प्रदर्शन की इनिशियलाइजेशन से स्वतंत्रता यह सुझाव देती है कि नेटवर्क के टोपोलॉजी और उसके द्वारा प्रतिनिधित्व की जाने वाली भौतिकी के बीच एक मजबूत, अंतर्निहित संबंध है, जिससे सटीक इनिशियलाइजेशन की आवश्यकता के बिना क्वांटम न्यूरल स्टेट्स के प्रशिक्षण को सरल बनाया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि ये निष्कर्ष कम्प्रेस्ड मॉडल्स के उपयोग को सुगम बना सकते हैं, जैसे कि टाइम इवोल्यूशन, क्वांटम सर्किट सिमुलेशन और फाइन-ट्यूनिंग, जहाँ पैरामीटर दक्षता अत्यंत महत्वपूर्ण है।

1. संरचना (Structure) "सीड" (Seed) से अधिक महत्वपूर्ण है

2. "गोल्डिलॉक्स" ज़ोन (Scaling Laws)

3. "स्पैरसिटी-इंड्यूस्ड" फेज ट्रांजिशन (Sparsity-Induced Phase Transition)

4. "टोरिक कोड" पहेली को सुलझाना

सारांश

इसी तरह के और पेपर