⚛️ quantum physics

Mechanistic Interpretability and Causal Feature Steering of Neural Quantum States via Sparse Autoencoders

यह शोधपत्र प्रदर्शित करता है कि स्पार्स ऑटोएनकोडर्स (sparse autoencoders) न्यूरल क्वांटम स्टेट्स में अनसुपरवाइज्ड, कॉज़ल आंतरिक विशेषताओं को उजागर कर सकते हैं जो सीधे भौतिक अवलोकन योग्यों (physical observables) के अनुरूप होती हैं, जिससे वेरिएशनल ऊर्जा (variational energy) से समझौता किए बिना इन गुणों को निर्देशित करने के लिए लक्षित हस्तक्षेप सक्षम होता है।

मूल लेखक: Zihao Qi, Christopher Earls

प्रकाशित 2026-07-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zihao Qi, Christopher Earls

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट बनाया है जो यह भविष्यवाणी कर सकता है कि चुंबकों का एक जटिल समूह कैसा व्यवहार करेगा। आप इस रोबोट को भौतिकी के नियमों (विशेष रूप से, ऊर्जा को कम करने के तरीके) को दिखाकर और उसे लाखों बार अभ्यास करने देकर सिखाते हैं। रोबोट अपने काम में अविश्वसनीय रूप से कुशल हो जाता है; वह चुंबकों के व्यवहार की सटीक भविष्यवाणी करता है।

लेकिन एक समस्या है: रोबोट एक "ब्लैक बॉक्स" है। आप जानते हैं कि वह क्या भविष्यवाणी करता है, लेकिन आपको यह नहीं पता कि वह कैसे सोचता है। यह एक जादूगर की तरह है जो टोपी से खरगोश निकालता है, लेकिन आप टोपी के अंदर की प्रक्रिया नहीं देख सकते। आप नहीं जानते कि रोबोट वास्तव में भौतिकी को समझ रहा है या वह केवल संयोग से पैटर्न को याद कर रहा है।

यह शोध पत्र उस टोपी को खोलकर जादू के पीछे के तंत्र को देखने के बारे में है।

उपकरण: एक "फीचर स्कैनर" (स्पार्स ऑटोएनकोडर)

शोधकर्ताओं ने स्पार्स ऑटोएनकोडर (SAE) नामक एक विशेष उपकरण का उपयोग किया। सोचिए कि रोबोट का मस्तिष्क हजारों चमकते तारों (एक्टिवेशन्स) से भरा एक विशाल, अस्त-व्यस्त कमरा है जो आपस में उलझे हुए हैं। यह समझना कठिन है कि कोई भी एक तार क्या कर रहा है।

SAE एक अत्यंत व्यवस्थित लाइब्रेरियन (पुस्तकालयाध्यक्ष) की तरह है जो आकर उस अस्त-व्यस्त कमरे को व्यवस्थित करता है। वह उन उलझे हुए तारों को लेता है और उन्हें कुछ अलग, स्पष्ट श्रेणियों (फीचर्स) में विभाजित करता है।

चुनौती: लाइब्रेरियन को यह नहीं बताया गया था कि क्या खोजना है। उन्हें "चुंबकत्व" या "ऊर्जा" की सूची नहीं दी गई थी। उन्हें बस यह कहा गया था, "इन तारों को इस तरह छाँटो कि एक समय में केवल कुछ ही जलें।"
आश्चर्य: बिना बताए भी, लाइब्रेरियन ने ऐसे तार खोज निकाले जो विशिष्ट भौतिक अवधारणाओं से पूरी तरह मेल खाते थे, जैसे कि "चुंबक एक दिशा में कितने मजबूत हैं" या "वे शतरंज के बोर्ड की तरह (चेकरबोर्ड पैटर्न) कैसे व्यवस्थित हैं।"

प्रयोग: रोबोट के मस्तिष्क का परीक्षण

शोधकर्ताओं ने इसका परीक्षण दो प्रकार के चुंबकीय प्रणालियों पर किया:

एक 1D चेन (आइसिंग मॉडल): चुंबकों की एक सरल रेखा।
एक 2D ग्रिड (हाइजेनबर्ग मॉडल): चुंबकों की एक अधिक जटिल, सपाट परत।

उन्होंने अपने रोबोट (जिसे न्यूरल क्वांटम स्टेट कहा जाता है) को इन समस्याओं को हल करने के लिए प्रशिक्षित किया। फिर, उन्होंने रोबोट के मस्तिष्क पर SAE "लाइब्रेरियन" को चलाया।

उन्होंने क्या पाया:

रोबोट ने वास्तविक भौतिकी सीखी: SAE ने खोज निकाला कि रोबोट ने विशिष्ट आंतरिक "स्विच" बना लिए थे जो वास्तविक दुनिया के भौतिकी के साथ सटीक रूप से मेल खाते थे। उदाहरण के लिए, मस्तिष्क का एक विशिष्ट स्विच ठीक तब जलता था जब चुंबक एक निश्चित तरीके से संरेखित होते थे।
यह कोई संयोग नहीं है: सहसंबंध (कोरिलेशन) इतना मजबूत (लगभग पूर्ण) था कि इसने साबित कर दिया कि रोबोट केवल अनुमान नहीं लगा रहा था; उसने अपने आंतरिक ज्ञान को इन भौतिक नियमों के इर्द-गिर्द व्यवस्थित किया था।

"रिमोट कंट्रोल" परीक्षण (कॉज़ल स्टीयरिंग)

सहसंबंध एक बात है, लेकिन क्या रोबोट इन स्विचों का उपयोग अपने निर्णय लेने के लिए करता है? इसे साबित करने के लिए, शोधकर्ताओं ने "रिमोट कंट्रोल" का खेल खेला।

उन्होंने वह विशिष्ट स्विच ढूँढा जो, मान लीजिए, "चुंबक की शक्ति" को नियंत्रित करता था। फिर, उन्होंने मैन्युअल रूप से उस स्विच को ऊपर या नीचे घुमाया (जैसे वॉल्यूम नॉब को घुमाना) और देखा कि क्या होता है।

परिणाम: जब उन्होंने "चुंबक की शक्ति" वाला स्विच ऊपर किया, तो चुंबक की शक्ति की भविष्यवाणी सहज रूप से बढ़ गई। जब उन्होंने इसे नीचे किया, तो भविष्यवाणी कम हो गई।
जादू: महत्वपूर्ण रूप से, जब उन्होंने इस एक स्विच को थोड़ा सा बदला, तो रोबोट का समग्र "ऊर्जा स्कोर" (वह मुख्य चीज़ जिसे कम करने के लिए उसे प्रशिक्षित किया गया था) शायद ही बदला। इसने साबित किया कि रोबोट ने इस विशिष्ट भौतिक अवधारणा को अपने मस्तिष्क के एक अलग कोने में अलग कर लिया था। वे बाकी के रोबोट के तर्क को तोड़े बिना भौतिकी के एक पहलू को नियंत्रित कर सकते थे।

यह क्यों महत्वपूर्ण है

यह शोध पत्र दिखाता है कि ये AI मॉडल केवल "ब्लैक बॉक्स" नहीं हैं जो केवल नंबर उगलते हैं। वे वास्तव में भौतिक दुनिया के आंतरिक मानचित्र बनाते हैं।

वे जानकारी को इस तरह व्यवस्थित करते हैं जिसे मनुष्य समझ सकें।
अब हम उनके अंदर झाँक सकते हैं, विशिष्ट भौतिक गुणों के लिए "नॉब्स" (नियंत्रक) पा सकते हैं, और यहाँ तक कि उन्हें समायोजित भी कर सकते हैं।

संक्षेप में, शोधकर्ताओं ने सिद्ध किया कि यदि आप एक न्यूरल नेटवर्क को क्वांटम भौतिकी के नियम सिखाते हैं, तो वह केवल उत्तरों को याद नहीं करता है; वह ब्रह्मांड का एक मानसिक मॉडल बनाता है जिसे हम वास्तव में पढ़ सकते हैं, समझ सकते हैं और यहाँ तक कि बदल भी सकते हैं।

तकनीकी सारांश: स्पार्स ऑटोएन्कोडर्स के माध्यम से न्यूरल क्वांटम स्टेट्स का मैकेनिस्टिक इंटरप्रिटेबिलिटी और कॉज़ल फीचर स्टीयरिंग

समस्या विवरण
न्यूरल क्वांटम स्टेट्स (NQS) क्वांटम मेनी-बॉडी वेवफंक्शंस (quantum many-body wavefunctions) के प्रतिनिधित्व के लिए शक्तिशाली वेरिएशनल एन्सैट्स (variational ansätze) के रूप में उभरे हैं, जिन्होंने स्पिन और फर्मिओनिक सिस्टम में ग्राउंड-स्टेट प्रतिनिधित्व और रियल-टाइम डायनेमिक्स में सफलता प्राप्त की है। हालाँकि, अपनी अनुभवजन्य प्रभावकारिता के बावजूद, NQS काफी हद तक "ब्लैक बॉक्स" बने हुए हैं। इनके आंतरिक तंत्र को समझने में एक मौलिक अंतराल मौजूद है: चूंकि इन्हें केवल वेरिएशनल उद्देश्यों (जैसे ऊर्जा न्यूनीकरण) पर प्रशिक्षित किया गया है, न कि विशिष्ट भौतिक अवलोकनों (physical observables) के लिए स्पष्ट अनुकूलन पर, यह स्पष्ट नहीं है कि NQS मात्राओं जैसे ऑर्डर पैरामीटर्स या कोरिलेशन फंक्शन्स को कितनी सटीकता से कैप्चर करते हैं। यह अपारदर्शिता मॉडल के विश्वास और मजबूती में बाधा डालती है, विशेष रूप से उन रेजीमों में जहाँ संख्यात्मक बेंचमार्क प्राप्त करना कठिन होता है। मौजूदा दृष्टिकोण मुख्य रूप से बाहरी आर्किटेक्चरल बाधाओं या पैरामीटर विश्लेषण पर केंद्रित रहे हैं, जिससे इस बात की कमी रह गई है कि नेटवर्क आंतरिक रूप से भौतिक जानकारी को कैसे व्यवस्थित करता है।

कार्यप्रणाली
लेखक मैकेनिस्टिक इंटरप्रिटेबिलिटी के एक उपकरण, स्पार्स ऑटोएन्कोडर्स (SAEs) का उपयोग करने वाले एक व्यवस्थित ढांचे का प्रस्ताव करते हैं, जो NQS के आंतरिक एक्टिवेशन्स को स्पार्स, व्याख्या योग्य फीचर्स (interpretable features) में विघटित करता है।

NQS आर्किटेक्चर: अध्ययन ऑटोरेग्रेसिव ट्रांसफॉर्मर-आधारित NQS का उपयोग करता है। वेवफंक्शन एम्प्लीट्यूड $\psi(\sigma)$ को एक बोर्न प्रोबेबिलिटी $p(\sigma)$ और एक फेज $\phi(\sigma)$ में विभाजित किया जाता है। ट्रांसफॉर्मर एक कॉज़ल सीक्वेंस मॉडल के रूप में कार्य करता है, जो साइट-दर-साइट स्पिन कॉन्फ़िगरेशन की भविष्यवाणी करता है।
SAE अनुप्रयोग: SAE को अंतिम ट्रांसफॉर्मर लेयर के रेसिड्यूअल स्ट्रीम (residual stream) पर लागू किया जाता है। यह फीचर दिशाओं $\{f_k\}$ और स्पार्स कोएफिशिएंट्स $z_k$ के एक ओवरकम्प्लीट डिक्शनरी को सीखता है ताकि एक्टिवेशन वेक्टर्स $h$ को एक स्पार्स लीनियर कॉम्बिनेशन के रूप में अनुमानित किया जा सके: $h \approx \sum z_k f_k$ ।
अनसुपरवाइज्ड ट्रेनिंग: महत्वपूर्ण रूप से, SAE को रेसिड्यूअल स्ट्रीम एक्टिवेशन्स पर पूरी तरह से अनसुपरवाइज्ड तरीके से प्रशिक्षित किया जाता है। इसे कोई भौतिक लेबल (जैसे मैग्नेटाइजेशन मान) नहीं मिलता है और इसे केवल रिकंस्ट्रक्शन के साथ एक स्पारर्सिटी पेनल्टी ( $L_1$ नॉर्म) के लिए अनुकूलित किया जाता है।
फीचर-ऑब्जर्वेबल कोरिलेशन: प्रशिक्षण के बाद, लेखक स्पिन चेन पर स्पार्स कोएफिशिएंट्स को "मीन-पूल" करते हैं ताकि स्केलर फीचर स्ट्रेंथ प्राप्त की जा सके। इन्हें उसी से सैंपल किए गए कॉन्फ़िगरेशन से प्राप्त भौतिक अवलोकनों (जैसे मैग्नेटाइजेशन, स्टैगर्ड मैग्नेटाइजेशन, हाफ-चेन कोरिलेटर्स) के साथ सह-संबंधित (correlate) किया जाता है।
कॉज़ल इंटरवेंशन (स्टीयरिंग): कार्योत्तेजकता (causality) स्थापित करने के लिए, लेखक लक्षित हस्तक्षेप (targeted interventions) करते हैं। वे एक विशिष्ट फीचर की एक्टिवेशन स्ट्रेंथ को स्केल करते हैं ( $z_{k^*} \to \alpha z_{k^*}$ ) जबकि अन्य को स्थिर रखते हैं, संशोधित रेसिड्यूअल स्ट्रीम को पुनर्गठित करते हैं, और परिणामी भौतिक अवलोकन में परिवर्तन देखते हैं। यह सुनिश्चित करने के लिए कि हस्तक्षेप स्थानीयकृत रहता है, वेरिएशनल ऊर्जा की निगरानी करते हुए यह किया जाता है।

प्रमुख योगदान और परिणाम

व्याख्या योग्य फीचर्स की खोज: 1D ट्रांसवर्स-फील्ड आइसिंग मॉडल (TFIM) में, SAE ने स्वायत्त रूप से ऐसे स्पार्स फीचर्स की खोज की जो भौतिक अवलोकनों (जैसे मैग्नेटाइजेशन $M_z$ , एब्सोल्यूट मैग्नेटाइजेशन $|M_z|$ , और हाफ-चेन कोरिलेटर्स $C_{zz}$ ) के साथ लगभग पूर्णतः सह-संबंधित ( $|r| > 0.97$ ) हैं। यह खोज पैरामैग्नेटिक फेज, फेरोमैग्नेटिक फेज और क्रिटिकल पॉइंट में हुई, बावजूद इसके कि SAE को इन मात्राओं का कोई पूर्व ज्ञान नहीं था।
कॉज़ल कंट्रोल: लेखकों ने प्रदर्शित किया कि ये फीचर्स NQS भविष्यवाणियों में एक कॉज़ल भूमिका निभाते हैं। एक विशिष्ट फीचर स्ट्रेंथ ( $\alpha$ ) को स्केल करने से संबंधित अवलोकन (जैसे मैग्नेटाइजेशन) सुचारू रूप से और मोनोटोनिक रूप से नियंत्रित होता है, जबकि वेरिएशनल ऊर्जा को लगभग अपरिवर्तित (सापेक्ष विचलन $< 0.02\%$ ) छोड़ दिया जाता है। यह पुष्टि करता है कि फीचर्स केवल सह-संबंधित आर्टिफैक्ट्स नहीं हैं, बल्कि आंतरिक निर्देशांक (coordinates) हैं जो भौतिक भविष्यवाणियों को नियंत्रित करते हैं।
रियल-टाइम डायनेमिक्स: इस ढांचे को TFIM के तहत रियल-टाइम डायनेमिक्स के लिए विस्तारित किया गया। एक एकल स्टैटिक फीचर दिशा को पूरे विकास प्रक्षेपवक्र (evolution trajectory) के दौरान समय-निर्भर मैग्नेटाइजेशन $M_z(t)$ को ट्रैक करने के लिए पाया गया। इसके अलावा, पूरे समय के दौरान इस फीचर की एक्टिवेशन स्ट्रेंथ को स्केल करने से मैग्नेटाइजेशन डायनेमिक्स को व्यवस्थित रूप से बदला गया, जो सिद्ध करता है कि NQS डायनामिकल जानकारी को एक स्टैटिक आंतरिक कोऑर्डिनेट सिस्टम में एनकोड करते हैं।
2D सिस्टम में सामान्यीकरण: इस दृष्टिकोण को 2D हाइजेनबर्ग एंटीफेरोमैग्नेटिक मॉडल (एक नॉन-इंटीग्रेबल, 2D सिस्टम) पर मान्य किया गया। SAE ने एक ऐसा फीचर पहचाना जो स्टैगर्ड मैग्नेटाइजेशन (एक स्थानिक रूप से संरचित ऑर्डर पैरामीटर जो सब-लैटिस को अलग करता है) के साथ मजबूती से सह-संबंधित है। इस फीचर को स्टीयर करने से सफलतापूर्वक स्टैगर्ड मैग्नेटाइजेशन को नियंत्रित किया गया, जो 1D और सटीक रूप से हल किए गए सिस्टम से परे इस पद्धति की प्रयोज्यता को प्रदर्शित करता है।

महत्व और दावे
पेपर का दावा है कि NQS केवल वेवफंक्शन एम्प्लीट्यूड के फंक्शनल एप्रोक्सिमेटर्स नहीं हैं, बल्कि भौतिक जानकारी के समृद्ध, व्याख्या योग्य आंतरिक प्रतिनिधित्व को एनकोड करते हैं।

डायग्नोस्टिक टूल: यह दृष्टिकोण यह आकलन करने के लिए एक विधि प्रदान करता है कि क्या एक प्रशिक्षित NQS ने भौतिक रूप से समझदारी भरा प्रतिनिधित्व सीखा है। फीचर्स की उपस्थिति जो भौतिक मापदंडों को कॉज़ली कंट्रोल करते हैं, सफल लर्निंग के प्रमाण के रूप में कार्य करती है, जबकि उनकी अनुपस्थिति मॉडल की विफलता का निदान कर सकती है।
इंटरवेंशन टूल: यह कार्य NQS के नियंत्रित, फीचर-लेवल हेरफेर के लिए एक मार्ग स्थापित करता है। रेसिड्यूअल स्ट्रीम में एक विशिष्ट स्केलर कोएफिशिएंट को समायोजित करके, आप पूरे नेटवर्क को फिर से प्रशिक्षित या फाइन-ट्यून किए बिना विशिष्ट भौतिक अवलोकनों को ट्यून कर सकते हैं।
दो-तरफा आदान-प्रदान: लेखक क्वांटम मेनी-बॉडी फिजिक्स और मैकेनिस्टिक इंटरप्रिटेबिलिटी के बीच एक सहक्रियात्मक संबंध का प्रस्ताव करते हैं। NQS भौतिक अवलोकनों के साथ 'ग्राउंड-ट्रुथ' प्रदान करते हैं जिसका उपयोग इंटरप्रिटेबिलिटी दावों का परीक्षण करने के लिए किया जा सकता है, जबकि इंटरप्रिटेबिलिटी उपकरण वेरिएशनल वेवफंक्शंस के "ब्लैक बॉक्स" को खोलने के तरीके प्रदान करते हैं, जो संभावित रूप से अधिक विश्वसनीय और पारदर्शी क्वांटम सिमुलेशन की ओर ले जाते हैं।

लेखक अपने दायरे के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि यह कार्य विशेष रूप से ट्रांसफॉर्मर आर्किटेक्चर और फाइनल-लेयर रेसिड्यूअल स्ट्रीम पर केंद्रित है, जिससे अन्य आर्किटेक्चर (जैसे RBMs, RNNs) और लेयर-रिजॉल्व्ड सेल्फ-अटेंशन मैकेनिज्म के संबंध में खुले प्रश्न शेष रहते हैं।

उपकरण: एक "फीचर स्कैनर" (स्पार्स ऑटोएनकोडर)

प्रयोग: रोबोट के मस्तिष्क का परीक्षण

"रिमोट कंट्रोल" परीक्षण (कॉज़ल स्टीयरिंग)

यह क्यों महत्वपूर्ण है

इसी तरह के और पेपर