🔬 materials science

Boltzmann Reinforcement Learning for Noise resilience in Analog Ising Machines

BRAIN (Boltzmann Reinforcement for Analog Ising Networks) एक वेरिएशनल रीइन्फोर्समेंट लर्निंग फ्रेमवर्क है जो संचित सूचना के माध्यम से बोल्ट्ज़मैन वितरण को सीखकर एनालॉग आइसिंग मशीनों में माप संबंधी शोर (measurement noise) पर विजय प्राप्त करता है, और विभिन्न कॉम्बिनेटोरियल टोपोलॉजी में पारंपरिक MCMC विधियों की तुलना में सटीकता और गति दोनों में काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Aditya Choudhary, Saaketh Desai, Prasad Iyer

प्रकाशित 2026-02-11

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Aditya Choudhary, Saaketh Desai, Prasad Iyer

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक भारी तूफान के दौरान एक विशाल, अंधेरी पर्वत श्रृंखला में सबसे निचले बिंदु को खोजने की कोशिश कर रहे हैं। यह अनिवार्य रूप से "कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन" (combinatorial optimization) है—लाखों-करोड़ों संभावनाओं के बीच सबसे अच्छा समाधान (सबसे निचली घाटी) खोजने की कोशिश करना।

यह शोध पत्र एक नया टूल पेश करता है जिसे BRAIN कहा जाता है, जो एक विशेष प्रकार के कंप्यूटर, जिसे एनालॉग आइसिंग मशीन (Analog Ising Machine - AIM) कहते हैं, का उपयोग करके इस समस्या को हल करने में मदद करता है।

यहाँ समस्या और समाधान का रोजमर्रा के उदाहरणों के माध्यम से विवरण दिया गया है।

1. समस्या: "नशे में धुत नाविक" (MCMC)

सबसे निचली घाटी खोजने के लिए पारंपरिक तरीके एक नशे में धुत नाविक (जिसे MCMC कहा जाता है) की तरह हैं। यह नाविक कदम-दर-कदम चलता है। वे अपने वर्तमान स्थान को देखते हैं, एक संभावित अगले कदम को देखते हैं, और पूछते हैं: "क्या यह कदम मेरे वर्तमान स्थान से नीचे है?"

हालाँकि, एनालॉग आइसिंग मशीन एक ऐसे परिदृश्य की तरह है जो घने कोहरे और भारी बारिश से ढका हुआ है। हर बार जब नाविक अपनी ऊँचाई मापने की कोशिश करता है, तो बारिश उसकी आँखों में छपके, जिससे उसे गलत रीडिंग मिलती है।

यदि नाविक को लगता है कि वह नीचे जा रहा है, लेकिन "शोर" (बारिश) उसे ऐसा महसूस कराता है कि वह ऊपर जा रहा है, तो वह भ्रमित हो जाता है।
वे पूरी तरह से रुक सकते हैं या बिना किसी दिशा के गोल-गोल घूम सकते हैं।
शोध पत्र में, यह "नशे में धुत नाविक" तब बुरी तरह विफल हो जाता है जब थोड़ा सा भी "शोर" (3% शोर) मौजूद होता है।

2. समाधान: "स्मार्ट स्काउट" (BRAIN)

एक कदम-दर-कदम चलने वाले नाविक के बजाय, शोधकर्ताओं ने BRAIN बनाया है। BRAIN को केवल एक अकेले चलने वाले व्यक्ति के रूप में नहीं, बल्कि एक रेडियो वाले स्मार्ट स्काउट (Smart Scout) के रूप में सोचें।

हर एक छोटे कदम पर ध्यान केंद्रित करने के बजाय, स्काउट पूरे परिदृश्य के ऊपर उड़ने के लिए ड्रोन्स का एक पूरा समूह भेजता है। प्रत्येक ड्रोन ऊँचाई की एक शोर भरी और धुंधली माप रिपोर्ट करता है।

BRAIN की खासियत यह है कि यह "शोर" को कैसे संभालता है:

औसत निकालने की तकनीक (The Averaging Trick): यदि एक ड्रोन कहता है, "मुझे लगता है कि हम 100 फीट पर हैं," लेकिन दूसरा कहता है, "मुझे लगता है कि हम 110 फीट पर हैं," तो BRAIN घबराता नहीं है। वह जानता है कि ड्रोन्स पर बारिश पड़ रही है। वह सभी ड्रोन्स के औसत (average) को देखता है। कई शोर भरी रिपोर्टों को एकत्रित करके, वह "धुंधलापन" खुद-ब-खुद खत्म हो जाता है, जिससे घाटियों का एक स्पष्ट चित्र मिल जाता है।
मानचित्र को समझना (Learning the Map): BRAIN केवल एक स्थान खोजने की कोशिश नहीं करता; यह पूरे पर्वत श्रृंखला के आकार को समझने की कोशिश करता है। यह एक मानसिक मानचित्र (एक "प्रोबेबिलिटी डिस्ट्रीब्यूशन") बनाता है जो कहता है, "ज्यादातर निचला इलाका इसी दिशा में लग रहा है।"

3. यह इतनी बड़ी बात क्यों है? (परिणाम)

शोधकर्ताओं ने पुराने तरीकों के मुकाबले BRAIN का परीक्षण किया, और परिणाम एक भ्रमित पैदल यात्री की तुलना एक पेशेवर जीपीएस (GPS) से करने जैसे थे:

लचीलापन (Resilience): जब "बारिश" (शोर) तेज हुई, तो पुराना तरीका (MCMC) रास्ता भटक गया और हार मान ली। BRAIM केंद्रित रहा और 98% बार सही घाटी खोजने में सफल रहा।
गति (Speed): BRAIN ने पुराने तरीके की तुलना में 192 गुना तेजी से उत्तर खोजा। यह पहाड़ के हर इंच पर चलने में समय बर्बाद नहीं करता; यह सीधे लक्ष्य की ओर बढ़ने के लिए अपने "मानसिक मानचित्र" का उपयोग करता है।
स्केलेबिलिटी (Scalability): यहाँ तक कि जब पर्वत श्रृंखला बहुत विशाल हो गई (65,000 से अधिक "स्पिन्स" या निर्णय बिंदुओं के साथ), तब भी BRAIN को कोई परेशानी नहीं हुई। यह उन विशाल और जटिल समस्याओं को भी संभाल सकता है जो एक सामान्य कंप्यूटर को फ्रीज कर सकती हैं।

संक्षेप में

यदि पारंपरिक कंप्यूटिंग एक सूक्ष्मदर्शी (microscope) से एक-एक टुकड़े को देखने की कोशिश करने जैसा है (और लेंस पर जमी धूल से विचलित हो जाना है), तो BRAIN पूरे पहेली की एक थोड़ी धुंधली फोटो लेने, उसे दूर से देखने और तुरंत हल करने के लिए समग्र पैटर्न का उपयोग करने जैसा है।

यह एनालॉग हार्डवेयर के "शोर" को एक निराशाजनक बाधा के बजाय एक संकेत (signal) में बदल देता है जिसे यह सत्य खोजने के लिए बस औसत निकाल सकता है।

तकनीकी सारांश: एनालॉग आइसिंग मशीनों में शोर प्रतिरोध के लिए बोल्ट्ज़मैनन सुदृढीकरण लर्निंग (BRAIN)

1. समस्या विवरण

एनालॉग आइसिंग मशीनें (AIMs) उच्च-गति वाले भौतिक कंप्यूटिंग आर्किटेक्चर हैं जिन्हें भौतिक गतिकी (जैसे ऑप्टिकल या इलेक्ट्रिक ऑसिलेटर्स) का लाभ उठाकर कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन समस्याओं को हल करने के लिए डिज़ाइन किया गया है। जबकि वे डिजिटल प्रोसेसर की तुलना में व्यापक गति वृद्धि (speedups) प्रदान करते हैं, वे दो महत्वपूर्ण हार्डवेयर-स्तरीय बाधाओं से ग्रस्त हैं:

अंतर्निहित मापन शोर (Inherent Measurement Noise): वास्तविक दुनिया के AIMs ऊर्जा मूल्यांकन में 3–10% गाऊसी शोर (Gaussian noise) प्रदर्शित करते हैं। पारंपरिक एल्गोरिदम जैसे मार्कोव चेन मोंटे कार्लो (MCMC), "विस्तृत संतुलन" (detailed balance) बनाए रखने के लिए सटीक ऊर्जा अंतर ( $\Delta E$ ) पर निर्भर करते हैं; जब शोर का स्तर $\Delta E$ के करीब पहुँच जाता है, तो स्वीकृति मानदंड (acceptance criteria) यादृच्छिक हो जाते हैं, जिससे एल्गोरिदम विफल हो जाता है।
विलंबता बेमेल (Latency Mismatch): अत्याधुनिक डीप लर्निंग सॉल्वर (जैसे डिफ्यूजन मॉडल, GNNs) गणनात्मक रूप से भारी होते हैं। उनका डिजिटल इन्फरेंस विलंबता अक्सर एनालॉग कोर के तीव्र (नैनो-से-माइक्रोसेकंड) ऊर्जा मूल्यांकन समय से अधिक होती है, जो हार्डवेयर के गति लाभ को निष्प्रभावी कर देती है।

2. कार्यप्रणाली: BRAIN फ्रेमवर्क

लेखक BRAIN (Boltzmann Reinforcement for Analog Ising Networks) का प्रस्ताव करते हैं, जो एक वितरण लर्निंग फ्रेमवर्क है जो प्रतिमान को अवस्था-दर-अवस्था सैंपलिंग (परिदृश्य को पार करना) से वेरिएशनल इन्फरेंस (परिदृश्य को सीखना) की ओर स्थानांतरित करता है।

वेरिएशनल ऑब्जेक्टिव: केवल एक इष्टतम अवस्था खोजने के बजाय, BRAIN वास्तविक बोल्ट्ज़मैन वितरण $p(x) = e^{-\beta E(x)}/Z$ को अनुमानित करने के लिए एक संभाव्यता नीति (probabilistic policy) $q_\theta(x)$ सीखता है। यह $q_\theta(x)$ और $p(x)$ के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करके प्राप्त किया जाता है, जो गणितीय रूप से हेल्महोल्ट्ज़ फ्री एनर्जी को कम करने के समान है।
पॉलिसी ग्रेडिएंट (REINFORCE): AIM के गैर-विभेदनीय (non-differentiable) और शोरयुक्त ऊर्जा आउटपुट को संभालने के लिए, BRAIN REINFORCE एल्गोरिदम का उपयोग करता है। यह शोरयुक्त ऊर्जा $\tilde{E}(x)$ को एक रिवॉर्ड सिग्नल के रूप में मानता है। ग्रेडिएंट एकत्रीकरण (gradient accumulation) और बेसलाइन घटाव (baseline subtraction) का उपयोग करके, एल्गोरिदम कई शोरयुक्त मापों को एकत्रित करता है ताकि एक स्थिर ग्रेडिएंट निकाला जा सके, जो प्रभावी रूप से गाऊसी शोर को "औसत" (average out) कर देता है।
हार्डवेयर-अनुकूल आर्किटेक्चर: कम विलंबता सुनिश्चित करने के लिए, BRAINE जटिल न्यूरल नेटवर्क से बचता है। इसके बजाय, यह व्यक्तिगत स्पिन के ऊपर एक पूर्णतः कारकित बर्नौली वितरण (fully-factorized Bernoulli distribution) का उपयोग करता है। यह अनुकूलन समस्या को घातांकीय कॉन्फ़िगरेशन स्पेस ( $2^N$ ) से एक रैखिक पैरामीटर स्पेस ( $N$ ) में बदल देता है, जिसके लिए केवल $N$ वेरिएशनल पैरामीटर ( $\theta$ ) की आवश्यकता होती है।

3. मुख्य योगदान

शोर-लचीला अनुकूलन (Noise-Resilient Optimization): एक विधि जो हार्डवेयर की स्टोकेस्टिसिटी (stochasticity) को एक बाधा के बजाय एक लर्निंग सिग्नल में बदल देती है।
उच्च-थ्रूपुट दक्षता: एक हल्का पैरामीट्रिकरण जो एनालॉग ओरैकल्स की गति से मेल खाते हुए नगण्य डिजिटल ओवरहेड के साथ तीव्र अपडेट को सक्षम बनाता है।
स्केलेबल वेरिएशनल सैंपलिंग: एक एल्गोरिदम जो केवल ग्राउंड-स्टेट ऑप्टिमाइज़ेशन ही नहीं, बल्कि थर्मोडायनामिक फेज ट्रांजिशन और मेटास्टेबल अवस्थाओं को भी कैप्चर करने में सक्षम है।

4. प्रयोगात्मक परिणाम

लेखकों ने विभिन्न टोपोलॉजी (क्यूरी-वीस और 2D लेनज़-आइसिंग मॉडल) में MCMC और आधुनिक न्यूरल सैंपलर के विरुद्ध BRAIN का मूल्यांकन किया:

शोर प्रतिरोध: यथार्थवादी 3% गाऊसी शोर के तहत, BRAIN ने 98% ग्राउंड स्टेट फिडेलिटी बनाए रखी, जबकि MCMC की फिडेलिटी गिरकर 51% रह गई। BRAINE अत्यधिक 40% शोर के तहत भी मजबूत बना रहा, जबकि MCMC 9% शोर पर विफल हो गया।
कंप्यूटेशनल गति: शोरयुक्त स्थितियों में BRAIN ने MCMC-तुल्य समाधान 192 गुना तेजी से प्राप्त किए।
स्केलेबिलिटी: BRAIN ने $O(N^{1.55})$ स्केलिंग प्रदर्शित की, और 65,536 स्पिन तक की प्रणालियों को सफलतापूर्वक संभाला।
थर्मोडायनामिक सटीकता: BRAIN ने ऑल-टू-ऑल और नियर-नेबर आइसिंग मॉडल दोनों में फेज ट्रांजिशन (क्रिटिकल टेम्परेचर) और मैग्नेटाइजेशन प्रोफाइल को सटीक रूप से कैप्चर किया।
दक्षता: LEAPS या DiffUCO जैसे भारी मॉडलों की तुलना में, BRAINE को काफी कम पैरामीटर (256 बनाम लाखों) की आवश्यकता थी और इसने बहुत कम ट्रेनिंग लेटेंसी (प्रति इटरेशन 0.052s) प्राप्त की।

5. महत्व

यह कार्य उच्च-गति एनालॉग हार्डवेयर और मजबूत डिजिटल नियंत्रण के बीच एक महत्वपूर्ण सेतु प्रदान करता है। यह प्रदर्शित करके कि वेरिएशनल सुदृढीकरण लर्निंग एनालॉग शोर की मौलिक सीमाओं को कम कर सकती है, लेखक AIMs को ड्रग डिस्कवरी और मटेरियल साइंस जैसे जटिल, वास्तविक दुनिया के अनुप्रयोगों में उपयोग करने के लिए एक स्केलेबल मार्ग प्रदान करते हैं, जहाँ स्थिर, निम्न-ऊर्जा विन्यास खोजना अत्यंत महत्वपूर्ण है। यह कार्य अन्य शोरयुक्त भौतिक कंप्यूटिंग प्रतिमानों, जिनमें वेरिएशनल क्वांटम एल्गोरिदम (VQAs) शामिल हैं, के लिए भी निहितार्थ रखता है।