🔢 mathematics

A Conservation Law for Equilibrium Propagation and Coupled Learning

यह शोध पत्र प्रदर्शित करता है कि निरंतर-समय, लघु-नजिंग (small-nudging) सीमा के भीतर युग्मित शिक्षण (coupled learning) और इक्विलिब्रियम प्रोपेगेशन (equilibrium propagation), प्रशिक्षित मापदंडों के भीतर एक द्रव्यमान-समान (mass-like) मात्रा को संरक्षित करते हैं, जो एक ऐसा गुण है जो रैखिक सर्किट में विश्वसनीय अभिसरण सुनिश्चित करता है और भौतिक शिक्षण प्रणालियों के लिए व्यावहारिक निहितार्थ प्रदान करता है।

मूल लेखक: Joshua A. McGinnis, Adam G. Kline, Yoichiro Mori

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joshua A. McGinnis, Adam G. Kline, Yoichiro Mori

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक भौतिक मशीन (जैसे बिजली के तारों का एक नेटवर्क) को एक पहेली हल करना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि मशीन एक विशिष्ट "विश्राम अवस्था" (resting state) में स्थिर हो जाए जो सही उत्तर देती हो। इसे करने के लिए, आप एक ऐसी सीखने की विधि का उपयोग करते हैं जहाँ मशीन दो अवस्थाओं की तुलना करती है: वह कैसे सामान्य रूप से व्यवहार करती है, और वह कैसे व्यवहार करती है जब आप उसे सही उत्तर पाने के लिए धीरे से थोड़ा सा धकेलते (nudge) हैं।

यह शोध पत्र, जिसे मैकगिनिस, क्लाइन और मोरी ने लिखा है, एक छिपे हुए "भौतिकी के नियम" की खोज करता है जो इन मशीनों को कैसे सीखना है, इसे नियंत्रित करता है। यहाँ सरल शब्दों में इसका विवरण दिया गया है:

1. दो सीखने की विधियाँ

यह पत्र इन मशीनों को सिखाने के दो तरीकों को देखता है: इक्विलिब्रियम प्रोपेगेशन (EP) और कपल्ड लर्निंग (CL)।

सादृश्य (Analogy): कल्पना कीजिए कि एक कटोरे में एक गेंद लुढ़क रही है। कटोरे का निचला हिस्सा "सही उत्तर" है।
- सामान्य अवस्था: गेंद कटोरे के प्राकृतिक निचले हिस्से तक लुढ़क जाती है।
- धकेली गई अवस्था (Nudged State): आप कटोरे को थोड़ा सा झुकाते हैं (यह "धकेलना" या "nudge" है) यह देखने के लिए कि गेंद एक अलग स्थान की ओर कैसे बढ़ती है।
- सबक: मशीन यह तुलना करके सीखती है कि सामान्य कटोरे में गेंद कहाँ गई और झुके हुए कटोरे में कहाँ गई। वह कटोरे के आकार (पैरामीटर्स) को समायोजित करती है ताकि अगली बार गेंद सही जगह पर रुक सके।

2. बड़ी खोज: "द्रव्यमान" (Mass) संरक्षण का नियम

लेखकों ने पाया है कि इन कई भौतिक प्रणालियों में, एक ऐसी मात्रा होती है जो सीखने की प्रक्रिया के दौरान कभी नहीं बदलती, बशर्ते कि "धकेलना" (nudge) बहुत सूक्ष्म हो। वे इस मात्रा को "मास" (द्रव्यमान) कहते हैं।

सादृश्य: कल्पना कीजिए कि मशीन के समायोज्य हिस्से (जैसे तार में प्रतिरोध/resistance) एक तराजू पर रखे वजन की तरह हैं।
- जैसे-जैसे मशीन सीखती है, कुछ वजन भारी होते जाते हैं और कुछ हल्के होते जाते हैं।
- हालाँकि, तराजू पर कुल वजन बिल्कुल समान रहता है।
- यदि एक तार का प्रतिरोध दोगुना हो जाता है, तो दूसरे को संतुलित करने के लिए कम होना चाहिए ताकि "कुल द्रव्यमान" स्थिर बना रहे।

यह क्यों मायने रखता है?
गणित और भौतिकी में, जब कोई चीज़ "संरक्षित" (conserved) होती है (जैसे ऊर्जा या द्रव्यमान), तो वह एक रेलिंग या सुरक्षा घेरे की तरह काम करती है। यह सिस्टम को अनियंत्रित होने से रोकती है। यह पत्र सिद्ध करता है कि क्योंकि यह "द्रव्यमान" संरक्षित है, इसलिए सीखने की प्रक्रिया समाधान खोजने के लिए मजबूर होती है, न कि हमेशा के लिए भटकने या क्रैश होने के लिए।

3. यह नियम कब लागू होता है?

यह नियम रैखिक सर्किटों (linear circuits) में सबसे अच्छा काम करता है (ऐसे सिस्टम जहाँ बिजली और वोल्टेज के बीच का संबंध सीधा होता है, जैसे साधारण रेसिस्टर्स)।

"सेपरेबल" (Separable) नियम: गणित तब काम करता है यदि सिस्टम की ऊर्जा को स्वतंत्र भागों में विभाजित किया जा सके। इसे एक ऐसे गायक दल (choir) की तरह सोचें जहाँ हर गायक की आवाज़ का वॉल्यूम उनके अपने नॉब (knob) से नियंत्रित होता है, लेकिन वे सभी एक ही गाना गा रहे हैं। यदि नॉब और गाना "सेपरेबल" हैं, तो संरक्षण का नियम लागू होता है।
कब यह टूट जाता है: यदि सिस्टम बहुत अधिक जटिल या "नॉन-लीनियर" (जैसे एक डायोड जो वोल्टेज के आधार पर अजीब व्यवहार करता है) है, या यदि आपके पास ऐसे निश्चित इनपुट हैं जो नियमों का पालन नहीं करते हैं, तो "द्रव्यमान" संरक्षित नहीं रह सकता है।

4. "ड्रिफ्टिंग" (Drifting) का खतरा

यह पत्र चेतावनी देता है कि क्या होता है यदि आप इस संरक्षण नियम को तोड़ देते हैं (उदाहरण के लिए, बहुत बड़ा "धकेलना" या एक विशिष्ट प्रकार के अपडेट नियम का उपयोग करना)।

सादृश्य: कल्पना कीजिए कि आप किताबों का एक ढेर संतुलित करने की कोशिश कर रहे हैं। यदि आपके पास एक नियम है कि "कुल ऊंचाई समान रहनी चाहिए," तो आप किताबों को सुरक्षित रूप से पुनर्व्यवस्थित कर सकते हैं।
समस्या: यदि आप उस नियम को खो देते हैं, तो ढेर अनंत रूप से ऊँचा बढ़ सकता है या सिकुड़कर गायब हो सकता है।
वास्तविक दुनिया का परिणाम: एक भौतिक कंप्यूटर चिप में, यदि "वजन" (पैरामीटर्स) बहुत बड़े हो जाते हैं, तो वे हार्डवेयर की भौतिक सीमाओं तक पहुँच सकते हैं और टूट सकते हैं। यदि वे शून्य तक सिकुड़ जाते हैं, तो कनेक्शन टूट जाता है और मशीन काम करना बंद कर देती है। यह पत्र दिखाता है कि एक विशिष्ट "सिमेट्रिक" (symmetric) धकेलने का तरीका (बराबर धक्का देना और खींचना) का उपयोग करने से "द्रव्यमान" सुरक्षित रहता है और इस ड्रिफ्ट को रोकता है।

5. यह सिद्ध करना कि यह काम करता है

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने विशिष्ट प्रकार के नेटवर्कों के लिए इसे गणितीय रूप से सिद्ध किया है:

क्रॉसबार एरेज़ (Crossbar Arrays): ये तारों के ग्रिड (जैसे स्प्रेडशीट) हैं जिनका उपयोग अक्सर नए प्रकार के कंप्यूटर चिप्स में किया जाता है। यह पत्र सिद्ध करता है कि यदि आप इन संरक्षण नियमों का उपयोग करते हैं, तो मशीन घातांकीय रूप से तेज़ (exponentially fast) सही उत्तर खोज लेगी।
सिंगल पाथ सर्किट (Single Path Circuits): एक इनपुट और एक आउटपुट वाले सरल सर्किट के लिए, उन्होंने सिद्ध किया कि मशीन या तो उत्तर खोज लेगी या एक तार टूट जाएगा (शून्य तक पहुँच जाएगा)। उनका तर्क है कि अधिकांश व्यावहारिक मामलों में, मशीन तार टूटने से पहले उत्तर खोज लेती है।

सारांश

यह शोध पत्र एक नए प्राकृतिक नियम की तरह है कि कैसे भौतिक कंप्यूटर सीखते हैं। यह दिखाता है कि यदि आप इन मशीनों को एक सौम्य, संतुलित तरीके से सिखाते हैं, तो एक अदृश्य "बजट" (द्रव्यमान) होता है जो स्थिर रहता है। यह बजट एक सुरक्षा जाल की तरह कार्य करता है, यह सुनिश्चित करता है कि मशीन विश्वसनीय रूप से सीखे और क्रैश न हो या बेकार होकर भटक न जाए। यह भविष्य के कंप्यूटर बनाने के लिए एक बड़ी बात है जो जैविक मस्तिष्क की तरह सीखते हैं लेकिन न्यूरॉन्स के बजाय बिजली का उपयोग करते हैं।

तकनीकी सारांश: इक्विलिब्रियम प्रोपेगेशन और कपल्ड लर्निंग के लिए एक संरक्षण नियम

समस्या विवरण
भौतिक शिक्षण विधियाँ, विशेष रूप से इक्विलिब्रियम प्रोपेगेशन (EP) और कपल्ड लर्निंग (CL), कम-शक्ति वाले मशीन लर्निंग के लिए एक आशाजनक मार्ग प्रदान करती हैं, जो इन्फरेंस (inference) और प्रशिक्षण करने के लिए भौतिक प्रणालियों (जैसे कि रेसिस्टिव सर्किट) का उपयोग करती हैं। ये विधियाँ कंट्रास्टिव लोकल लर्निंग (contrastive local learning) पर निर्भर करती हैं, जहाँ अपडेट दो सिस्टम अवस्थाओं के बीच के अंतर द्वारा संचालित होते हैं: एक "फ्री" (free) अवस्था और एक "नज्ड" (nudged) या "क्लैम्पड" (clamped) अवस्था। हालाँकि, इन विधियों का सैद्धांतिक विश्लेषण महत्वपूर्ण चुनौतियों का सामना करता है। सीखने की गतिशीलता (learning dynamics) एक बाइलेवल ऑप्टिमाइज़ेशन समस्या में शामिल है जहाँ स्थिर-अवस्था (steady-state) अप्रत्यक्ष रूप से परिवर्तनीय मापदंडों (trainable parameters) द्वारा निर्धारित होती है, जो अक्सर गैर-उत्तल (non-convex) लॉस लैंडस्केप की ओर ले जाती है। इन गतिकी की निरंतर-समय सीमा (continuous-time limit), विशेष रूप से छोटे नजिंग शासन ( $\eta \to 0$ ) में, अभिसरण (convergence) को सुनिश्चित करने या प्रशिक्षण प्रक्रिया की स्थिरता को समझाने के लिए एक एकीकृत सैद्धांतिक ढांचे की कमी है। यह समझने की विशिष्ट आवश्यकता है कि क्या इन गतिकी में अंतर्निहित संरचनात्मक गुण हैं जो विश्वसनीय अभिसरण सुनिश्चित करते हैं, विशेष रूप से रैखिक सर्किट के लिए, और कैसे व्यावहारिक कार्यान्वयन विकल्प (जैसे कि नज-ड (nudge) का परिमाण) परिवर्तनीय मापदंडों की स्थिरता को प्रभावित करते हैं।

कार्यप्रणाली
लेखक EP और CL के लिए एक सामान्य गणितीय ढांचा स्थापित करते हैं, जो सिस्टम को एक ऊर्जा फलन $G(x; k)$ के माध्यम से परिभाषित करते है, जहाँ $x$ अवस्था चर (जैसे नोड वोल्टेज) का प्रतिनिधित्व करता है और $k$ परिवर्तनीय मापदंडों (जैसे कंडक्टेंस या रेजिस्टेंस) का प्रतिनिधित्व करता है। सीखने की गतिशीलता का विश्लेषण एक छोटे नजिंग पैरामीटर $\eta$ के साथ निरंतर-समय सीमा में किया जाता है।

मुख्य कार्यप्रणाली एक 'मास' (mass) फलन $K$ को परिभाषित करने और ऊर्जा के समय व्युत्पन्न (time derivative) का विश्लेषण करने के माध्यम से परिवर्तनीय मापदंडों के लिए एक संरक्षण नियम (conservation law) को सिद्ध करने और स्थापित करने की दिशा में है। लेखक तीन अलग-अलग प्रमाणों के माध्यम से इस दृष्टिकोण को अपनाते हैं:

CL के लिए प्रत्यक्ष गणना: एक "मास" फलन $K$ को परिभाषित करके और कपल्ड लर्निंग की विशिष्ट बाधाओं के तहत ऊर्जा के समय व्युत्पन्न का विश्लेषण करके।
EP के लिए ग्रेडिएंट फ्लो तर्क: यह प्रदर्शित करके कि EP एक स्केल-इनवेरिएंट (scale-invariant) लॉस फंक्शन पर ग्रेडिएंट फ्लो करता है, जिसका अर्थ है कि पैरामीटर वेक्टर का वर्ग त्रिज्या (squared radius) स्थिर रहता है।
एकीकृत KKT-आधारित प्रमाण: ऊर्जा के एक विशिष्ट पृथक्करणीय पहचान (separability identity) पर भरोसा करते हुए, दोनों EP और CL पर लागू होने वाला एक एकल प्रमाण प्रदान करने के लिए करुश-कुन-टकर (KKT) स्थितियों का उपयोग करना।

इसके बाद, पेपर रैखिक सर्किट (विशेष रूप से रेसिस्टिव नेटवर्क) पर अपने विश्लेषण को सीमित करता है ताकि इन संरक्षण नियमों को ठोस अभिसरण प्रमाणों के लिए लागू किया जा सके। वे क्रॉसबार एरेज़ और सामान्य बाइपार्टाइट (bipartite) सर्किट के साथ-साथ बैच अपडेट और विभिन्न क्लैम्पिंग रणनीतियों (एसिमेट्रिक बनाम सिमेट्रिक) के प्रभावों का परीक्षण करते हैं।

प्रमुख योगदान और परिणाम

एक संरक्षण नियम की खोज: प्राथमिक सैद्धांतिक योगदान यह प्रमाण है कि दोनों EP और CL एक मास-जैसे परिमाण $K = \frac{1}{2} \sum f_i(k_i)$ को संरक्षित करते हैं, बशर्ते कि ऊर्जा फलन में एक पृथक्करणीय संरचना $G(x; k) = \sum g_i(k_i) \tilde{G}_i(x)$ हो।
- कंडक्टेंस ( $\kappa$ ) पर प्रशिक्षित रैखिक सर्किट के लिए, संरक्षित मात्रा वर्ग त्रिज्या है: $K = \frac{1}{2} \sum \kappa_i^2$ ।
- रेजिस्टेंस ( $\rho$ ) पर प्रशिक्षित सर्किट के लिए, संरक्षित मात्रा समान रूप से $K = \frac{1}{2} \sum \rho_i^2$ है।
- यह संरक्षण कई भौतिक रूप से प्रासंगिक सेटिंग्स के लिए मान्य है, जिसमें वे मामले भी शामिल हैं जहाँ विभिन्न किनारे (edges) अलग-अलग पैरामीट्रिज़ेशन (जैसे कुछ कंडक्टेंस, कुछ रेजिस्टेंस) का उपयोग करते हैं, जब तक कि पृथक्करणीयता की स्थिति पूरी होती है।
रैखिक सर्किट के लिए अभिसरण प्रमाण:
- सिंगल इनपुट/आउटपुट: लेखक सिद्ध करते हैं कि एक सर्किट के लिए जिसमें एक सिंगल इनपुट और आउटपुट है, सीखने की गतिशीलता या तो लक्ष्य को संतुष्ट करने वाले समाधान की ओर बढ़ेगी या कम से कम एक कंडक्टेंस को शून्य तक ले जाएगी (प्रभावी रूप से किनारे को हटा देगी)।
- क्रॉसबार एरेज़: बाइपार्टाइट क्रॉसबार एरेज़ (जहाँ इनपुट और आउटपुट पूरी तरह से जुड़े होते हैं) के लिए, लेखक लॉस फंक्शन के शून्य की ओर एक्सपोनेंशियल कन्वर्जेंस (exponential convergence) को सिद्ध करते हैं। यह परिणाम तब भी मान्य रहता है जब कुछ कंडक्टेंस शून्य तक पहुँच जाते हैं और प्रशिक्षण के दौरान हटा दिए जाते हैं, बशर्ते कि इनपुट और आउटपुट जुड़े रहें।
नजिंग और ड्रिफ्ट (Drift) का विश्लेषण:
- पेपर यह प्रदर्शित करता है कि नजिंग पैरामीटर $\eta$ का चुनाव महत्वपूर्ण है। $\eta \to 0$ की सीमा में (या सिमेट्रिक क्लैम्पिंग का उपयोग करने पर), संरक्षण नियम बना रहता है, जो पैरामीटर्स के कुल स्केल को ड्रिफ्ट होने से रोकता है।
- इसके विपरीत, गैर-शून्य एसिमेट्रिक नजिंग ( $\eta \neq 0$ ) के साथ बैच अपडेट का उपयोग करने से मापदंडों के कुल "मास" में ड्रिफ्ट होता है। विशेष रूप से, धनात्मक $\eta$ कुल कंडक्टेंस को शून्य की ओर कम करता है, जबकि ऋणात्मक $\eta$ इसे अनबाउंडेड (unbounded) रूप से बढ़ाता है।
- यह ड्रिफ्ट प्रशिक्षण विफलता का कारण बन सकता है, जिससे पैरामीटर्स को समाधान प्राप्त करने से पहले ही भौतिक सीमाओं (जैसे शून्य कंडक्टेंस) तक धकेल दिया जाता है, या नेटवर्क को डिस्कनेक्ट होने का कारण बनता है।
भौतिक कार्यान्वयन अंतर्दृष्टि: लेखक नोट करते हैं कि रैखिक सर्किट के लिए, सिमेट्रिक क्लैम्पिंग (एक धनात्मक नज्ड अवस्था $x_\eta$ की तुलना एक ऋणात्मक नज्ड अवस्था $x_{-\eta}$ से करना) किसी भी परिमित $\eta$ पर सटीक $\eta \to 0$ गतिकी को पुन: उत्पन्न करती है। यह सुझाव देता है कि संरक्षण नियम को अत्यंत सूक्ष्म विक्षोभ (infinitesimal perturbations) लगाने के कठिन प्रयोगात्मक कार्य की आवश्यकता के बिना, हार्डवेयर में प्राप्त किया जा सकता है।

महत्व और दावे
पेपर का दावा है कि इस संरक्षण नियम की पहचान इन भौतिक शिक्षण एल्गोरिदम की विश्वसनीयता के लिए एक कठोर सैद्धांतिक आधार प्रदान करती है। यह दिखाकर कि EP और CL एक विशिष्ट मात्रा को संरक्षित करते हैं, लेखक समझाते हैं कि क्यों ये विधियाँ रैखिक क्रॉसबार जैसे महत्वपूर्ण सेटिंग्स में विश्वसनीय अभिसरण प्राप्त कर सकती हैं, भले ही सामान्य अनुकूलन समस्या गैर-उत्तल (non-convex) प्रकृति की हो।

यह कार्य एक व्यावहारिक ट्रेड-ऑफ को उजागर करता है: जबकि गैर-संरक्षण नजिंग (मानक एसिमेट्रिक क्लैम्पिंग जहाँ $\eta \neq 0$ है) रेगुलेराइज़ेशन जैसे लाभ दे सकती है, यह पैरामीटर स्केल ड्रिफ्ट का जोखिम भी लाती है जो नेटवर्क डिस्कनेक्शन या अभिसरण में विफलता जैसी "पैथोलॉजीज़" का कारण बन सकती है। लेखक सुझाव देते हैं कि सिमेट्रिक क्लैम्पिंग एक मजबूत विकल्प प्रदान करती है, जो सूक्ष्म विक्षोभों की आवश्यकता के बिना स्थिरता सुनिश्चित करती है।

पेपर अपने दायरे के संबंध में विनम्र बना हुआ है, यह नोट करते हुए कि संरक्षण नियम को छोटे-नज लिमिट और रैखिक सर्किट के लिए सिद्ध किया गया है। यह स्वीकार करता है कि गैर-रैखिक सर्किट के लिए, सिमेट्रिक क्लैम्पिंग केवल $O(\eta^2)$ तक मात्रा को संरक्षित करती है, और अधिक जटिल, सामान्य टोपोलॉजी (पृथक्करणीय ऊर्जा संरचना से परे) में संरक्षण के लिए स्थितियाँ अभी भी एक खुला प्रश्न हैं। इसके अलावा, हालांकि लेखक क्रॉसबार के लिए अभिसरण सिद्ध करते हैं, सिंगल-इनपुट/सिंगल-आउट सर्किट का सामान्य मामला "एज डेथ" (डिस्कनेक्शन) की संभावना को खुला छोड़ देता है, जिसके लिए आगे की जांच की आवश्यकता है।