🔢 mathematics

Coercivity and Local Convergence of Physical Learning in Linear Circuits

यह शोध पत्र लीनियर सर्किट्स में इक्विलिब्रियम प्रोपेगेशन, कपल्ड लर्निंग और एक नई एडजॉइंट कपल्ड लर्निंग विधि के लिए पहला स्थानीय अभिसरण विश्लेषण स्थापित करता है, जो यह प्रदर्शित करता है कि एक विशिष्ट कोएर्सिविटी (coercivity) स्थिति के तहत, जो संभावित समरूपता-प्रेरित विसंगतियों (symmetry-induced degeneracies) के बावजूद सामान्य रूप से लागू होती है, प्रशिक्षण हानि तेजी से घटती है और पैरामीटर एक समाधान मैनिफोल्ड की ओर अभिसरित होते हैं।

मूल लेखक: Joshua A. McGinnis, Xinbo Li, Yoichiro Mori

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joshua A. McGinnis, Xinbo Li, Yoichiro Mori

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास तारों और प्रतिरोधकों (resistors) का एक विशाल, जटिल जाल है (जैसे कि एक विशाल विद्युत परिपथ)। आप चाहते हैं कि यह जाल एक विशिष्ट कार्य करे: जब आप इसे एक निश्चित इनपुट दें (जैसे कि एक स्विच चालू करना), तो यह एक विशिष्ट आउटपुट उत्पन्न करे (जैसे कि एक बल्ब ठीक आधी चमक के साथ जले)।

पारंपरिक कंप्यूटर विज्ञान में, हम मशीनों को सिखाने के लिए "बैकप्रोपैगेशन" (backpropagation) नामक विधि का उपयोग करते हैं। इसे इस तरह समझें जैसे एक शिक्षक कक्षा के सामने खड़ा है, एक छात्र के गलत उत्तर को देख रहा है, और फिर पूरी कक्षा के माध्यम से वापस जाकर हर एक छात्र को ठीक-ठीक बताता है कि उनकी गलती में उनका कितना योगदान था। यह कंप्यूटरों के लिए कुशल है, लेकिन इसके लिए समन्वय करने के लिए एक केंद्रीय मस्तिष्क की आवश्यकता होती है।

फिजिकल लर्निंग (Physical Learning) एक अलग दृष्टिकोण है। एक केंद्रीय शिक्षक के बजाय, परिपथ स्वयं सीखता है भौतिकी के नियमों का उपयोग करके। "छात्र" (तार) केवल अपने निकटतम पड़ोसियों से बात करते हैं। वे स्थानीय जानकारी के आधार पर खुद को समायोजित करते हैं, और भौतिकी का नियम स्वयं वैश्विक समन्वय को संभाल लेता है।

यह शोध पत्र जांच करता है कि इस "स्व-शिक्षण" के तीन विशिष्ट तरीके कैसे हो सकते हैं। लेखक पूछते हैं: क्या यह तरीका वास्तव में काम करता है? क्या परिपथ अंततः सही उत्तर सीख जाता है, या यह कहीं फंस जाता है?

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. तीन "शिक्षक" (सीखने के तरीके)

शोध पत्र तीन तरीकों की तुलना करता है जिनका उपयोग परिपथ सीखने के लिए कर सकता है। कल्पना कीजिए कि परिपथ डार्टबोर्ड पर एक लक्ष्य को हिट करने की कोशिश कर रहा है।

इक्विलिब्रियम प्रोपेगेशन (Equilibrium Propagation - EP): यह डार्टबोर्ड को लक्ष्य की ओर थोड़ा धकेलने और यह देखने जैसा है कि पूरा बोर्ड कैसे शिफ्ट होता है। तार "मुक्त" अवस्था (जहाँ बोर्ड शिथिल है) और इस "धकेले गए" (nudged) अवस्था के बीच के अंतर के आधार पर खुद को समायोजित करते हैं। शोध पत्र पुष्टि करता है कि यह विधि गणितीय रूप से पूर्ण है: यह समाधान की ओर सबसे तीव्र ढलान वाले पथ का अनुसरण करती है, ठीक वैसे ही जैसे एक गेंद पहाड़ी से नीचे लुढ़कती है।
कपल्ड लर्निंग (Coupled Learning - CL): यह डार्टबोर्ड को लक्ष्य पर थामे रखने (clamping) और यह देखने जैसा है कि तार कैसे प्रतिक्रिया करते हैं। यह बनाने में भौतिक रूप से सरल है (आप बस बोर्ड को अपनी जगह पर थाम लेते हैं), लेकिन गणितीय रूप से, यह थोड़ा अव्यवज़ित है। यह पूर्ण ढलान वाले पथ का पालन नहीं करता है; इसमें थोड़ा "डगमगाहट" (cubic correction) है जो इसे थोड़ा कम कुशल बनाता है, हालांकि यह छोटे एरर (error) के लिए अभी भी अच्छा काम करता है।
एडजॉइंट कपल्ड लर्निंग (Adjoint Coupled Learning - AL): लेखकों ने यह नया तरीका बनाया है। यह एक हाइब्रिड है जो CL की भौतिक सरलता को बनाए रखता है लेकिन गणित को इस तरह ठीक करता है कि यह EP की तरह पूरी तरह से व्यवहार करता है। यह "दोनों दुनियाओं का सर्वश्रेष्ठ" है।

2. "कोएर्सिविटी" (Coercivity) की स्थिति: ट्रैफिक लाइट

सबसे महत्वपूर्ण खोज जिसे लेखक कोएर्सिविटी (Coercivity) कहते हैं, वह है।

कल्प_ना कीजिए कि आप एक गंतव्य की ओर कार चला रहे हैं। आप जानते हैं कि सड़क ढलान वाली है (लॉस फंक्शन कम हो रहा है), लेकिन आपको यह सुनिश्चित करने की आवश्यकता है कि लक्ष्य तक पहुँचने से पहले सड़क अचानक एक सपाट, अनंत पठार में न बदल जाए। यदि यह सपाट हो जाती है, तो आप पहुँचने से पहले ही रुक सकते हैं, भले ही आपने अभी तक लक्ष्य प्राप्त न किया हो।

कोएर्सिविटी इस बात की गारंटी है कि समाधान के पास हर जगह सड़क पर्याप्त तीव्र है।

यदि कोएर्सिविटी बनी रहती है: तो परिपथ गारंटी के साथ तेजी से (exponentially fast) समाधान की ओर बढ़ेगा। त्रुटि (error) तेजी से घटती है, और सिस्टम सीख जाता है।
यदि कोएर्सिविटी विफल हो जाती है: तो परिपथ एक "डेड ज़ोन" में फंस सकता है। इसे लग सकता है कि यह पूरा हो गया है, या यह इतनी धीमी गति से चल सकता है कि यह वास्तव में कभी सीख ही न पाए, भले ही कोई समाधान मौजूद हो।

3. "काइट" (Kite) सर्किट: जब चीजें गलत होती हैं

कोएर्सिविटी विफल हो सकती है, यह दिखाने के लिए, लेखकों ने एक विशिष्ट सर्किट बनाया है जो पतंग (kite) के आकार का है ("काइट सर्किट")।

एक सममित (symmetrical) पतंग की कल्पना करें। यदि तार एक विशिष्ट तरीके से पूरी तरह संतुलित हैं, तो "मुक्त" अवस्था (शिथिल) और "थमी हुई" (clamped) अवस्था एक-दूसरे के प्रभाव को पूरी तरह से रद्द करने वाली धाराएं (currents) पैदा करती हैं। यह एक कार को दोनों तरफ से समान बल के साथ धकेलने वाले दो लोगों जैसा है; कार हिलती नहीं है।
इस विशिष्ट "काइट" परिदृश्य में, सीखने का संकेत (learning signal) गायब हो जाता है। परिपथ को लगता है कि यह पूरा हो गया है, लेकिन इसने लक्ष्य प्राप्त नहीं किया है। यह एक डिजेनरेसी (degeneracy) है—एक विशेष मामला जहाँ समरूपता (symmetry) के कारण गणित विफल हो जाता है।

4. अच्छी खबर: यह बहुत दुर्लभ है

आप चिंतित हो सकते हैं, "ओह नहीं, मेरा सर्किट काइट-आकार के जाल में फंस सकता है!"

लेखक सार्ड्स थ्योरम (Sard's Theorem) नामक एक शक्तिशाली गणितीय उपकरण का उपयोग यह दिखाने के लिए करते हैं कि ऐसा होना अत्यंत असंभावित है।

"काइट" जाल को एक विशाल स्टेडियम में धूल के एक छोटे, अदृश्य कण के रूप में सोचें।

यदि आप अपने परिपथ के सीखने के लिए एक रैंडम लक्ष्य चुनते हैं, तो उस सटीक धूल के कण पर उतरने की संभावना शून्य है।
लगभग हर संभव लक्ष्य के लिए जो आप चुन सकते हैं, "कोएर्सिविटी" की स्थिति बनी रहती है। रास्ता तीव्र बना रहता है, और परिपथ सफलतापूर्वक सीखता है।

एकमात्र समय जब आप फंस सकते हैं जब आप अविश्वसनीय रूप से बदकिस्मत हों और एक ऐसा लक्ष्य चुनें जो काइट सर्किट की समरूपता से पूरी तरह मेल खाता हो। लेकिन चूंकि आप आमतौर पर लक्ष्य को थोड़ा बदल सकते हैं (जैसे डेटा पॉइंट पर लेबल बदलना), आप इन जालों से आसानी से बच सकते हैं।

सारांश

लक्ष्य: केवल स्थानीय नियमों का उपयोग करके भौतिक परिपथों को सिखाना।
तरीके: उन्होंने तीन तरीकों (EP, CL, और AL जिसे एक नया तरीका कहा गया है) का विश्लेषण किया। EP और AL गणितीय रूप से पूर्ण "ढलान वाले" धावक हैं; CL थोड़ा डगमगाता है लेकिन फिर भी काम करता है।
चुनौती: कभी-कभी, पूर्ण समरूपता के कारण, सीखने का संकेत गायब हो सकता है, और परिपथ फंस सकता है।
समाधान: यह "फंसने" वाला परिदृश्य अत्यंत दुर्लभ है। लगभग किसी भी वास्तविक लक्ष्य के लिए जो आप परिपथ को देते हैं, यह तेजी से और विश्वसनीय रूप से सीखेगा।

संक्षेप में: फिजिकल लर्निंग काम करती है, और हालांकि इसमें दुर्लभ गणितीय "गड्ढे" हैं, वे इतने छोटे और दुर्लभ हैं कि व्यावहारिक उद्देश्यों के लिए यह प्रणाली गारंटी के साथ सीख जाएगी।

तकनीकी सारांश: रैखिक सर्किट में भौतिक शिक्षण की कोएर्सिविटी (Coercivity) और स्थानीय अभिसरण (Local Convergence)

समस्या विवरण
भौतिक शिक्षण विधियाँ, जैसे कि इक्विलिब्रियम प्रोपेगेशन (EP) और कपल्ड लर्निंग (CL), केवल स्थानीय अपडेट नियमों का उपयोग करके भौतिक नेटवर्क (जैसे प्रतिरोधक नेटवर्क) को प्रशिक्षित करने के लिए एक प्रतिमान (paradment) प्रदान करती हैं। बैकप्रोपैगेशन के विपरीत, जिसमें वैश्विक त्रुटि संकेत प्रसार (global error signal propagation) की आवश्यकता होती है, भौतिक शिक्षण सिस्टम की अपनी संतुलन गतिशीलता (equilibrium dynamics) का उपयोग सूचना स्थानांतरित करने के लिए करता है। जबकि हालिया प्रयोगों ने एनालॉग उपकरणों में इन विधियों की व्यवहार्यता को प्रदर्शित किया है, उनके अभिसरण (convergence) के संबंध में कठोर सैद्धांतिक गारंटी दुर्लभ रही है। मौजूदा साहित्य इन विधियों के ग्रेडिएंट स्ट्रक्चर को 'स्मॉल-नज-लिमिट' (small-nudge limit) में स्थापित करता है, लेकिन अक्सर यह सिद्ध करने तक नहीं रुकता कि परिणामी गतिकी वास्तव में सिस्टम को प्रशिक्षित अवस्था की ओर ले जाती है, विशेष रूप से उन नेटवर्कों में जहाँ हिडन नोड्स (hidden nodes) होने के कारण कॉनवेक्सिटी (convexity) सुनिश्चित नहीं होती है। यह शोध पत्र इस प्रश्न को संबोधित करता है कि किन परिस्थितियों में एक भौतिक प्रणाली के सीखने की गारंटी होती है और वे कौन सी संरचनात्मक विशेषताएं हैं जो अभिसरण को रोक सकती हैं।

कार्यप्रणाली (Methodology)
लेखक तीन भौतिक शिक्षण विधियों—इक्विलिब्रियम प्रोपेगेशन (EP), कपल्ड लर्निंग (CL), और एक नव-परिचित विधि, एडजॉइंट कपल्ड लर्निंग (AL)—के लिए एक स्थानीय अभिसरण विश्लेषण प्रदान करते हैं, जिन्हें रैखिक सर्किट पर लागू किया गया है। यह विश्लेषण दो श्रेणियों में किया गया है:

निरंतर समय (Continuous Time): छोटे लर्निंग रेट ( $\tau \to 0$ ) और छोटे नजिंग पैरामीटर्स ( $\eta \to 0$ ) की सीमा में।
असतत समय (Discrete Time): परिमित (finite) लर्निंग रेट और नजिंग पैरामीटर्स।

गणितीय ढांचा भौतिक नेटवर्क को एक ऊर्जा न्यूनीकरण समस्या (energy minimization problem) के रूप में मॉडल करता है जहाँ ऊर्जा फलन $G(x; k)$ (रैखिक सर्किट के लिए नष्ट हुई शक्ति) को इनपुट बाधाओं के अधीन न्यूनतम किया जाता है। सीखने की प्रक्रिया में एक "मुक्त अवस्था" (free state - प्राकृतिक गतिशीलता के तहत शिथिल) और एक "नज्ड अवस्था" (nudged state - लक्ष्य की ओर विक्षेपित) के बीच तुलना शामिल है। पैरामीटर अपडेट को इन दोनों अवस्थाओं के बीच स्थानीय मात्राओं (जैसे वोल्टेज ड्रॉप) के अंतर से प्राप्त किया जाता है।

इस कार्यप्रणाली का मुख्य भाग शामिल है:

स्मॉल-नज-लिमिट में EP, CL, और AL के लिए सटीक लॉस डायनेमिक्स (loss dynamics) को व्युत्पन्न करना।
एक कोएर्सिविटी कंडीशन (coercivity condition) को स्थापित करना, जिसे नेटवर्क की इन्सिडेन्स संरचना (incidence structure) और बाधित लैपलेसियन (constrained Laplacian) से निर्मित एक मैट्रिक्स पर रैंक स्थिति के रूप में व्यक्त किया गया है।
एक बूटस्ट्रैप तर्क (bootstrap argument) का उपयोग करना जो स्थानीय अनुमानों के लिए 'इम्प्लिसिट फंक्शन थ्योरम' (Implicit Function Theorem) और घातांकीय लॉस क्षय (exponential loss decay) के लिए कोएर्सिविटी अनुमानों को जोड़ता है, ताकि यह सिद्ध किया जा सके कि सिस्टम उस क्षेत्र के भीतर रहता है जहाँ ये अनुमान लागू होते हैं।
सॉल्यूशन मैनिफोल्ड (solution manifold) पर कोएर्सिविटी कंडीशन की जेनेरिसिटी (genericity) का विश्लेषण करने के लिए सार्ड्स थ्योरम (Sard's theorem) को लागू करना।

मुख्य योगदान

एडजॉइंट कपल्ड लर्निंग (AL) का परिचय: लेखक AL प्रस्तावित करते हैं, जो आउटपुट को लक्ष्य के अनुरूप सीमित करता है और परिणामी बाधा बल (constraint force/adjoint error) का उपयोग करके नज (nudge) करता है। वे प्रदर्शित करते हैं कि AL, CL की भौतिक सरलता को बनाए रखते हुए, EP के सटीक ग्रेडिएंट फ्लो स्ट्रक्चर को पुनः प्राप्त करता है।
ग्रेडिएंट फ्लो लक्षण वर्णन:
- EP प्राकृतिक स्क्वेर्ड एरर लॉस $\Phi = \frac{1}{2}\|r\|^2$ पर ग्रेडिएंट डिसेंट करता है।
- AL एक एडजॉइंट लॉस $\Phi^* = \frac{1}{2}\|\mu_0\|^2$ पर ग्रेडिएंट डिसेंट करता है।
- CL शुद्ध ग्रेडिएंट फ्लो का पालन नहीं करता है। इसकी गतिकी में एक अतिरिक्त क्यूबिक करेक्शन टर्म शामिल है जो वेटिंग मैट्रिक्स $D$ की पैरामीटर-निर्भरता से उत्पन्न होता है। लेखक दिखाते हैं कि CL के लिए, एरर और नज (error and nudge) एक ही प्रकार के होने चाहिए (वोल्टेज-वोल्टेज), जबकि EP और AL ग्रेडिएंट फ्लो प्राप्त करने के लिए वोल्टेज-करंट द्वैतता (duality) को पार करते हैं।
कोएर्सिविटी विश्लेषण: शोध पत्र एक आवश्यक और पर्याप्त स्थिति की पहचान करता है जिसके लिए स्थानीय घातांकीय अभिसरण (local exponential convergence) संभव है: कोएर्सिविटी कंडीशन। यह शर्त मांग करती है कि "एक्टिव-इन्सिडेन्स मैट्रिक्स" (उन किनारों से बना जिनमें फ्री स्टेट में गैर-शून्य वोल्टेज ड्रॉप है) बाधित लैपलेसियन के व्युत्क्रम के माध्यम से प्रोजेक्ट होने पर पूर्ण कॉलम रैंक (full column rank) रखता हो।
- यदि कोएर्सिविटी बनी रहती है, तो लॉस तेजी से घटता है, और पैरामीटर सॉल्यूशन मैनिफोल्ड की ओर अभिसरित होते हैं।
- यदि कोएर्सिविटी विफल होती है, तो लॉस डायनेमिक्स में विसरित (dissipative) पद लुप्त हो जाता है, जिससे धीमा अभिसरण या ठहराव (stagnation) हो सकता है।
प्रति-उदाहरण (Counterexample) और जेनेरिसिटी:
- लेखक एक "काइट" (kite) सर्किट प्रति-उदाहरण का निर्माण करते हैं जहाँ एक विशिष्ट समरूपता (कंडक्टेंस पर अनुपात की शर्तें) के कारण फ्री और क्लैंप्ड वोल्टेज ड्रॉप का सपोर्ट (support) अलग-अलग हो जाता है, जिससे एक डिजेनरेट कोएर्सिविटी कांस्टेंट उत्पन्न होता है। यह दर्शाता है कि कोएर्सिविटी विफल हो सकती है, जिससे स्प्यूरियस फिक्स्ड पॉइंट्स (spurious fixed points) या धीमे अभिसरण वाले क्षेत्र बन सकते हैं।
- हालाँकि, सार्ड्स थ्योरम का उपयोग करते हुए, वे सिद्ध करते हैं कि ऐसी डिजेनेसी (degeneracy) गैर-जेनेरिक (non-generic) है। लगभग हर वांछित आउटपुट $w$ के लिए, सॉल्यूशन मैनिफोल्ड पूरी तरह से उन बिंदुओं से बना होता है जहाँ कोएर्सिविटी कंडीशन संतुष्ट होती है।

परिणाम

स्थानीय अभिसरण प्रमेय: शोध पत्र सिद्ध करता है कि यदि सिस्टम किसी समाधान के पर्याप्त निकट शुरू होता है और कोएर्सिविटी कंडीशन संतुष्ट होती है, तो ट्रेनिंग लॉस घातांकीय रूप से घटता है, और पैरामीटर सॉल्यूशन मैनिफोल्ड की ओर अभिसरित होते हैं (थ्योरम 12, 13, और 14)।
असतत अभिसरण: असतत अपडेट के लिए, लेखक दिखाते हैं कि यदि लर्निंग रेट और प्रारंभिक लॉस पर्याप्त रूप से छोटा है, तो लॉस ज्यामितीय रूप से (लीनियर कन्वर्जेंस रेट) घटता है। CL के लिए, प्रारंभिक लॉस की लघुता (smallness) की शर्त को केवल $\eta$ को छोटा करके कम नहीं किया जा सकता है, क्योंकि इसमें अंतर्निहित गैर-ग्रेडिएंट क्यूबिक टर्म मौजूद है।
संख्यात्मक सत्यापन: "काइट" सर्किट पर संख्यात्मक प्रयोग कोएर्सिविटी लैंडस्केप को स्पष्ट करते हैं। वे पुष्टि करते हैं कि जबकि कोएर्सिविटी कांस्टेंट विशिष्ट सममित बिंदुओं (codimension-2) पर शून्य हो जाता है, लक्ष्य आउटपुट $w$ को बदलने से सॉल्यूशन मैनिफोल्ड इन डिजेनरेट बिंदुओं से दूर चला जाता है, जिससे घातांकीय अभिसरण दर पुनः स्थापित हो जाती है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह हिडन नोड्स वाले रैखिक सर्किट में EP, CL और AL के लिए पहला स्थानीय अभिसरण विश्लेषण प्रदान करता है। इसका महत्व निम्नलिखित है:

केवल ग्रेडिएंट स्ट्रक्चर की पहचान करने से आगे बढ़कर यह सिद्ध करना कि ये गतिकी वास्तव में सिस्टम को प्रशिक्षित अवस्था की ओर ले जाती हैं।
सीखने की सफलता के लिए संरचनात्मक आवश्यकताओं (कोएर्सिविटी) को स्पष्ट करना और यह पहचानना कि हालांकि समरूपता के कारण विफलताएं संभव हैं, लेकिन वे (रैंडम टारगेट आउटपुट के लिए) दुर्लभ (non-generic) हैं।
भौतिक शिक्षण गतिकी के लिए एक भौतिक व्याख्या प्रदान करना, यह दिखाना कि एरर और नज की "द्वैत" प्रकृति (वोल्टेज बनाम करंट) ग्रेडिएंट फ्लो को पुनः प्राप्त करने की कुंजी है।
भौतिक शिक्षण विधियों की स्थिरता के लिए एक सैद्धांतिक आधार प्रदान करना, जो यह सुझाव देता है कि जेनेरिक कार्यों के लिए, भौतिक प्रणालियाँ स्थानीय रूप से सीखने की गारंटी देती हैं, बशर्ते कि नेटवर्क संरचना में विशिष्ट डिजेनेसी न हो।

लेखक विनम्रता बरतते हुए नोट करते हैं कि उनके परिणाम स्थानीय (local) हैं (जिसके लिए सिस्टम का समाधान के निकट से शुरू होना आवश्यक है) और वैश्विक अभिसरण (global convergence) की गारंटी नहीं है यदि प्रारंभिक स्थिति सॉल्यूशन मैनिफोल्ड से बाहर स्प्यूरियस फिक्स्ड पॉइंट्स के पास हो। वे यह दावा नहीं करते कि उन्होंने सभी भौतिक शिक्षण परिदृश्यों के लिए वैश्विक अभिसरण की समस्या को हल कर दिया है, बल्कि वे उन स्थितियों को स्थापित करते हैं जिनके तहत स्थानीय घातांकीय अभिसरण गणितीय रूप से सुनिश्चित है।

1. तीन "शिक्षक" (सीखने के तरीके)

2. "कोएर्सिविटी" (Coercivity) की स्थिति: ट्रैफिक लाइट

3. "काइट" (Kite) सर्किट: जब चीजें गलत होती हैं

4. अच्छी खबर: यह बहुत दुर्लभ है

सारांश

इसी तरह के और पेपर