Boundary-damped wave dynamics enables local equilibrium propagation with finite-time gradient guarantees

कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर छोटे इलेक्ट्रॉनिक स्विचों को चालू या बंद करके गणना नहीं करते, बल्कि एक सामग्री के माध्यम से लहरों को बहने देते हैं, जैसे कि किसी कमरे में ध्वनि का यात्रा करना या तालाब में पानी की गति। यह भौतिक तंत्रिका नेटवर्क (physical neural networks) का वादा है, एक ऐसा क्षेत्र जहाँ भौतिकी के नियम—ऊर्जा कैसे चलती है और बदलती है—स्वयं सीखने की प्रक्रिया का हिस्सा बन जाते हैं। किसी मशीन के सीखने के लिए, उसे अपनी गलतियों के आधार पर अपनी आंतरिक सेटिंग्स को समायोजित करना होता है, एक ऐसी प्रक्रिया जिसमें आमतौर पर सिस्टम के माध्यम से पीछे की ओर एक संकेत भेजना पड़ता है ताकि हर हिस्से को बताया जा सके कि उसे कैसे बदलना है। इन भौतिक प्रणालियों में, शोधकर्ताओं ने लंबे समय से इसका एक तरीका खोजने की कोशिश की है जिससे हर एक कनेक्शन के लिए जटिल, ऊर्जा-खपत वाले सर्किट बनाए बिना यह किया जा सके। वे एक ऐसा तरीका चाहते थे जहाँ सिस्टम स्वाभाविक रूप से विश्राम की स्थिति, या संतुलन (equilibrium), में आ सके, और जहाँ एक "मुक्त" अवस्था और एक "लक्षित" अवस्था के बीच का अंतर यह बता सके कि सुधार कैसे किया जाए। चुनौती यह रही है कि एक आदर्श, घर्षण रहित वातावरण में लहरें कभी रुकती नहीं हैं; वे बस हमेशा इधर-उधर टकराती रहती हैं। उन्हें रुकने और स्थिर होने के लिए, आपको उनकी ऊर्जा को निकालना पड़ता है; लेकिन ऐसा हर जगह एक साथ करना बनाने में कठिन है, और ऐसा केवल किनारों पर करना ऐतिहासिक रूप से सीखने के लिए आवश्यक सूक्ष्म गणित को तोड़ देता हुआ प्रतीत होता था।

ज़ाग्रेब विश्वविद्यालय और क्रोएशिया के VERN यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने अब यह प्रदर्शित किया है कि इस काम को सावधानीपूर्वक यह नियंत्रित करके किया जा सकता है कि ऊर्जा सिस्टम से कहाँ बाहर निकलती है। उन्होंने 'बाउंड्री-डैम्प्ड वेव इक्विलिब्रियम प्रोपेगेशन' (boundary-damped wave equilibrium propagation) नामक एक विधि विकसित की। पूरे पदार्थ के माध्यम से लहर के यात्रा करने के दौरान उसे धीमा करने की कोशिश करने के बजाय, उन्होंने सिस्टम के आंतरिक भाग को पूरी तरह से संरक्षित (conservative) रखा, जिससे लहरें बिना ऊर्जा खोए स्वतंत्र रूप से यात्रा कर सकें। इसके बाद उन्होंने केवल सिस्टम के बिल्कुल किनारे, या सीमा (boundary) पर एक विशिष्ट "डैम्पिंग" (damping) तंत्र लगाया। यह सीमा एक स्पंज की तरह कार्य करती है जो ऊर्जा को केवल तभी सोख लेती है जब लहर अंत तक पहुँचती है, जिससे सिस्टम अंततः स्थिर हो जाता है। शोधकर्ताओं ने पाया कि यह सेटअप सिस्टम को उपयोगी होने के लिए पर्याप्त तेज़ी से एक स्थिर अवस्था तक पहुँचने की अनुमति देता है, जबकि यह उस सटीक गणितीय संबंध को भी सुरक्षित रखता है जो यह गणना करने के लिए आवश्यक है कि मशीन को कैसे सीखना चाहिए। उन्होंने सिद्ध किया कि इस एकल सीमा से निकलने वाली ऊर्जा को मापकर, वे पूरे सिस्टम के लिए सही समायोजन निर्धारित कर सकते थे, भले ही ऊर्जा का नुकसान केवल किनारे पर हुआ हो।

इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने डिजिटल सिमुलेशन की एक श्रृंखला बनाई जो उनके भौतिक प्रयोगशाला के रूप में कार्य करती थी। उन्होंने जुड़े हुए नोड्स की आभासी श्रृंखलाएं बनाईं, जो छोटे समूहों से लेकर बड़े नेटवर्क तक फैली हुई थीं, और उनमें लहरों के संचलन का अनुकरण किया। इन सिमुलेशन में, उन्होंने सिस्टम में एक छोटा सा "धक्का" (nudge) दिया, जिससे वह वांछित उत्तर की ओर थोड़ा झुक गया, और फिर देखा कि वह कैसे स्थिर होता है। उन्होंने अपने बाउंड्री-डैम्प्ड तरीके की तुलना तीन अन्य मानक तरीकों से की: एक जहाँ ऊर्जा हर जगह समान रूप से निकाली जाती थी, एक जिसने 'स्टैंडर्ड इक्विलिब्रियम प्रोपेगेशन' नामक एक अलग गणितीय दृष्टिकोण का उपयोग किया, और एक जिसे 'इम्प्लिसिट डिफरेंशिएशन' (implicit differentiation) के रूप में जाना जाता है। चार सौ अलग-अलग रन, जिनमें डेटा के विभिन्न आकार और नेटवर्क के आकार शामिल थे, के माध्यम से, बाउंड्री-डैम्प्ड पद्धति ने अन्य विधियों के समान परिणाम दिए। इसने समस्याओं को हल करने (जैसे विभिन्न आकृतियों या पैटर्न के बीच अंतर करना) में समान स्तर की सटीकता प्राप्त की, जिसमें सर्वश्रेष्ठ विकल्पों की तुलना में प्रदर्शन का अंतर दो प्रतिशत से भी कम था। वास्तव में, मानक पद्धति के साथ सीधे तुलना करने पर, अंतर प्रभावी रूप से शून्य था, जिससे पुष्टि हुई कि नए दृष्टिकोण ने सरल डिज़ाइन के लिए सीखने की क्षमता का त्याग नहीं किया।

शोधकर्ताओं ने यह सुनिश्चित करने के लिए कि सिस्टम वास्तव में स्थिर है, समय के साथ इसके व्यवहार का बारीकी से अध्ययन भी किया। उन्होंने एक गणितीय नियम निकाला जो सिस्टम से बाहर निकलने वाली ऊर्जा को ट्रैक करता है, जिससे पुष्टि हुई कि कुल ऊर्जा हमेशा अपेक्षित रूप से घटती है, कभी बढ़ती नहीं या अटकती नहीं है। उन्होंने पाया कि सिस्टम के काम करने के लिए, नेटवर्क के भीतर प्रत्येक संभावित कंपन मोड (vibration mode) को सीमा तक पहुँचने में सक्षम होना चाहिए; यदि कोई मोड किनारे के लिए "अदृश्य" है, तो वह कभी स्थिर नहीं होगा। उनके परीक्षणों ने दिखाया कि उनके द्वारा बनाए गए नेटवर्क में, प्रत्येक मोड दृश्यमान था, और सिस्टम लगातार एक स्थिर अवस्था तक पहुँच गया। उन्होंने यह भी मापा कि सिस्टम कितनी जल्दी स्थिर हो सकता है और पाया कि इसमें एक अनुमानित ट्रेड-ऑफ (trade-off) है: यदि वे सिस्टम को लक्ष्य तक पहुँचने के लिए ज़ोर से धकेलते हैं, तो यह तेज़ी से स्थिर होता है लेकिन लर्निंग सिग्नल में एक छोटी त्रुटि आती है; यदि वे इसे धीरे से धकेलते हैं, तो इसमें अधिक समय लगता है लेकिन यह अधिक सटीक होता है। उन्होंने इस "धक्के" के लिए एक विशिष्ट "स्वीट स्पॉट" (sweet spot) की खोज की जो कुल त्रुटि को न्यूनतम करता है, और यह संबंध उनके सभी परीक्षणों में सत्य पाया गया।

साधारण श्रृंखलाओं से परे, टीम ने वर्गाकार ग्रिड और विरल (sparse), अनियमित नेटवर्क सहित अधिक जटिल आकृतियों पर अपने तरीके का परीक्षण किया, जो एक सीधी रेखा की तरह नहीं दिखते। हर मामले में, बाउंड्री-डैम्प्ड दृष्टिकोण ने सही लर्निंग सिग्नल सफलतापूर्वक उत्पन्न किए। उन्होंने यह भी जांचा कि उनका सिस्टम वास्तविक दुनिया की खामियों, जैसे कि सिस्टम की स्थिति को पढ़ने वाले सेंसरों में शोर (noise), को कैसे संभालता है। उन्होंने पाया कि यह विधि उन त्रुटियों के प्रति उल्लेखनीय रूप से मजबूत है जो एक ही तरह से "पहले" और "बाद" की स्थितियों को प्रभावित करती हैं, जैसे कि सेंसर के बेसलाइन रीडिंग में मामूली बदलाव। हालाँकि, यह उस यादृच्छिक (random), स्वतंत्र शोर के प्रति संवेदनशील है जो प्रत्येक माप को अलग-अलग तरह से प्रभावित करता है। यह सुझाव देता है कि जबकि यह विधि उस भौतिक हार्डवेयर के लिए उपयुक्त है जहाँ सामान्य त्रुटियां सह-संबंधित (correlated) होती हैं, इसे यादृच्छिक विद्युत शोर को संभालने के लिए सावधानीपूर्वक इंजीनियरिंग की आवश्यकता होगी।

अंतिम परीक्षण में हस्तलिखित अंकों और कपड़ों की छवियों को पहचानने के लिए एक सिस्टम को प्रशिक्षित करने हेतु इस विधि का उपयोग किया गया, जिसे इमेज क्लासिफिकेशन (image classification) कहा जाता है। शोधकर्ताओं ने एक मॉडल को प्रशिक्षित करने के लिए पूर्ण भौतिक तरंग गतिशीलता (wave dynamics) का उपयोग किया, जिससे इसे सीखने के लिए आवश्यक प्रत्येक अवस्था उत्पन्न करने के लिए शॉर्टकट के बजाय भौतिकी का उपयोग करने दिया। परिणामी मॉडल ने हस्तलिखित अंकों पर लगभग 85 प्रतिशत और कपड़ों की छवियों पर 77 प्रतिशत की सटीकता प्राप्त की। हालाँकि ये संख्याएँ आधुनिक डिजिटल कंप्यूटरों द्वारा प्राप्त की जाने वाली सटीकता से कम हैं, शोधकर्ताओं ने नोट किया कि उनका मॉडल जानबूझकर छोटा और सरल रखा गया था ताकि अवधारणा को सिद्ध किया जा सके। मुख्य निष्कर्ष यह नहीं था कि मॉडल छवियों को पहचानने में सर्वश्रेष्ठ था, बल्कि यह था कि इसने भौतिक तरंग गतिशीलता का उपयोग करके सीखा। ग्रेडिएंट, या वह निर्देश संकेत जो सिस्टम को बताता है कि कैसे बदलना है, सैद्धांतिक आदर्श की तुलना में एक अंश के भीतर सटीक बना रहा।

यह कार्य यह प्रदर्शित करता है कि एक भौतिक शिक्षण प्रणाली में सूचना के परिवहन को ऊर्जा के क्षय (dissipation) से अलग करना संभव है। सिस्टम के आंतरिक भाग को संरक्षित रखकर और ऊर्जा हानि को एक एकल, सुलभ सीमा तक सीमित करके, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो भौतिक रूप से व्यवहार्य और गणितीय रूप से सुदृढ़ है। परिणाम बताते हैं कि भविष्य के भौतिक कंप्यूटरों को कम डैम्पिंग घटकों के साथ बनाया जा सकता है, जिससे जटिल कार्यों को सीखने की क्षमता बनाए रखते हुए हार्डवेयर की जटिलता और लागत को कम किया जा सकता है। अध्ययन पुष्टि करता है कि सिस्टम से बाहर जाने वाला ऊर्जा प्रवाह सीखने के लिए एक विश्वसनीय मार्गदर्शक के रूप में कार्य कर सकता है, बशर्ते सिस्टम को इस तरह से डिज़ाइन किया गया हो कि कोई भी आंतरिक कंपन उस सीमा से छिपा न रहे। हालाँकि वर्तमान सिमुलेशन एक प्रूफ-ऑफ-कॉन्सेप्ट (concept proof) हैं, स्थापित सिद्धांत उन भौतिक मशीनों के निर्माण की ओर एक स्पष्ट मार्ग प्रदान करते हैं जो केवल लहरों के स्थिर होने से सीख सकती हैं।