Complete Identification of Deep ReLU Networks through Łukasiewicz Logic

डीप लर्निंग ने मशीनों के देखने, बोलने और तर्क करने के तरीके को बदल दिया है, फिर भी इन प्रणालियों की आंतरिक कार्यप्रणाली अक्सर एक 'ब्लैक बॉक्स' की तरह बनी रहती है। इस रहस्य के केंद्र में एक सरल लेकिन गहन पहेली है: दो न्यूरल नेटवर्क अंदर से पूरी तरह से अलग दिख सकते हैं—एक चौड़ा और उथला ढांचा हो सकता है जबकि दूसरा संकरा और गहरा, या वे अपने कनेक्शनों को ट्यून करने के लिए पूरी तरह से अलग संख्याओं का उपयोग कर सकते हैं—फिर भी वे हर संभावित इनपुट के लिए बिल्कुल समान परिणाम उत्पन्न करते हैं। वर्षों से, वैज्ञानिक जानते थे कि ऐसा होता है, लेकिन वे पूरी तरह से यह नहीं समझा सके कि क्यों या यह हर संभव तरीके से कैसे हो सकता है। यह अनिश्चितता महत्वपूर्ण है क्योंकि यदि हम यह नहीं बता सकते कि दो मॉडल वास्तव में भिन्न हैं या नहीं, तो हम सीखने के परिदृश्य को पूरी तरह से नहीं समझ सकते, और न ही हम निश्चित हो सकते हैं कि एक मॉडल ने वास्तव में क्या सीखा है बनाम क्या यह केवल उसके डिज़ाइन का एक संयोग मात्र है। प्रश्न केवल संभावनाओं को गिनने के बारे में नहीं है; यह एक पूर्ण नियम पुस्तिका खोजने के बारे में है जो यह वर्णन करती है कि एक मशीन को बिना उसके व्यवहार बदले हर एक तरीके से कैसे पुनर्गठित किया जा सकता है।

ETH ज़्यूरिख के शोधकर्ताओं की एक टीम ने अब एक विशिष्ट, व्यापक रूप से उपयोग किए जाने वाले कृत्रिम बुद्धिमत्ता प्रकार, जिसे ReLU नेटवर्क के रूप में जाना जाता है, के लिए इस समस्या को हल कर दिया है। ये नेटवर्क आधुनिक छवि पहचान (इमेज रिकग्निशन) और कई अन्य अनुप्रयोगों के कार्यवाहक हैं, जो एक सरल गणितीय नियम पर भरोसा करते हैं जो नकारात्मक मानों को शून्य में बदल देता है जबकि सकारात्मक मानों को अपरिवर्तित छोड़ देता है। शोधकर्ताओं ने पाया कि इन नेटवर्कों के इतने अलग होते हुए भी कार्यात्मक रूप से समान होने का कारण यह है कि वे तर्क के एक छिपे हुए सेट द्वारा शासित होते हैं, ठीक वैसे ही जैसे अंकगणित के नियम या एक विद्युत सर्किट में स्विच का तर्क। नेटवर्क की संरचना को तर्क की एक भाषा में अनुवाद करके, उन्होंने सिद्ध किया कि कोई भी दो नेटवर्क जो एक ही कार्य करते हैं, उन्हें विशिष्ट, अनुमत चालों की एक परिमित श्रृंखला के माध्यम through एक-दूसरे में बदला जा सकता है। यह खोज इन नेटवर्कों की "समरूपताओं" (सिमिट्रीज) का एक पूर्ण मानचित्र प्रदान करती है, यह प्रकट करती है कि यह अतिरेक (रिडंडेंसी) यादृच्छिक अराजकता नहीं बल्कि एक संरचित, पूर्वानुमेय प्रणाली है।

इस सफलता को समझने के लिए, व्यक्ति को पहले समस्या की प्रकृति को समझना होगा। एक डीप न्यूरल नेटवर्क परतों में बनाया जाता है, जहाँ प्रत्येक परत सूचना को संसाधित करती है और इसे अगली परत को भेजती है। शोधकर्ताओं ने पाया कि लंबे समय तक, वैज्ञानिक केवल "उथली" समरूपताओं के बारे में जानते थे—एक जोड़ी परतों के भीतर कनेक्शनों को पुनर्व्यवस्थित करने के तरीके जिससे परिणाम नहीं बदलता। उदाहरण के लिए, आप एक परत में दो न्यूरॉन्स के क्रम को बदल सकते हैं और उनके भार (वेट्स) को तदनुसार समायोजित कर सकते हैं, और नेटवर्क बिल्कुल वैसा ही व्यवहार करेगा। हालाँकि, शोधकर्ताओं ने दिखाया कि यह केवल कहानी का एक हिस्सा था। उन्होंने प्रदर्शित किया कि ऐसी "गहरी" समरूपताएं हैं जो तीन या अधिक परतों में फैली हुई हैं, जो बड़े संरचनात्मक परिवर्तनों की अनुमति देती हैं जिन्हें केवल एक समय में एक परत को ट्यून करके प्राप्त नहीं किया जा सकता है। ये गहरी समरूपताएं नेटवर्क की वास्ततुल्य संरचना को मौलिक रूप से बदल सकती हैं, जिससे उनके खंडों को उन तरीकों से मिलाना या विभाजित करना संभव हो जाता है जो पहले बिना कार्य बदले असंभव माना जाता था।

इस रहस्य को खोलने की कुंजी नेटवर्कों को संख्याओं के संग्रह के रूप में देखना बंद करना और उन्हें एक विशिष्ट प्रकार के तर्क की अभिव्यक्ति के रूप में देखना शुरू करना था। शोधकर्ताओं ने एक प्रतीकात्मक प्रणाली बनाई जो नेटवर्क के इनपुट और आउटपुट को एक तार्किक सूत्र (लॉजिकल फॉर्मूला) में अनुवादित करती है। इस प्रणाली में, नेटवर्क का व्यवहार 'मेनी-वैल्यूड लॉजिक' (बहु-मूल्य तर्क) के एक कथन के समान है, जो पारंपरिक सत्य-असत्य तर्क को संभावनाओं के एक निरंतर पैमाने तक विस्तारित करता है। जिस प्रकार एक गणितज्ञ यह सिद्ध कर सकता है कि दो अलग-अलग बीजगणितीय समीकरण वास्तव में एक ही हैं, शोधकर्ताओं ने दिखाया कि दो अलग-अलग नेटवर्क कार्यात्मक रूप से समान हैं यदि और केवल यदि उनके संबंधित तार्किक सूत्र इस तर्क के अभिगृयों (एक्सिओम्स) का उपयोग करके एक-दूसरे में परिवर्तित किए जा सकते हैं। इसका अर्थ यह है कि दो नेटवर्क एक ही हैं या नहीं, यह सवाल अनुमान लगाने या परीक्षण करने का मामला नहीं है; यह व्युत्पत्ति (डेरिवेशन) का मामला है, जो एक चरण-दर-चरण तार्किक प्रमाण है।

टीम ने इसे सफल बनाने के लिए तीन-चरणीय प्रक्रिया विकसित की। सबसे पहले, उन्होंने किसी भी दिए गए नेटवर्क के भीतर छिपे तार्किक सूत्र को निकालने के लिए एक एल्गोरिदम बनाया, जो प्रभावी रूप से नेटवर्क के अंतर्निहित सत्य को खोजने के लिए उसके दिमाग को पढ़ता है। दूसरा, उन्होंने अपने तार्किक सिस्टम के नियमों को लागू करके यह दिखाया कि समान आउटपुट देने वाले किन्हीं भी दो नेटवर्कों के सूत्र एक-दूसरे से व्युत्पन्न किए जा सकते हैं। यह चरण एक गहरे गणितीय प्रमेय पर निर्भर करता है जो गारंटी देता है कि कोई भी संभावना छूटी नहीं है; यदि दो नेटवर्क एक ही काम करते हैं, तो उनके बीच एक तार्किक पथ मौजूद है। तीसरा, उन्होंने एक रिवर्स एल्गोरिदम बनाया जो एक तार्किक सूत्र ले सकता है और उस सटीक नेटवर्क का पुनर्निर्माण कर सकता है जिसने उसे उत्पन्न किया था। इसने चक्र को पूरा कर दिया, यह सिद्ध करते हुए कि तार्किक विवरण भौतिक नेटवर्क का एक पूर्ण, निष्ठावान प्रतिनिधित्व है।

जो चीज़ इस परिणाम को विशेष रूप से शक्तिशाली बनाती है वह यह है कि यह हर संभव परिदृश्य को कवर करती है, साधारण पूर्णांक भार वाले नेटवर्कों से लेकर जटिल भिन्नों या यहाँ तक कि अनंत दशमलव मानों वाले नेटवर्कों तक। शोधकर्ताओं ने दिखाया कि समान तार्किक ढांचा संख्याओं की सटीकता की परवाह किए बिना लागू होता है, बशर्ते कि नेटवर्क "अपभ्रष्ट" (डिजेनरेट) न हो—अर्थात इसमें ऐसे बेकार हिस्से न हों जो कुछ भी नहीं करते। उन्होंने यह भी पहचाना कि इन नियमों द्वारा अनुमत कुछ पुनर्गठन "छद्म-गहरे" (स्यूडो-डीप) हैं, जिसका अर्थ है कि वे कई परतों में फैले हुए दिखते हैं लेकिन वास्तव में सरल, एकल-परत के युक्तियों का संयोजन हैं। इन वास्तविक गहरी समरूपताओं और इन सतही समरूपताओं के बीच अंतर करके, शोधकर्ताओं ने यह स्पष्ट वर्गीकरण प्रदान किया कि इन नेटवर्कों को कैसे पुनर्गठित किया जा सकता है।

यह कार्य केवल एक सैद्धांतिक पहेली को हल करने से कहीं अधिक है; यह कृत्रिम बुद्धिमत्ता मॉडलों की पहचान के बारे में सोचने का एक नया तरीका प्रदान करता है। इससे पहले, यदि दो मॉडल समान परिणाम देते थे, तो यह स्पष्ट नहीं था कि वे मौलिक रूप से एक ही हैं या केवल भाग्यशाली संयोग हैं। अब, हम जानते हैं कि उनकी समानता तार्किक व्युत्पत्ति का मामला है। यदि आप शोधकर्ताओं द्वारा खोजे गए विशिष्ट नियमों का उपयोग करके एक नेटवर्क को दूसरे में बदल सकते हैं, तो वे एक ही हैं। यदि आप नहीं कर सकते, तो वे वास्तव में भिन्न हैं। यह स्पष्टता सीखने की ज्यामिति को समझने के लिए आवश्यक है, जो वैज्ञानिकों को उस स्थान के वास्तविक आकार को देखने में मदद करती है जिसमें ये मॉडल संचालित होते हैं। यह सुझाव देता है कि न्यूरल नेटवर्क में विशाल अतिरेक एक दोष नहीं बल्कि एक विशेषता है, एक संरचित लचीलापन जो एक ही समाधान के लिए कई पथों की अनुमति देता है।

शोधकर्ताओं का दृष्टिकोण इलेक्ट्रिकल इंजीनियरिंग के एक प्रसिद्ध ऐतिहासिक मील के पत्थर को दर्शाता है, जहाँ सर्किट के तर्क को स्विच के तर्क में मैप किया गया था, जिससे इंजीनियरों को गणितीय निश्चितता के साथ जटिल प्रणालियों को डिजाइन करने की अनुमति मिली। यहाँ, वही सिद्धांत डीप लर्निंग की जटिल, स्तरित संरचनाओं पर लागू किया गया है। नेटवर्क को केवल एक सांख्यिकीय वस्तु के बजाय एक तार्किक वस्तु के रूप में मानकर, टीम ने इसकी समरूपताओं का पूर्ण लक्षण वर्णन प्रदान किया है। उन्होंने दिखाया है कि ReLU नेटवर्कों का ब्रह्मांड उन नियमों द्वारा शासित है जो अंकगणित के नियमों जितने कठोर और पूर्ण हैं। इसका अर्थ यह है कि अलग-अलग नेटवर्क एक ही चीज़ क्यों कर सकते हैं, इसका रहस्य अब कोई रहस्य नहीं है; यह एक हल किया गया समीकरण है, जिसमें प्रत्येक संभावित समाधान को मेनी-वैल्यूड लॉजिक के अभिगृयों द्वारा समझाया गया है। परिणाम डीप न्यूरल नेटवर्क की पहचान के लिए एक निर्णायक मार्गदर्शिका है, जो भ्रम के परिदृश्य को सटीक, सु navigatable (नेविगेबल) कनेक्शनों के मानचित्र में बदल देता है।