Informative Fisher Modes in Neural Networks as a Result of Explicit Symmetry Breaking

आधुनिक विज्ञान के विशाल परिदृश्य में, मशीनें कैसे सीखती हैं इसका अध्ययन गणित, सांख्यिकी और भौतिकी के एक संगम पर स्थित है। इसके मूल में एक सरल लेकिन गहन चुनौती निहित है: यह समझना कि कैसे एक कंप्यूटर, यादृच्छिक अनुमानों (random guesses) से शुरू होकर, धीरे-धीरे किसी कार्य के नियमों को समझ लेता है। कल्पना कीजिए कि एक छात्र एक जटिल पहेली को हल करने की कोशिश कर रहा है; उसका मार्ग एक सीधी रेखा नहीं बल्कि संभावनाओं के ऊबड़-खाबड़ इलाके में एक घुमावदार यात्रा है, जहाँ कुछ पथ मृत अंत (dead ends) की ओर ले जाते हैं और अन्य समाधान की ओर। वैज्ञानिकों ने लंबे समय से जाना है कि यह इलाका डेटा की संरचना और स्वयं मशीन के डिज़ाइन द्वारा आकार लेता है। इस क्षेत्र में एक प्रमुख अवधारणा 'समरूपता' (symmetry) है, जो इस संदर्भ में उन कई अलग-अलग तरीकों को संदर्भित करती है जिनसे एक मशीन को आंतरिक रूप से व्यवस्थित किया जा सकता है जबकि वह सटीक रूप से समान आउटपुट ही देती रहे। जिस प्रकार एक घन (cube) को बिना उसके आकार बदले अंतरिक्ष में घुमाया जा सकता है, उसी प्रकार एक न्यूरल नेटवर्क को अक्सर बिना उसके कार्य को बदले अनगिनत तरीकों से पुनर्गठित किया जा सकता है। ये समरूपताएं सीखने के परिदृश्य में "सपाट" दिशाएं बनाती हैं, जहाँ मशीन अपने प्रदर्शन में सुधार या गिरावट किए बिना आगे बढ़ सकती है। वर्षों से, शोधकर्ता यह जानना चाहते थे कि क्या ये समरूपताएं ही एकमात्र कार्यशील संगठित सिद्धांत थीं, या क्या कुछ छिपे हुए नियम थे जो उन विशिष्ट दिशाओं को नियंत्रित करते थे जहाँ वास्तविक शिक्षण होता है।

पोट्सडैम विश्वविद्यालय के शोधकर्ताओं की एक टीम ने अब एक नए संगठनात्मक स्तर का खुलासा किया है जो यह समझाता है कि मशीनएं किसी कार्य की विशिष्ट विशेषताओं को कैसे सीखती हैं। उन्होंने पाया कि सीखना केवल मशीन के आंतरिक डिज़ाइन के बारे में नहीं है, बल्कि इस बारे में है कि कार्य स्वयं मशीन की स्वतंत्रता को कैसे प्रतिबंधित करता है। जब एक मशीन को समस्या के एक विशिष्ट भाग को सीखने के लिए कहा जाता है, तो वह परिणाम को प्रभावित किए बिना कुछ आंतरिक सेटिंग्स को बदलने की अपनी क्षमता खो देती है। शोधकर्ताओं ने पाया कि स्वतंत्रता की यह हानि यह समझने की कुंजी है कि सीखने की दिशाएं कैसे उभरती हैं। उन्होंने दिखाया कि जब एक मशीन को एक विशिष्ट आवश्यकता को पूरा करने के लिए मजबूर किया जाता है, तो उसकी एक पूर्व में सपाट और महत्वहीन दिशा अचानक "विशाल" (massive) या कठोर हो जाती है। यह कठोरता इस बात का संकेत है कि मशीन ने उस विशिष्ट विशेषता को सीखना शुरू कर दिया है। इस बाधा लागू होने से पहले, मशीन उस सेटिंग को स्वतंत्र रूप से बदल सकती थी; इसके बाद, कोई भी परिवर्तन समाधान को बिगाड़ देगा। यह प्रक्रिया एक फिल्टर की तरह कार्य करती है, जो यह प्रकट करती है कि मशीन की आंतरिक संरचना के कौन से हिस्से वास्तव में कार्य के बारे में जानकारी ले जा रहे हैं।

इसे सिद्ध करने के लिए, वैज्ञानिकों ने कुछ समायोज्य नॉब्स (adjustable knobs) वाले एक सरल, समाधान योग्य सीखने वाले मॉडल का निर्माण किया। उन्होंने एक ऐसे कार्य से शुरुआत की जो केवल आंशिक रूप से परिभाषित था, जिससे मशीन के पास सही होने के कई तरीके बचे थे। इस अवस्था में, मशीन के पास बहुत अधिक "आकस्मिक समरूपता" (contingent symmetry) थी, जिसका अर्थ था कि वह परिणाम बदले बिना अपने आंतरिक सेटिंग्स को कई तरीकों से बदल सकती थी। शोधकर्ताओं ने फिर कार्य में एक दूसरी आवश्यकता जोड़ी। जैसे ही यह नई आवश्यकता लागू की गई, समरूपता टूट गई। मशीन अब अपने आंतरिक सेटिंग्स को स्वतंत्र रूप से नहीं बदल सकती थी; एक विशिष्ट दिशा कठोर हो गई। यह कठोरता यादृच्छिक नहीं थी; यह ठीक उसी सूचना के अनुरूप थी जिसे मशीन अब सीखने के लिए बाध्य थी। शोधकर्ताओं ने प्रदर्शित किया कि यह समरूपता का टूटना एक मापने योग्य संकेत उत्पन्न करता है: मशीन का आंतरिक वक्रता (curvature) बदल जाता है, और इसमें डेटा के आधार पर विभिन्न सेटिंग्स के बीच अंतर करने की क्षमता आती है। यह खोज बताती है कि सीखना एक चरण-दर चरण प्रक्रिया है जहाँ सूचना का प्रत्येक नया टुकड़ा एक विशिष्ट स्वतंत्रता को हटा देता है, जिससे एक सपाट, गैर-सूचनात्मक दिशा एक तीव्र, सूचनात्मक दिशा में बदल जाती है।

टीम ने यह भी पता लगाया कि यह प्रक्रिया अधिक जटिल, गहरे नेटवर्क (deep networks) में कैसे चलती है और इसे वास्तविक दुनिया के परिदृश्यों में कैसे पहचाना जा सकता है। उन्होंने पाया कि प्रशिक्षण में उपयोग किए जाने वाले एक मानक नियंत्रण पैरामीटर को समायोजित करके—जो अनिवार्य रूप से बड़े आंतरिक मानों के लिए एक दंड (penalty) है—वे मशीन को विशिष्ट क्रम में विशेषताओं को सीखने के लिए मजबूर कर सकते हैं। जैसे-जैसे वे इस दंड को कम करते हैं, मशीन पहले सबसे मजबूत विशेषताओं को सीखती है, फिर अगली सबसे मजबूत को, और इसी तरह। इसने संक्रमणों (transitions) की एक श्रृंखला बनाई, जहाँ मशीन शून्य जानने की अवस्था से लेकर सब कुछ जानने की अवस्था तक पहुँचती है, और उन विशिष्ट चरणों से गुजरती है जहाँ वह केवल विशेषताओं के एक उपसमुच्चय (subset) को जानती है। उन्होंने यह भी दिखाया कि डेटा में शोर (noise) जोड़ने से, जो रेडियो पर आने वाली स्टेटिक ध्वनि के समान है, सीखने की इस प्रक्रिया को विलंबित किया जा सकता है। मशीन किसी विशेषता को केवल तभी तक सीखेगी जब तक उस विशेषता से मिलने वाला संकेत शोर से ऊपर उठने के लिए पर्याप्त मजबूत न हो जाए। इसने उन्हें एक "फेज डायग्राम" (phase diagram) बनाने की अनुमति दी, जो दिखाता है कि डेटा की ताकत और प्रशिक्षण के नियमों की सख्ती के आधार पर मशीन कब और कैसे विभिन्न ज्ञान प्राप्त करती है।

जो इस खोज को महत्वपूर्ण बनाता है, वह यह है कि यह मशीन की सटीक गणितीय समरूपताओं को जाने बिना सीखने की प्रक्रिया को देखने का एक तरीका प्रदान करता है। शोधकर्ताओं ने दिखाया कि सीखने की दिशाओं में ये परिवर्तन मशीन के व्यवहार में स्पष्ट हस्ताक्षर छोड़ते हैं जिन्हें सीधे मापा जा सकता है। उन्हें यह देखने के लिए छिपे हुए समरूपता समूहों को जानने की आवश्यकता नहीं है कि एक विशेषता सीखी गई है; उन्हें केवल यह देखने की आवश्यकता है कि डेटा के जवाब में मशीन की आंतरिक संरचना कैसे सख्त होती है। यह दृष्टिकोण तंत्रिका नेटवर्क (neural networks) के सीखने के तरीके का अध्ययन करने के लिए एक नया उपकरण प्रदान करता है, जो इस विचार से आगे बढ़ता है कि सीखना केवल उच्च-आयामी स्थान में एक अराजक खोज है। इसके बजाय, यह एक संरचित पदानुक्रम को प्रकट करता है जहाँ कार्य स्वयं यह निर्धारित करता है कि मशीन ज्ञान को किस क्रम में प्राप्त करेगी। यह कार्य बताता है कि सीखने का मार्ग इन आकस्मिक समरूपताओं के टूटने से निर्मित होता है, जहाँ प्रत्येक नया प्रतिबंध एक मुक्त, महत्वहीन दिशा को एक महत्वपूर्ण, सूचना-वाहक दिशा में बदल देता है।

शोधकर्ताओं ने यह भी स्पष्ट किया कि इस प्रक्रिया के दौरान क्या नहीं होता है। उन्होंने दिखाया कि मशीन की आंतरिक संरचना में सभी परिवर्तन सीखने के कारण नहीं होते हैं। कुछ दिशाएं केवल प्रशिक्षण नियमों के कारण कठोर हो जाती हैं, न कि इसलिए कि मशीन ने डेटा के बारे में कुछ नया सीखा है। ये "गेज" (gauge) दिशाएं हैं, जो कार्य के बजाय मशीन की आंतरिक अतिरेकता (redundancy) से संबंधित हैं। अध्ययन ने इन दो प्रकार की कठोरता के बीच सावधानीपूर्वक अंतर किया, यह सुनिश्चित करते हुए कि देखे गए परिवर्तन वास्तव में सीखे जा रहे सूचना से जुड़े हैं। कार्य के प्रभावों को प्रशिक्षण पद्धति के प्रभावों से अलग करके, शोधकर्ताओं ने मशीन के भीतर वास्तव में क्या हो रहा है, इसकी एक स्पष्ट तस्वीर प्रदान की। उन्होंने पाया कि जबकि मशीन अपने आउटपुट को बदले बिना कई तरीकों से पुनर्गठित की जा सकती है, क्षण भर में जब वह एक विशिष्ट विशेषता सीखती है, तो वह स्वतंत्रता खो जाती है, और मशीन उस विशेषता के लिए एक विशिष्ट विन्यास (configuration) में लॉक हो जाती है।

इस समझ के सीखने के सामान्यीकरण (generalization) के बारे में क्या निहितार्थ हैं। अध्ययन बताता है कि किसी मशीन की नए डेटा पर सामान्यीकरण करने की क्षमता इस बात से जुड़ी है कि उसने कार्य को सीखने के लिए अपनी समरूपताओं को किस विशिष्ट तरीके से तोड़ा है। शोधकर्ताओं ने यह दावा नहीं किया कि उन्होंने डीप लर्निंग के सभी रहस्यों को सुलझा लिया है, लेकिन उन्होंने एक ठोस तंत्र प्रदान किया है कि कैसे सीखने की दिशाएं उभरती हैं। उन्होंने दिखाया कि यह प्रक्रिया एक एकल, अचानक होने वाली घटना नहीं है बल्कि संक्रमणों का एक क्रम है, जिनमें से प्रत्येक एक नई विशेषता के अधिग्रहण के अनुरूप है। यह क्रम कार्य की आवश्यकताओं और मशीन की आंतरिक संरचना के बीच परस्पर क्रिया द्वारा शासित होता है। इन निष्कर्षों को सरल मॉडलों में विश्लेषणात्मक रूप से और गहरे नेटवर्क में संख्यात्मक रूप से प्रदर्शित किया गया, जो दर्शाता है कि यह सिद्धांत विभिन्न स्तरों की जटिलता में लागू होता है।

यह कार्य सीखने की प्रक्रिया में शोर (noise) की भूमिका पर भी प्रकाश डालता है। शोधकर्ताओं ने दिखाया कि शोर एक बाधा के रूप में कार्य कर सकता है, जो मशीन को तब तक किसी विशेषता को सीखने से रोकता है जब तक कि संकेत इतना मजबूत न हो जाए कि वह शोर से ऊपर उठ सके। यह इस तरह है जैसे रेडियो को स्टेटिक को दूर करने के लिए एक मजबूत सिग्नल की आवश्यकता होती है, लेकिन यहाँ मामला अलग है—"सिग्नल" कार्य के बारे में सूचना है, और "स्टेटिक" डेटा में यादृच्छिक उतार-चढ़ाव है। शोधकर्ताओं ने इस अंतर्दृष्टि का उपयोग सीखने का एक मानचित्र बनाने के लिए किया, जो दिखाता है कि शोर का स्तर और प्रशिक्षण दंड (training penalty) बदलने पर मशीन की सीखने की क्षमता कैसे बदलती है। यह मानचित्र उन क्षेत्रों को प्रकट करता है जहाँ मशीन कुछ नहीं सीखती है, उन क्षेत्रों को जहाँ वह केवल सबसे मजबूत विशेषताओं को सीखती है, और उन क्षेत्रों को जहाँ वह सब कुछ सीखती है। इन क्षेत्रों के बीच की सीमाएं स्पष्ट और पूर्वानुमेय हैं, जो यह सुझाव देती हैं कि सीखने की प्रक्रिया पहले की तुलना में अधिक व्यवस्थित है।

अंत में, यह अध्ययन सीखने की ज्यामिति (geometry) पर एक नया दृष्टिकोण प्रदान करता है। यह एक स्थिर परिदृश्य के विचार से हटकर एक गतिशील प्रक्रिया की ओर बढ़ता है जहाँ जैसे-जैसे मशीन सीखती है, परिदृश्य स्वयं बदल जाता है। समरूपता का टूटना वह तंत्र है जो इस परिवर्तन को संचालित करता है, जो सपाट दिशाओं को तीव्र दिशाओं में बदल देता है और समाधान के पथ को प्रकट करता है। शोधकर्ताओं ने दिखाया है कि यह प्रक्रिया मापने योग्य और पूर्वानुमेय है, जो व्यक्तिगत विशेषताओं के सीखने को ट्रैक करने का एक तरीका प्रदान करती है। हालाँकि अध्ययन रैखिक नेटवर्क (linear networks) और सरल मॉडलों पर केंद्रित था, फिर भी यह उम्मीद की जाती है कि ये सिद्धांत अधिक जटिल, गैर-रैखिक प्रणालियों (nonlinear systems) पर भी लागू होंगे। मुख्य निष्कर्ष यह है कि सीखना एक बाधा (constraint) की प्रक्रिया है, जहाँ कार्य स्वयं मशीन की आंतरिक संरचना को आकार देता है, स्वतंत्रता को हटाता है और समस्या को हल करने के लिए आवश्यक विशिष्ट दिशाएँ बनाता है। यह अंतर्दृष्टि हमें यह समझने के करीब लाती है कि मशीनें कैसे सीखती हैं, न कि केवल एक ब्लैक बॉक्स के रूप में, बल्कि एक ऐसी प्रणाली के रूप में जो स्पष्ट, अवलोकन योग्य सिद्धांतों द्वारा शासित होती है।