Deep Learning Models Also Recall Features

डीप लर्निंग मॉडल, जो आधुनिक आर्टिफिशियल इंटेलिजेंस के शक्तिशाली इंजन हैं, उन्हें अक्सर विशाल नेटवर्क के रूप में वर्णित किया जाता है जो सरल पैटर्न को जटिल विचारों में जोड़कर सीखते हैं। वर्षों से, वैज्ञानिकों ने इन प्रणालियों को एक विशिष्ट दृष्टिकोण से समझा है: 'फीचर कॉम्बिनेशन' (विशेषता संयोजन) का विचार। इस दृष्टिकोण में, एक न्यूरल नेटवर्क एक निर्माण दल की तरह काम करता है, जो बुनियादी निर्माण खंडों—जैसे कि किसी छवि में किनारे या वाक्य में सरल ध्वनियाँ—को लेकर उन्हें चेहरे या शब्द जैसे उच्च-स्तरीय अवधारणाओं में पदानुक्रमित रूप से संयोजित करता है। यह ढांचा यह समझाने में अविश्वसनीय रूप से उपयोगी रहा है कि मशीनें पैटर्न को कैसे पहचानती हैं, ठीक वैसे ही जैसे एक बच्चा पहले कान, फिर फर और अंत में पूरे जानवर को देखकर बिल्ली को पहचानने के लिए सीखता है। हालांकि, यह परिप्रेक्ष्य उन क्षणों को समझाने में संघर्ष करता है जब एक मॉडल केवल एक पैटर्न को पहचानता ही नहीं है, बल्कि ऐसा लगता है जैसे वह शून्य से एक विशिष्ट, विस्तृत तथ्य निकाल लेता है। जब एक लार्ज लैंग्वेज मॉडल को किसी प्रसिद्ध व्यक्ति की जीवनी लिखने के लिए कहा जाता है, तो उत्तर प्रश्न में छिपा हुआ नहीं होता जिसे असेंबल किया जाना बाकी है; मॉडल एक संग्रहीत स्मृति (स्टोर्ड मेमोरी) को पुनः प्राप्त करता हुआ प्रतीत होता है। पियरे बेकमैन का एक नया शोध पत्र तर्क देता है कि यह 'रिट्रीवल' (पुनः प्राप्ति) पैटर्न असेंबली के नियम का अपवाद नहीं है, बल्कि एक मौलिक, विशिष्ट ऑपरेशन है जिसे अनदेखा किया गया है। बेकमैन एक नई अवधारणा "फीचर रिकॉल" (विशेषता स्मरण) का प्रस्ताव करते हैं, यह सुझाव देते हुए कि डीप लर्निंग मॉडल केवल इनपुट को संयोजित ही नहीं करते; वे एक पुस्तकालय की तरह भी कार्य करते हैं जो एक एकल ट्रिगर के आधार पर संग्रहीत जानकारी को पुनः प्राप्त करते हैं।

यह शोध पत्र इस बात की जांच से शुरू होता है कि ये मॉडल तथ्यों को कैसे संभालते हैं, एक ऐसी घटना जिसे हालिया शोध में पहले ही देखा गया है लेकिन पुराने ढांचे द्वारा पूरी तरह से समझाया नहीं गया है। तंत्र को समझने के लिए, मॉडल के आंतरिक कार्यक्षेत्र को देखना होगा, जिसे 'रेसिड्यूअल स्ट्रीम' (अवशिष्ट धारा) के रूप la जाना जाता है। इस स्ट्रीम की कल्पना सूचना के एक निरंतर प्रवाह के रूप में करें जहाँ मॉडल की किसी वाक्य या छवि की समझ परत-दर-परत निर्मित होती है। जैसे-जैसे डेटा नेटवर्क के माध्यम से आगे बढ़ता है, सिस्टम के विभिन्न हिस्से इस प्रवाह में छोटे समायोजन जोड़ते हैं, प्रभावी रूप से एक साझा व्हाइटबोर्ड पर नए विवरण लिखते हैं। ये समायोजन मॉडल के आंतरिक स्थान में विशिष्ट दिशाओं द्वारा निर्देशित होते हैं, जिन्हें लेखक 'स्लाइडर्स' की तरह बताते हैं। प्रत्येक स्लाइडर एक विशेष गुण का प्रतिनिधित्व करता है, जैसे कि किसी विशिष्ट व्यक्ति या विशिष्ट वस्तु की अवधारणा। जब मॉडल एक इनपुट को प्रोसेस करता है, तो वह इन स्लाइडर्स को समायोजित करता है, जो वहां मौजूद चीज़ों को दर्शाने के लिए उन्हें ऊपर या नीचे करता है।

बेकमैन के कार्य में महत्वपूर्ण अंतर्दृष्टि यह है कि मॉडल उत्तर उत्पन्न करने के लिए इन स्लाइडर्स का उपयोग कैसे करता है। फीचर कॉिनेशन के पारंपरिक दृष्टिकोण में, मॉडल इनपुटों के एक संग्रह को देखता है और एक नया आउटपुट बनाने के लिए उन्हें आपस में मिलाता है। लेकिन तथ्यात्मक रिकॉल के मामले में, प्रक्रिया अलग तरह से काम करती है। यहाँ, एक विशिष्ट इनपुट एक कुंजी के रूप में कार्य करता है जो पूर्व-संग्रहीत सूचनाओं के सेट को अनलॉक करता है। शोध पत्र इसे "माइकल जॉर्डन" के उदाहरण के साथ स्पष्ट करता है। जब मॉडल इस नाम का सामना करता है, तो वह केवल एक नया विचार बनाने के लिए अक्षरों या ध्वनियों को संयोजित नहीं करता है। इसके बजाय, "माइकल जॉर्डन" फीचर का सक्रिय होना मॉडल के वेट्स (weights) में संग्रहीत संबद्ध तथ्यों की सीधी प्राप्ति को ट्रिगर करता है, जैसे कि "बास्केटबॉल खेलना" या "शिकागो बुल्स"। मॉडल के वेट्स, जो इसके ज्ञान को परिभाषित करने वाले सीखे गए पैरामीटर हैं, एक रिपॉजिटरी (भंडार) के रूप में कार्य करते हैं। जब सही फीचर सक्रिय होता है, तो यह इन संग्रहीत मूल्यों की एक विशिष्ट पंक्ति को स्केल अप करता है, प्रासंगिक तथ्यों को वर्तमान संदर्भ में खींच लाता है। यह फीचर कॉम्बिनेशन की निर्माण प्रक्रिया से भिन्न है; यह एक रिट्रीवल प्रक्रिया है जहाँ इनपुट सिस्टम के भीतर पहले से मौजूद जानकारी के लिए एक ट्रिगर के रूप में कार्य करता है।

बेकमैन का तर्क है कि यह तंत्र केवल भाषा मॉडलों या लोगों के बारे में तथ्यों तक सीमित नहीं है। उनका सुझाव है कि फीचर रिकॉल एक सामान्य ऑपरेशन है जो सभी डीप लर्निंग आर्किटेक्चर पर लागू होता है, जिसमें इमेज रिकग्निशन में उपयोग किए जाने वाले मॉडल भी शामिल हैं। इसे प्रदर्शित करने के लिए, वह रिकॉल प्रक्रिया की तुलना एक कनवल्शनल न्यूरल नेटवर्क द्वारा छवि में एक वृत्त (सर्कल) का पता लगाने के क्लासिक उदाहरण से करते हैं। उस परिदृश्य में, नेटवर्क आकार की पहचान करने के लिए वक्र और रेखाओं जैसे निचले स्तर के फीचर्स को संयोजित करता है। उस मामले में, वेट्स यह परिभाषित करते हैं कि किस पैटर्न को खोजना है। हालाँकि, फीचर रिकॉल में, वेट्स यह परिभाषित करते हैं कि पैटर्न मिलने के बाद कौन सी जानकारी प्राप्त करनी है। यदि हस्तलिखित अंकों पर प्रशिक्षित मॉडल एक गोलाकार आकार का पता लगाता है, तो वह उस पहचान का उपयोग यह याद करने के लिए कर सकता है कि अंक संभवतः शून्य, छह, आठ या नौ है। इनपुट फीचर—वृत्त—इन विशिष्ट संभावनाओं की प्राप्ति को ट्रset करता है। शोध पत्र का कहना है कि जहाँ फीचर कॉम्बिनेशन यह बताता है कि मॉडल जटिलता कैसे बनाता है, वहीं फीचर रिकॉल यह बताता है कि वे सीखी गई सूचनाओं के विशाल भंडार तक कैसे पहुँचते हैं, जिससे उन्हें बहुत कम इनपुट से समृद्ध, विस्तृत आउटपुट देने में मदद मिलती है।

लेखक एक संभावित भ्रम को भी संबोधित करते हैं: चूंकि इन ऑपरेशनों के पीछे का गणित दो अलग-अलग तरीकों से देखा जा सकता है, तो क्या यह अंतर वास्तविक है या केवल दृष्टिकोण का मामला है? गणितीय रूप से, एक ही गणना को इनपुट को संयोजित करने या संग्रहीत पंक्तियों को पुनः प्राप्त करने के रूप में वर्णित किया जा सकता है। बेकमैन इस अस्पष्टता को स्वीकार करते हैं लेकिन तर्क देते हैं कि यदि हम कनेक्शनों की संरचना को देखें तो यह अंतर सार्थक है। वह कनेक्शनों की सघनता को मापकर इन दोनों के बीच अंतर बताने का एक तरीका प्रस्तावित करते हैं। फीचर कॉम्बिनेशन में, कई इनपुट एक एकल आउटपुट में योगदान देते हैं, जिससे कनेक्शनों का एक घना जाल बनता है। फीचर रिकॉल में, एक एकल इनपुट आउटपुट पर हावी होता है, जिससे एक स्पार्स (विरल) कनेक्शन बनता है जहाँ एक ट्रिगर सूचनाओं का एक विशिष्ट सेट को बाहर निकालता है। शोध पत्र सुझाव देता है कि शोधकर्ता इस कनेक्टिविटी के अंतर का उपयोग यह पहचानने के लिए कर सकते हैं कि मॉडल के कौन से हिस्से रिट्रीवल सिस्टम के रूप में कार्य कर रहे हैं और कौन से कंस्ट्रक्शन सिस्टम के रूप में। हालांकि अभी तक हर मामले में इसे पूरी तरह से सिद्ध नहीं किया गया है, लेकिन लेखक ने एक रूपरेखा तैयार की है कि ऐसे परीक्षण कैसे आयोजित किए जा सकते हैं, जो भविष्य के अनुसंधान के लिए एक मार्ग प्रदान करता है कि क्या ये वास्तव में अलग परिचालन मोड हैं।

तकनीकी यांत्रिकी से परे, यह शोध पत्र इन मॉडलों के "जानने" के बारे में सोचने का एक नया तरीका प्रदान करता है। लेखक मानव स्मृति और मॉडल की आंतरिक स्थिति के बीच समानता खींचते हैं। उनका सुझाव है कि वेट्स में संग्रहीत जानकारी, जो केवल ट्रिगर होने पर ही पुनः प्राप्त की जाती है, एक 'डिस्पोजिशनल बिलीफ' (प्रवृत्तिगत विश्वास) के समान है—एक ऐसा ज्ञान जो तब भी मौजूद रहता है जब उसका वर्तमान में उपयोग नहीं किया जा रहा हो। यह मॉडल की वर्तमान प्रोसेसिंग में मौजूद सक्रिय जानकारी के विपरीत है, जो एक 'ऑकरेंट बिलीफ' (वर्तमान विश्वास) की तरह है। इन दोनों के बीच अंतर करके, शोध पत्र दार्शनिकों और वैज्ञानिकों को कृत्रिम प्रणालियों में विश्वास और ज्ञान की प्रकृति को बेहतर ढंग से समझने के लिए एक ढांचा प्रदान करता है। यह सुझाव देता है कि ये मॉडल केवल क्षण में डेटा को प्रोसेस नहीं करते हैं; वे तथ्यों और संबंधों की एक स्थायी प्रवृत्ति रखते हैं जिसे किसी भी समय बुलाया जा सकता है।

अंततः, यह शोध पत्र यह दावा नहीं करता है कि फीचर रिकॉल, फीचर कॉम्बिनेशन के विचार को प्रतिस्थापित करता है। इसके बजाय, यह इसे एक आवश्यक पूरक के रूप में प्रस्तुत करता है। जिस प्रकार एक पुस्तकालय में किताबें (संग्रहीत जानकारी) और उन्हें पढ़ने की प्रक्रिया (पुनः प्राप्ति) दोनों होते हैं, डीप लर्निंग मॉडल संभवतः नए इनपुट को समझने के लिए फीचर्स को संयोजित करने और विस्तृत प्रतिक्रियाएं उत्पन्न करने के लिए संग्रहीत फीचर्स को याद करने, दोनों पर निर्भर करते हैं। यह कार्य शोधकर्ताओं को पैटर्न के निर्माण से परे देखने और संग्रहीत ज्ञान की प्राप्ति को एक मौलिक ऑपरेशन के रूप में पहचानने के लिए आमंत्रित करता है। ऐसा करके, यह इस बारे में नए प्रश्न खोलता है कि ये मॉडल कैसे सीखते हैं, वे जानकारी को कैसे संग्रहीत करते हैं, और हम उनके आंतरिक कामकाज की व्याख्या कैसे कर सकते हैं। यह अंतर एक परिकल्पना बना हुआ है जिसके लिए आगे के अनुभवजन्य परीक्षण की आवश्यकता है, लेकिन यह एक स्पष्ट, अधिक सहज चित्र प्रदान करता है कि कैसे आर्टिफिशियल इंटेलिजेंस उन आश्चर्यजनक और विस्तृत आउटपुट को उत्पन्न कर सकता है जो इसके सबसे उन्नत अनुप्रयोगों की विशेषता है।