Incremental Evaluation and Training in Relational Deep Learning
यह शोध पत्र रिलेशनल डीप लर्निंग में स्टेटिक इवैल्यूएशन की सीमाओं को संबोधित करते हुए एक इंक्रीमेंटल, मल्टी-एपिसोड ट्रेनिंग और इवैल्यूएशन प्रतिमान (पैराडाइम) पेश करता है जो टेम्पोरल कॉन्सेप्ट ड्रिफ्ट्स को प्रभावी ढंग से संभालने और पारंपरिक फ्रॉम-स्क्रैच बेसलाइन्स से बेहतर प्रदर्शन करने के लिए ट्रांसफर लर्निंग का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को सूचना के एक विशाल, जीवित पुस्तकालय के आधार पर भविष्य की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। यह केवल किताबों का पुस्तकालय नहीं है; यह एक रिलेशनल डेटाबेस है, परस्पर जुड़े हुए टेबल्स का एक जटिल जाल जहाँ डेटा का हर हिस्सा दूसरे से बात करता है—जैसे उपयोगकर्ता, उत्पाद, लॉग और इंटरैक्शन, जो एक-दूसरे से जुड़े हुए हैं। लंबे समय तक, वैज्ञानिकों ने इस वेब को पढ़ने के लिए एक विशेष प्रकार के "मस्तिष्क" का उपयोग किया है जिसे 'रिलेशनल डीप लर्निंग' (RDL) कहा जाता है। RDL को एक सुपर-स्मार्ट जासूस के रूप में सोचें जो केवल एक समय में एक पेज नहीं पढ़ता, बल्कि पूरी कहानी की संरचना को समझता है, कहानी को संख्याओं की एक उबाऊ सूची में बदले बिना विभिन्न पात्रों और घटनाओं के बीच के संबंधों को जोड़ता है।
हालाँकि, इसमें एक पेंच है। अधिकांश समय, जब हम इन जासूसी रोबोटों का परीक्षण करते हैं, तो हम उन्हें पुस्तकालय का एक एकल, स्थिर स्नैपशॉट देते हैं—एक विशिष्ट क्षण में ली गई एक फोटो। हम उनसे उस एक फोटो के आधार पर रहस्य सुलझाने को कहते हैं और फिर उन्हें सफल या असफल घोषित करते हैं। लेकिन वास्तविक जीवन एक फोटो एल्बम की तरह काम नहीं करता; यह एक लाइव स्ट्रीम की तरह काम करता है। हर सेकंड नई किताबें जोड़ी जाती हैं, पुरानी किताबों को अपडेट किया जाता है, और कहानी बदलती रहती है। यदि आप एक जासूस को पिछले साल के स्नैपशॉट पर प्रशिक्षित करते हैं, तो वे आज हो रहे नए प्लॉट ट्विस्टों से पूरी तरह भ्रमित हो सकते हैं। यह शोध पत्र एक सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: क्या होता है जब पुस्तकालय बढ़ता रहता है और हम इन AI जासूसों को हर बार शून्य से शुरू किए बिना तालमेल बिठाना कैसे सिखाएं?
इस शोध पत्र के लेखक, जैकब पेलेस्का और गुस्ताव शिर, जो चेक टेक्निकल यूनिवर्सिटी, प्राग से हैं, ने डेटाबेस को स्थिर फोटो के रूप में देखना बंद कर दिया और उन्हें जीवित, सांस लेते जीवों के रूप में देखना शुरू किया। उन्होंने इन AI मॉडलों का परीक्षण और प्रशिक्षण करने का एक नया तरीका पेश किया जिसे "इन्क्रीमेंटल, मल्टी-एपिसोड" प्रतिमान (पैराडाइम) कहा जाता है। मॉडल को पुराने डेटा के आधार पर एक बड़ा एग्जाम देने के बजाय, वे एक वास्तविक दुनिया के परिदृश्य का अनुकरण करते हैं जहाँ डेटा समय के साथ टुकड़ों (चंक्स) में आता है। वे मॉडल को एक टेस्ट लेने देते हैं, उसे अभी-अभी आई नई जानकारी से सीखने देते हैं, और फिर उसे समय के अगले टुकड़े पर दूसरा टेस्ट लेने देते हैं, और इस चक्र को दोहराते हैं।
जब उन्होंने बड़े, वास्तविक दुनिया के डेटासेट्स (जैसे विज्ञापनों पर यूजर क्लिक या ड्राइवर प्रदर्शन लॉग) पर यह प्रयोग चलाया, तो उन्हें एक महत्वपूर्ण बात पता चली: दुनिया हमारी सोच से कहीं अधिक तेज़ी से बदलती है। उन्होंने पाया कि "टेम्पोरल कॉन्सेप्ट ड्रिफ्ट" (temporal concept drift) हर जगह है। यह एक फैंसी तरीका है यह कहने का कि खेल के नियम समय के साथ बदलते रहते हैं। एक पैटर्न जो कल सच था, वह कल पूरी तरह से गलत हो सकता है। उदाहरण के लिए, आज उत्पादों के साथ उपयोगकर्ताओं के इंटरैक्शन का तरीका, कुछ महीने पहले की तुलना में बिल्कुल अलग हो सकता है। जब उन्होंने पुराने तरीके का परीक्षण किया—हर बार नवीनतम डेटा पर स्क्रैच से एक नया मॉडल प्रशिक्षित करना—तो यह धीमा, महंगा और अक्सर उम्मीद के मुताबिक अच्छा प्रदर्शन नहीं करता था क्योंकि यह वह सब कुछ भूल जाता था जो इसने पहले सीखा था।
इसे ठीक करने के लिए, टीम ने एक अलग दृष्टिकोण अपनाया: "फाइन-ट्यूनिंग"। कल्पना कीजिए कि हर बार एक नई किताब आने पर जासूस को बचपन से फिर से प्रशिक्षित करने के बजाय, आप बस उन्हें नए मटेरियल पर एक त्वरित रिफ्रेशर कोर्स दे देते हैं। उन्होंने इसे करने के चार अलग-अलग तरीके आजमाए, जिसमें एक ऐसा तरीका भी शामिल था जहाँ मॉडल केवल नवीनतम डेटा से सीखता है और दूसरा जहाँ वह भूलने से बचने के लिए नए डेटा को पुराने डेटा के साथ मिलाता है। परिणाम प्रभावशाली थे। जिन मॉडलों ने इन इन्क्रीमेंटल फाइन-ट्यूनिंग रणनीतियों का उपयोग किया, उन्होंने लगातार पुराने "स्क्रैच से" वाले मॉडलों के समान या उससे बेहतर प्रदर्शन किया, लेकिन उन्होंने यह काम बहुत तेज़ी से किया। वास्तव में, कुछ मामलों में, फाइन-ट्यून्ड मॉडलों ने कुछ ही सौ स्टेप्स में शीर्ष प्रदर्शन हासिल कर लिया, जबकि अन्य को हजारों स्टेप्स की आवश्यकता थी।
शोधकर्ताओं ने यह भी देखा कि सभी भविष्यवाणियां समान रूप से महत्वपूर्ण नहीं होती हैं। अगले एक घंटे में क्या होगा, इसकी भविष्यवाणी करना किसी व्यवसाय के लिए एक साल बाद क्या होगा, इसकी भविष्यवाणी करने की तुलना में आमतौर पर अधिक महत्वपूर्ण होता है। इसलिए, उन्होंने एक नई स्कोरिंग प्रणाली बनाई जो हालिया भविष्यवाणियों को अधिक महत्व देती है, ठीक वैसे ही जैसे एक शिक्षक जो आपके पिछले महीने के होमवर्क की तुलना में आपके नवीनतम क्विज़ की अधिक परवाह करता है। जब उन्होंने इस नए मेट्रिक का उपयोग किया, तो इन्क्रीमेंटल मॉडल और भी अधिक चमक उठे, जिससे साबित हुआ कि वे तत्काल भविष्य के अनुकूल होने में बेहतर हैं।
संक्षेप में, यह शोध पत्र सुझाव देता है कि रिलेशनल डेटाबेस के लिए वास्तव में मजबूत AI बनाने के लिए, हमें डेटा को स्थिर स्नैपशॉट के रूप में देखना बंद करना होगा और इसे एक निरंतर प्रवाह (स्ट्रीम) के रूप में देखना शुरू करना होगा। इन्क्रीमेंटल ट्रेनिंग का उपयोग करके और निकट-भविष्य की सटीकता पर ध्यान केंद्रित करके, हम ऐसे मॉडल बना सकते हैं जो केवल एक बार सीखते और रुक नहीं जाते, बल्कि अपने आस-पास की दुनिया के साथ विकसित और अनुकूल होते हैं। हालाँकि यह अध्ययन उन डेटाबेसों पर केंद्रित था जिनमें केवल नया डेटा जोड़ा जाता है (जैसे एक "अपेंड-ओनली" लॉग) और इसमें उन सिस्टमों का परीक्षण नहीं किया गया जहाँ डेटा हटाया या भारी रूप से संपादित किया जाता है, फिर भी इसके निष्कर्ष वास्तविक, निरंतर बदलते विश्व के लिए AI को अधिक लचीला और व्यावहारिक बनाने के लिए एक मजबूत ब्लूप्रिंट प्रदान करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।