कल्पना कीजिए कि आप एक रोबोट को मुसीबत पहचानने के लिए सिखा रहे हैं। कंप्यूटर विज्ञान की दुनिया में, इसे अनोमली डिटेक्शन (anomaly detection) कहा जाता है। आमतौर पर, आप रोबोट को "सामान्य" चीजों की दस लाख तस्वीरें दिखाते हैं—जैसे कि एक शांत सड़क या एक शांत सर्वर रूम—और कुछ "बुरी" चीजों की तस्वीरें, जैसे कि कार दुर्घटना या हैकर हमला। रोबोट सीखता है कि सामान्य क्या दिखता है ताकि जब कुछ अजीब हो, तो वह "अलर्ट!" चिल्ला सके।

लेकिन यहाँ पेचीदा बात यह है: दुनिया स्थिर नहीं रहती। "सामान्य" सड़क बदल जाती है; "सामान्य" सर्वर रूम व्यस्त हो जाता है। इसे नॉन-स्टेशनरी एनवायरनमेंट (non-stationary environment) कहा जाता है। यदि आप केवल रोबोट को नई समस्याएं दिखाते रहते हैं और उसे पुरानी चीजें भूलने नहीं देते, तो वह भ्रमित हो जाता है। यह कंटीन्यूअल अनोमली डिटेक्शन (Continual Anomaly Detection - CAD) की चुनौती है। यह एक छात्र को हर हफ्ते एक नई भाषा सीखने के साथ-साथ पिछले साल सीखी गई भाषाओं को याद रखने के लिए कहने जैसा है, वह भी बिना किसी शिक्षक के जो उन्हें ग्रेड दे सके। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: हम एक ऐसा रोबोट कैसे बनाएं जो पुरानी चीजों को भूले बिना नए करतब सीखता रहे?

समस्या यह है कि अधिकांश परीक्षण जिनका उपयोग हम यह जांचने के लिए करते हैं कि ये रोबोट कितने स्मार्ट हैं, वे दोषपूर्ण हैं। कल्पना कीजिए कि आप एक छात्र की नई भाषाएँ सीखने की क्षमता का परीक्षण करने के लिए उसे केवल टेक्स्ट के रैंडम पन्ने थमा रहे हैं। यदि पन्ने एक ही विषय के बारे में हैं, तो छात्र स्मार्ट दिखेगा लेकिन उसने वास्तव में कुछ सीखा नहीं है। यदि पन्ने बहुत अलग हैं, तो छात्र तुरंत असफल हो जाएगा। अब तक, शोधकर्ता इन परीक्षणों को बनाने के लिए अपने डेटा को विभाजित करने के तरीकों का अनुमान लगा रहे थे, अक्सर ऐसे नियम बना रहे थे जो वास्तव में वास्तविक जीवन को प्रतिबिंबित नहीं करते थे। यह पेपर, जो कामिल फेबर, माटेउज़ स्मेंडोव्स्की और रोबर्टो कोरिज़ो द्वारा लिखा गया है, कहता है, "अनुमान लगाना बंद करें। आइए एक उचित परीक्षण बनाएं।"

एक बेहतर परीक्षण के लिए "रेसिपी"

लेखकों ने महसूस किया कि इन सीखने वाले रोबटों के लिए एक अच्छा परीक्षण बनाना केवल डेटा को काटने से कहीं अधिक कठिन है। उन्होंने गौर किया कि यदि आप डेटा को केवल समय के आधार पर काटते हैं (जैसे "सोमवार का डेटा" बनाम "मंगलवार का डेटा"), तो हो सकता है कि आपके पास दो दिन ऐसे हों जो वास्तव में समान हों। रोबोट को लगेगा कि वह कुछ नया सीख रहा है, लेकिन वह वास्तव में एक ही चीज़ को दोबारा देख रहा है। वह एक उबाऊ परीक्षण होगा। दूसरी ओर, यदि आप इसे बहुत रैंडम तरीके से काटते हैं, तो रोबोट के सामने ऐसी समस्या आ सकती है जिससे वह तुरंत हार मान ले।

इसे ठीक करने के लिए, टीम ने एक सिस्टमैटिक फ्रेमवर्क (systematic framework) बनाया। इसे एक सुपर-स्मार्ट शेफ के रूप में सोचें जो केवल बर्तन में सामग्री नहीं फेंकता। इसके बजाय, इस शेफ के पास एक आदर्श "कंटीन्यूअल लर्निंग स्टू" बनाने की एक सख्त रेसिपी है।

यहाँ उनकी रेसिपी कैसे काम करती है:

1. सामग्री खोजना (Task Discovery): सबसे पहले, फ्रेमवर्क डेटा के एक विशाल ढेर (जैसे साइबर सुरक्षा लॉग) को देखता है और प्राकृतिक समूहों को खोजने की कोशिश करता है। यह गणितीय युक्तियों, जैसे कि क्लस्टरिंग (clustering) का उपयोग करता है, यह देखने के लिए कि डेटा के कौन से हिस्से स्वाभाविक रूप से एक साथ जुड़े हुए हैं। यह रंग या आकार के आधार पर मिश्रित लेगो ब्रिक्स के बॉक्स को देखने जैसा है, न कि केवल एक मुट्ठी पकड़ने जैसा।
2. पकवान का स्वाद लेना (Task Evaluation): परीक्षण परोसने से पहले, फ्रेमवर्क एक "टेस्ट टेस्ट" चलाता है। यह प्रत्येक डेटा समूह पर एक सरल, सिंगल-टास्क रोबोट को प्रशिक्षित करता है ताकि यह देखा जा सके कि क्या वह समूह वास्तव में सीखने योग्य है। यदि कोई समूह बहुत आसान है (रोबोट इसे तुरंत हल कर देता है) या बहुत कठिन है (रोबोट इसे बिल्कुल नहीं सीख पाता), तो उसे बाहर कर दिया जाता है।
3. अतिरेक की जाँच करना (Filtering): फ्रेमवर्क यह जाँचता है कि क्या कोई दो समूह मूल रूप से एक ही हैं। यदि समूह A और समूह B जुड़वा हैं, तो आपको दोनों की आवश्यकता नहीं है। यह यह भी जाँचता है कि क्या समूह A को सीखने से समूह B बहुत आसान हो जाता है। यदि रोबोट समूह A सीखता है और अचानक बिना प्रयास के समूह B को जान जाता है, तो वह एक बुरा परीक्षण है क्योंकि वह वास्तव में "कंटीन्यूअल" लर्निंग का परीक्षण नहीं कर रहा है।
4. मेन्यू व्यवस्थित करना (Ordering): यह सबसे रचनात्मक हिस्सा है। एक बार जब उनके पास अच्छे, विशिष्ट कार्यों की सूची होती है, तो उन्हें यह तय करना होता है कि रोबोट उन्हें किस क्रम में देखेगा। लेखकों ने छह अलग-अलग "मेन्यू" या ऑर्डरिंग बनाई:
   • स्मूथ ड्रिफ्ट (Smooth Drift): रोबole बदलावों को धीरे-धीरे होते देखता है, जैसे सूर्यास्त।
   • अब्रप्ट ड्रिफ्ट (Abrupt Drift): रोबोट अचानक, चौंकाने वाले बदलाव देखता है, जैसे लाइट स्विच का पलटना।
   • करिकुलम (Curriculum): यह आसान कार्यों से शुरू होकर कठिन होता जाता है (या इसके विपरीत)।
   • जनरलाइजेशन (Generalization): रोबोट ऐसे कार्य देखता है जो उसे दूसरों को सीखने में मदद करते हैं, या बहुत विशिष्ट कार्य।

पाँच नए "गेम्स"

इस फ्रेमवर्क का उपयोग करते हुए, लेखकों ने केवल एक सिद्धांत नहीं लिखा; उन्होंने वास्तव में पाँच नए बेंचमार्क परिदृश्य बनाए (जो इन रोबोटों के खेलने के लिए नए वीडियो गेम की तरह हैं)। उन्होंने साइबर सुरक्षा की दुनिया के तीन विशाल डेटासेट (CICIDS2017, CICIDS2018, और CIC-UNSW-NB15) का उपयोग किया। ये डेटासेट कंप्यूटर ट्रैफिक के रिकॉर्ड से भरे हुए हैं, जिनमें से कुछ सामान्य हैं और कुछ साइबर हमलों का प्रतिनिधित्व करते हैं।

उन्होंने बनाया:

• तीन सिंगल-डेटासेट परिदृश्य: ये परीक्षण करते हैं कि एक रोबोट एक विशिष्ट प्रकार के नेटवर्क के भीतर होने वाले परिवर्तनों को कैसे संभालता है।
• दो मल्टी-डेटासेट परिदृश्य: ये "बॉस लेवल" हैं। ये विभिन्न स्रोतों से डेटा को मिलाते हैं, जिससे रोबोट को पूरी तरह से अलग वातावरण के अनुकूल होने के लिए मजबूर किया जाता है।

परिणामस्वरूप पाँच अलग-अलग "गेम्स" का एक सेट मिलता है, जिनमें से प्रत्येक में 5 से 13 अलग-अलग "लेवल" (कार्य) हैं। प्रत्येक गेम के लिए, उन्होंने ऊपर बताए गए छह अलग-अलग ऑर्डरिंग प्रदान की है। इसका मतलब है कि शोधकर्ता अब अपने रोबोटों का निष्पक्ष तरीके से परीक्षण कर सकते हैं, यह देखते हुए कि क्या रोबोट धीमे ड्रिफ्ट, अचानक झटके, या आसान और कठिन स्तरों के मिश्रण को संभाल सकता है।

उन्होंने क्या पाया (और क्या नहीं)

लेखकों ने अपने नए परीक्षणों को विभिन्न प्रकार के अनोमली डिटेक्शन मॉडल पर चलाया। उन्होंने पाया कि:

• परीक्षण कठिन लेकिन निष्पक्ष हैं: जब उन्होंने रोबोट को बिना किसी विशेष मेमोरी ट्रिक्स के सीखने दिया (एक "नेइव" दृष्टिकोण), तो रोबोट ने जो कुछ भी सीखा था उसे बहुत अधिक भुला दिया। यह अच्छा है! इसका मतलब है कि परीक्षण वास्तव में चुनौतीपूर्ण है। यदि रोबole कुछ भी नहीं भूलते, तो परीक्षण बहुत आसान होता।
• मेमोरी मदद करती है: जब रोबोटों को एक छोटा "रिप्ले बफर" (पुराने डेटा की एक छोटी स्मृति) रखने की अनुमति दी गई, तो उनका प्रदर्शन बहुत बेहतर हुआ। यह पुष्टि करता है कि ये नए परिदृश्य यह परीक्षण करने के लिए अच्छे हैं कि क्या एक रोबोट वास्तव में अपने अतीत को याद रख सकता है।
• सभी रोबोट समान नहीं हैं: कुछ मॉडल नए चीजें सीखने में बहुत अच्छे थे लेकिन पुरानी चीजों को याद रखने में बहुत खराब थे। अन्य दोनों में ठीक थे। नया फ्रेमवर्क हमें इन अंतरों को स्पष्ट रूप से देखने में मदद करता है।

हालाँकि, लेखक यह दावा करने में सावधान हैं कि उन्होंने कंटीन्यूल लर्निंग की समस्या को "हल" कर दिया है। उन्होंने एक नया रोबोट नहीं बनाया जो हर गेम जीतता है। इसके बजाय, उन्होंने एक बेहतर स्कोरबोर्ड और बेहतर सेट ऑफ गेम्स बनाया है। उन्होंने दिखाया कि पिछले परीक्षण के तरीके अक्सर दोषपूर्ण थे क्योंकि कार्य पर्याप्त रूप से विशिष्ट नहीं थे या उनका क्रम खराब था।

उन्होंने कुछ सीमाएँ भी नोट कीं। उनके परीक्षण वर्तमान में केवल साइबर सुरक्षा डेटा (कंप्यूटर ट्रैफिक) के लिए हैं। उन्हें अभी तक नहीं पता कि क्या यह फ्रेमवर्क मेडिकल डेटा या स्टॉक मार्केट डेटा के लिए भी उतना ही सटीक काम करता है, हालांकि उन्हें संदेह है कि यह करेगा। इसके अलावा, इन परीक्षणों को बनाने के लिए बहुत अधिक कंप्यूटर पावर की आवश्यकता थी क्योंकि उन्हें यह जांचने के लिए कई "सिंगल-टास्क एक्सपर्ट्स" को प्रशिक्षित करना पड़ा कि कार्य अच्छे हैं या नहीं।

यह क्यों महत्वपूर्ण है

कल्पना कीजिए कि आप एक बच्चे को फुटबॉल खेलना सिखा रहे हैं। यदि आप उन्हें केवल एक दीवार के खिलाफ खेलने देते हैं जो कभी नहीं हिलती, तो वे सोच सकते हैं कि वे प्रो हैं। लेकिन यदि आप उन्हें एक ऐसे मैदान पर रखते हैं जहाँ असली खिलाड़ी हैं जो हर मिनट अपनी रणनीति बदलते हैं, तो आप देखेंगे कि क्या वे वास्तव में अच्छे हैं।

यह पेपर उस असली मैदान को बनाने जैसा है। यह वैज्ञानिकों को एक सिद्धांतपूर्ण, पुनरुत्पादक तरीका देता है कि वे यह परीक्षण कर सकें कि उनके "रोबोट" वास्तव में सीख रहे हैं और अनुकूल हो रहे हैं, या वे केवल एक ट्रिक को याद कर रहे हैं। इन पाँच परिदृश्यों और छह ऑर्डरिंग प्रदान करके, लेखक कह रहे हैं, "यहाँ एक निष्पक्ष खेल का मैदान है। अब, देखते हैं कि वास्तव में कौन सीख सकता है।"

पेपर निष्कर्ष निकालता है कि भले ही उन्होंने रोबोटों को ठीक नहीं किया है, लेकिन उन्होंने उन्हें मापने के तरीके को ठीक कर दिया है। यह एक महत्वपूर्ण कदम है क्योंकि, जैसा कि लेखक बताते हैं, आप किसी सिस्टम को सुधार नहीं सकते यदि आप उसे सही ढंग से माप नहीं सकते। उन्होंने समुदाय को उपकरणों का एक नया सेट सौंपा है ताकि यह सुनिश्चित किया जा सके कि अगली पीढ़ी के अनोमली डिटेक्टर्स वास्तव में बदलती दुनिया के लिए तैयार हैं।