Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection

कल्पना कीजिए कि आप एक रोबोट को चिड़ियाघर में जानवरों को पहचानना सिखा रहे हैं। शुरू में, आप उसे शेर और बाघों की तस्वीरें दिखाते हैं। रोबोट उन्हें पूरी तरह से पहचानना सीख जाता है। फिर, आप उसे जेब्रा और जिराफ के बारे में सिखाने का निर्णय लेते हैं। यहाँ पेचीदा हिस्सा यह है कि आप रोबोट को शेर और बाघों की तस्वीरें दोबारा नहीं दिखा सकते क्योंकि आपने उन पुरानी तस्वीरों को निजी रखने का वादा किया था, या शायद आपने जगह बचाने के लिए उन्हें फेंक दिया है। यदि आप केवल रोबोट को नए जानवर दिखाते हैं, तो वह भ्रमित हो सकता है। वह यह सोचने लग सकता है कि जेब्रा एक घोड़ा है, या इससे भी बुरा, वह भूल सकता है कि शेर कैसा दिखता था क्योंकि उसका दिमाग नई चीजें सीखने में बहुत व्यस्त है। यह एक समस्या है जिसे "कैटैस्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) कहा जाता है, और ऐसा तब होता है जब कंप्यूटर अपनी पुरानी यादों को खोए बिना नई चीजें सीखने की कोशिश करता है।

कंप्यूटर विजन की दुनिया में, इसे इन्क्रीमेंटल ऑब्जेक्ट डिटेक्शन (Incremental Object Detection) के रूप में जाना जाता है। यह एक कैमरा सिस्टम को वस्तुओं की नई श्रेणियों (जैसे फल का एक नया प्रकार या वाहन का एक नया प्रकार) को पहचानने के लिए सिखाने की चुनौती है, जबकि वह पुराने ऑब्जेक्ट्स को पहचानने की क्षमता भी बनाए रखे, और वह भी पुराने प्रशिक्षण चित्रों को देखे बिना। आमतौर पर, वैज्ञानिक इसे हल करने के लिए "पुराने" ज्ञान और "नए" ज्ञान के बीच एक दीवार बनाने की कोशिश करते हैं, जिससे कंप्यूटर को उन्हें अलग-अलग मानसिक बक्सों में रखने के लिए मजबूर किया जाता है। लेकिन एक नया शोध पत्र सुझाव देता है कि दीवार बनाना वास्तव में गलत कदम हो सकता है। इसके बजाय, वे प्रस्ताव देते हैं कि हमें यह देखना चाहिए कि वस्तुएं स्वाभाविक रूप से एक साथ कैसे रहती हैं। वास्तविक दुनिया में, वस्तुएं अक्सर जोड़ों या समूहों में दिखाई देती हैं (जैसे घोड़ा और सवार, या संतरे के बगल में सेब) और कभी-कभी वे एक-दूसरे के पीछे छिपी होती हैं। लेखक तर्क देते हैं कि ये अव्यवस्थपूर्ण, ओवरलैपिंग संबंध वास्तव में कंप्यूटर के लिए मददगार सुराग हैं जो उसे बेहतर याद रखने में मदद कर सकते हैं, न कि शोर जिसे साफ करने की आवश्यकता है।

---

शोध पत्र: दोस्तों को देखते हुए रोबोट को याद रखना सिखाना

यह शोध पत्र एक चतुर नई विधि पेश करता है जिसे सिम्बायोसिस-इंस्पायर्ड नॉलेज डिस्टिलेशन (SIKC) कहा जाता है। इसे एक रोबोट को पुराने और नए दोस्तों के बीच बातचीत को देखने देने के तरीके के रूप में समझें, बजाय इसके कि उन्हें अलग-अलग कमरों में बैठने के लिए मजबूर किया जाए।

Xidian यूनिवर्सिटी की टीम के लेखकों ने देखा कि अधिकांश मौजूदा विधियाँ बहुत सख्त होने की कोशिश करती हैं। जब एक रोबोट एक तस्वीर देखता है जिसमें एक पुराना ऑब्जेक्ट (जैसे संतरा) और एक नया ऑब्जेक्ट (जैसे सेब) दोनों शामिल हैं, तो पुरानी विधियाँ संतरे को अनदेखा करने की कोशिश करती हैं यदि वह सेब को छू रहा है, या वे यह दिखाने की कोशिश करती हैं कि संतरा वहां मौजूद ही नहीं है। वे ऐसा इसलिए करते हैं क्योंकि उन्हें डर है कि रोबोट भ्रमित हो जाएगा। लेकिन लेखक कहते हैं, "रुकिए! प्रकृति में, चीजें सह-अस्तित्व में रहती हैं। एक व्यक्ति का घोड़े की सवारी करना दो चीजों के एक ही स्थान साझा करने का एक क्लासिक उदाहरण है।" इन साझा स्थानों को अनदेखा करके, रोबोट दुनिया के बारे में काम करने वाले बहुमूल्य संकेतों को खो देता है।

इसे ठीक करने के लिए, SIKD दो विशेष तकनीकों का उपयोग करता है जो रोबोट के मस्तिष्क के लिए एक सुपर-संगठित अध्ययन समूह की तरह काम करती हैं:

1. "ओवरलैप पहचानें" वाली ट्रिक (स्पेशियल सिम्बायोसिस डिस्टिलेशन)
कल्पना कीजिए कि आप एक फोटो देख रहे हैं जहाँ एक नया सेब आंशिक रूप से एक पुराने संतरे के पीछे छिपा हुआ है। एक सख्त शिक्षक कह सकता है, "संतरे को अनदेखा करो, यह रास्ते में है।" लेकिन SIKD कहता है, "देखो! संतरा अभी भी वहीं है, और वह हमें यह समझने में मदद कर रहा है कि सेब कहाँ है।"
यह विधि "सिम्बायोटिक रीजन" (symbiotic regions) की पहचान करती है—वे स्थान जहाँ पुराने और नए ऑब्जेक्ट ओवरलैप होते हैं या एक साथ दिखाई देते हैं। यह रोबोट के दृश्य को साफ करने के लिए एक विशेष मॉड्यूल (जिसे CFE कहा जाता है) का उपयोग करता है। यह रोबोट को बताता है: "संतरे के सामान्य आकार को बनाए रखें, लेकिन इसे सेब के साथ भ्रमित न होने दें।" फिर, यह नए रोबोट मॉडल को इन विशिष्ट स्थानों पर ध्यान केंद्रित करना सिखाता है, यह सुनिश्चित करता है कि वह यह याद रखे कि संतरे और सेब एक ही स्थान साझा कर सकते हैं बिना आपस में मिले। यह भीड़भाड़ वाले स्थानों में रोबोट के स्थानिक मानचित्र (spatial map) को सटीक बनाए रखने में मदद करता है।

2. "ग्रुप हग" वाली ट्रिक (सिमेंटिक सिम्बायोसिस डिस्टिलेशन)
जबकि पहली ट्रिक इस पर देखती है कि चीजें कहाँ हैं, यह वाली इस पर देखती है कि चीजें क्या हैं। कल्पना कीजिए कि रोबोट के पास सभी पुराने फलों की एक मानसिक सूची है। जब वह एक नए फल के बारे में सीखता है, तो वह गलती से यह बदल सकता है कि "संतरा" क्या है।
SIKD हर पुराने क्लास के लिए एक "प्रोटोटाइप" (prototype) बनाता है। प्रोटोटाइप को एक संतरे की आदर्श, औसत मानसिक छवि के रूप में समझें। विधि फिर इन छवियों के प्रति रोबोट के आत्मविश्वास की जांच करती है। यदि रोबोट 90% आश्वस्त है कि यह एक संतरा है, तो उस छवि को समूह में एक बड़ा वोट मिलेगा। यदि वह केवल 50% आश्वस्त है, तो उसे छोटा वोट मिलेगा।
जादू तब होता है जब रोबोट नए क्लास को सीखता है। SIKD यह सुनिश्चित करता है कि रोबोट पुराने क्लासेस की रैंकिंग को समान रखे। यदि एक संतरे को हमेशा "केले की तुलना में टैंजरीन के अधिक करीब" माना जाता था, तो रोबोट को यह संबंध सत्य बनाए रखना होगा, भले ही उसने सेब के बारे में सीखा हो। यह रोबोट को उसके पूरे मेमोरी को अस्त-व्यस्त करने से रोकता है क्योंकि उसने कुछ नया सीखा है।

उन्होंने क्या पाया

टीम ने एक प्रसिद्ध डेटासेट COCO 2017 पर अपने तरीके का परीक्षण किया, जिसमें वस्तुओं की 80 विभिन्न श्रेणियां शामिल हैं। उन्होंने एक चुनौती सेट की जहाँ रोबोट ने पहले 70 श्रेणियां सीखीं और फिर उसे 10 नई श्रेणियां सीखनी थीं (एक सेटअप जिसे 70+10 कहा जाता है)।

• परिणाम: SIKD विधि ने लगभग हर उस विधि से बेहतर प्रदर्शन किया जिसकी तुलना उनसे की गई थी। 70+10 परीक्षण में, उनके रोबोट ने 44.3% का AP (औसत शुद्धता) प्राप्त किया, जो पिछले सर्वश्रेष्ठ नॉन-मेमोरी तरीकों को स्पष्ट अंतर से पीछे छोड़ देता है।
• तुलना: उन्होंने एक 40+40 स्प्लिट (पहले 40 सीखना, फिर 40 और सीखना) पर भी परीक्षण किया। यहाँ, SIKD ने 43.3% स्कोर किया, और फिर से शीर्ष पर रहा।
• "नो मेमोरी" का लाभ: कई अन्य शीर्ष विधियाँ "एक्सेम्पलर" (exemplars) का उपयोग करती हैं, जिसका अर्थ है कि वे रोबोट को याद दिलाने के लिए पुरानी तस्वीरों का एक छोटा एल्बम रखती हैं। SIKD ने बिना किसी पुरानी तस्वीर के काम किया, फिर भी इसने उन तरीकों को हरा दिया जिन्होंने उनका उपयोग किया था। यह एक बड़ी बात है क्योंकि इसका मतलब है कि रोबोध बिना किसी निजी डेटा को स्टोर किए सीख सकता है।

उन्होंने हवाई तस्वीरों के एक डेटासेट DIOR पर भी परीक्षण किया, जहाँ जहाज और विमान जैसे ऑब्जेक्ट अक्सर एक-दूसरे के ऊपर होते हैं। यहाँ, SIKD ने अन्य तरीकों की तुलना में स्कोर में 6.2 से 9.0 अंक का सुधार किया, जो दर्शाता है कि "सिम्बायोसिस" का विचार तब भी काम करता है जब वस्तुओं को ऊपर से एक-दूसरे के ऊपर रखा गया हो।

यह क्यों महत्वपूर्ण है

शोध पत्र सुझाव देता है कि वास्तविक दुनिया में वस्तुओं के अस्तित्व के अव्यवस्थित, ओवरलैपिंग वास्तविकता को अपनाकर, हम स्मार्ट रोबोट बना सकते हैं जो जो सीखा है उसे भूलते नहीं हैं। अतीत को वर्तमान से अलग करने के बजाय, SIKD अतीत और वर्तमान के बीच के संबंध को एक पुल के रूप में उपयोग करता है। लेखकों ने पाया कि यह दृष्टिकोण न केवल रोबोट को पुरानी चीजों को बेहतर ढंग से याद रखने में मदद करता है, बल्कि यह भी रोकता है कि नई चीजें आने पर वह भ्रमित हो जाए।

अपने प्रयोगों में, उन्होंने दिखाया कि यह विधि पुराने और नए क्लासेस के बीच भ्रम को कम करती है। उदाहरण के लिए, एक विजुअल टेस्ट में, SIKD का उपयोग करने वाला रोबोट पुराने तरीकों वाले रोबोटों की तुलना में पुराने ऑब्जेक्ट को नए ऑब्जेक्ट के रूप में पहचानने की संभावना बहुत कम रखता था। लेखक निष्कर्ष निकालते हैं कि यह "सिम्बायोसिस" दृष्टिकोण निरंतर सीखने वाले AI बनाने के लिए एक आशाजनक तरीका है, ठीक वैसे ही जैसे इंसान सीखते हैं, बिना हर उस तस्वीर को याद रखने की आवश्यकता के जिसे उन्होंने कभी देखा है।