FOCUS: Dependence-Regularized Disentanglement for Domain Generalization
यह शोध पत्र FOCUS को प्रस्तुत करता है, जो एक डोमेन जनरलाइजेशन फ्रेमवर्क है जो म्यूचुअल इंफॉर्मेशन रेगुलराइजेशन के माध्यम से टास्क-रिलेवेंट और डोमेन-स्पेसिफिक फीचर्स को अलग करके मॉडल की मजबूती (robustness) को बढ़ाता है, यह प्रदर्शित करते हुए कि जबकि दोनों अपर-बाउंड (CLUB) और लोअर-बाउंड (MINE) एस्टिमेटर्स प्रदर्शन में प्रभावी रूप से सुधार करते हैं, प्राथमिक लाभ विशिष्ट एस्टिमेटर के चुनाव के बजाय स्वयं डिसेंटैंगलमेंट रणनीति से प्राप्त होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को कुत्ता पहचानना सिखा रहे हैं। आप उसे हजारों तस्वीरें दिखाते हैं: एक धूप वाले पार्क में गोल्डन रिट्रीवर, एक बरसाती गली में पूडल, बर्फ में एक हस्की। कंप्यूटर अच्छी तरह सीखता है, लेकिन यह शॉर्टकट का सहारा ले सकता है। कुत्ते को क्या चीज़ 'कुत्ता' बनाती है, यह सीखने के बजाय, वह शायद यह सीख रहा है कि आपकी तस्वीरों में कुत्ते हमेशा हरी घास पर या नीले आसमान के नीचे दिखाई देते हैं। यदि आप फिर कंप्यूटर को लाल कालीन पर कुत्ते की तस्वीर दिखाते हैं, तो वह पूरी तरह से विफल हो सकता है क्योंकि उसने जानवर को नहीं, बल्कि केवल पृष्ठभूमि को सीखा था। आर्टिफिशियल इंटेलिजेंस में यह एक आम समस्या है जिसे "डोमेन शिफ्ट" (domain shift) कहा जाता है, जहाँ एक मॉडल जो एक वातावरण में प्रशिक्षित किया गया है, स्थितियाँ बदलने पर संघर्ष करता है। वैज्ञानिक इसे कंप्यूटर को बदलते परिवेश को अनदेखा करने और केवल वस्तु की आवश्यक विशेषताओं पर ध्यान केंद्रित करने के लिए सिखाकर हल करने की कोशिश कर रहे हैं।
डेलावेयर विश्वविद्यालय के शोधकर्ताओं ने कंप्यूटर को ठीक यही करने में मदद करने के लिए एक नया तरीका प्रस्तावित किया है। वे अपने इस तरीके को FOCUS कहते हैं, जिसका अर्थ है 'फीचर ऑर्थोगोनलाइजेशन वाया कॉन्ट्रास्टिव अपर-बाउंड सेपरेशन' (Feature Orthogonalization via Contrastive Upper-bound Separation)। इसका मूल विचार कंप्यूटर को एक छवि की समझ को दो अलग-अलग भागों में विभाजित करने के लिए मजबूर करना है: एक भाग जो बताता है कि वस्तु क्या है, और दूसरा भाग जो बताता है कि फोटो कहाँ ली गई थी या उसकी शैली क्या है। इन दो सूचनाओं को सख्ती से अलग रखकर, कंप्यूटर नए, अनदेखे वातावरणों में वस्तुओं को पहचानने में बहुत बेहतर हो जाता है। शोधकर्ताओं ने इस विचार का परीक्षण छवियों के चार अलग-अलग सेटों पर किया, जिसमें स्केच और कार्टून से लेकर वन्य जीवन की वास्तविक दुनिया की तस्वीरें शामिल थीं। उन्होंने पाया कि उनके तरीके ने मौजूदा सर्वोत्तम तरीकों की तुलना में कंप्यूटर की सटीकता में 0.70% से 2.70% तक सुधार किया, जिसमें सबसे महत्वपूर्ण लाभ जंगली जानवरों की पहचान करने के कठिन कार्य में देखा गया।
शोधकर्ताओं ने एक सरल अवलोकन के साथ शुरुआत की: मानक कंप्यूटर विजन मॉडल अक्सर भ्रमित हो जाते हैं क्योंकि वे किसी वस्तु की पहचान को छवि की शैली के साथ मिला देते हैं। इसे ठीक करने के लिए, उन्होंने जानकारी को संसाधित करने के लिए दो अलग-अलग पथों, या "शाखाओं" (branches) वाला एक सिस्टम बनाया। एक शाखा छवि की सामग्री (content) को सीखने के लिए समर्पित है, जैसे कि कुत्ते का आकार या कार का रंग। दूसरी शाखा डोमेन (domain) को सीखने के लिए समर्पित है, जिसमें प्रकाश व्यवस्था, उपयोग किया गया कैमरा, या ड्राइंग की कलात्मक शैली जैसे कारक शामिल हैं। लक्ष्य यह है कि कंटेंट शाखा वस्तु को पहचानने में इतनी अच्छी हो जाए कि उसे बैकग्राउंड या शैली देखने की आवश्यकता न पड़े, जबकि डोमेन शाखा उन सभी अतिरिक्त विवरणों को पकड़ ले।
हालाँकि, केवल दो शाखाएँ होना ही पर्याप्त नहीं है। शोधकर्ताओं ने महसूस किया कि यदि इन दोनों शाखाओं को आपस में बहुत अधिक स्वतंत्र रूप से बात करने की अनुमति दी जाती है, तो कंटेंट शाखा अभी भी डोमेन शाखा से सुराग चुरा सकती है, जिससे कंप्यूटर वापस उन्हीं गलतियों पर जा सकता है। इसे रोकने के लिए, उन्होंने एक नियम पेश किया जो दोनों शाखाओं को सांख्यिकीय रूप से स्वतंत्र रहने के लिए मजबूर करता है। सरल शब्दों में, इसका अर्थ है कि कंटेंट शाखा में मौजूद जानकारी डोमेन शाखा की जानकारी की भविष्यवाणी करने में मदद नहीं करनी चाहिए, और इसके विपरीत भी। यदि कंप्यूटर सीखता है कि एक विशिष्ट आकार हमेशा एक विशिष्ट पृष्ठभूमि के साथ आता है, तो वह पृष्ठभूमि बदलने पर विफल हो जाता है। इस कड़ी को तोड़कर, कंप्यूटर केवल स्वयं आकार पर निर्भर रहने के लिए मजबूर होता है।
इस अलगाव को लागू करने के लिए, शोधकर्ताओं ने 'म्युचुअल इंफॉर्मेशन' (mutual information) नामक एक गणितीय उपकरण का उपयोग किया। म्युचुअल इंफॉर्मेशन को इस तरह सोचें कि यह एक माप है कि दो चीजें एक-दूसरे के बारे में कितना बताती हैं। यदि आप मौसम के बारे में जानते हैं, और वह आपको यह बताने में मदद करता है कि लोग छाते लेकर चल रहे हैं या नहीं, तो मौसम और छाते के बीच म्युचुअल इंफॉर्मेशन उच्च है। शोधकर्ता चाहते थे कि "क्या" (वस्तु) और "कहाँ" (डोमेल) के बीच म्युचुअल इंफॉर्मेशन शून्य के जितना संभव हो सके उतना करीब हो। उन्होंने इस संख्या की गणना करने का एक तरीका विकसित किया और फिर इसे प्रशिक्षण के दौरान एक दंड (penalty) के रूप में उपयोग किया। हर बार जब दोनों शाखाएं बहुत अधिक जानकारी साझा करने लगती थीं, तो सिस्टम एक दंड लागू करता था, जिससे वे वापस अलग हो जाती थीं।
यह शोध पत्र एक दिलचस्प मोड़ प्रस्तुत करता है कि यह गणना कैसे की जाती है। शोधकर्ताओं ने मूल रूप से एक ऐसा तरीका इस्तेमाल किया जो शाखाओं के बीच जुड़ाव की एक ऊपरी सीमा (upper limit) प्रदान करता है। इसके बाद उन्होंने एक अलग तरीके का परीक्षण किया जो एक निचली सीमा (lower limit) प्रदान करता है। यह दो शहरों के बीच की दूरी मापने जैसा है: एक तरीका गारंटी देता है कि दूरी एक निश्चित संख्या से अधिक नहीं है, जबकि दूसरा गारंटी देता है कि यह कम से कम एक निश्चित संख्या है। शोधकर्ता देखना चाहते थे कि इस दूरी की गणना करने का विशिष्ट तरीका अंतिम परिणाम के लिए मायने रखता है या नहीं। उन्होंने पाया कि दोनों तरीके बहुत अच्छी तरह से काम करते हैं। वह तरीका जो एक ऊपरी सीमा निर्धारित करता है, कुछ परीक्षणों में थोड़ा बेहतर स्कोर देता है, लेकिन निचली सीमा निर्धारित करने वाला तरीका भी लगभग उतना ही अच्छा प्रदर्शन करता है। यह सुझाव देता है कि कनेक्शन को मापने के लिए उपयोग किए जाने वाले विशिष्ट गणित का सबसे महत्वपूर्ण हिस्सा नहीं है, बल्कि सबसे महत्वपूर्ण बात कंप्यूटर को वस्तु को उसकी पृष्ठभूमि से अलग करने के लिए मजबूर करना है।
टीम ने यह सुनिश्चित करने के लिए कि उनका सिस्टम विभिन्न प्रकार की चुनौतियों में काम करे, चार प्रमुख बेंचमार्क पर अपने सिस्टम का परीक्षण किया। पहला छवियों का एक संग्रह था जो चार अलग-अलग शैलियों में वस्तुओं को दिखाता है: फोटो, पेंटिंग, कार्टून और स्केच। दूसरे में चार अलग-अलग डेटासेट शामिल थे, जो इस आधार पर भिन्न होते हैं कि उन्हें कैसे लिया गया था और उनमें कौन सी पृष्ठभूमि दिखाई गई थी। तीसरा, घरेलू और कार्यालय की वस्तुओं का एक बड़ा संग्रह था, जो कलात्मक रेखाचित्रों से लेकर वास्तविक दुनिया की उत्पाद तस्वीरों तक फैला हुआ था। चौथा, कैमरा ट्रैप द्वारा जंगल में ली गई छवियों का एक विशेष रूप से कठिन सेट था, जो उनके प्राकृतिक आवासों में जानवरों को दिखाता है। ये जंगली छवियां कठिन होती हैं क्योंकि स्थान के आधार पर बैकग्राउंड, लाइटिंग और कैमरा एंगल नाटकीय रूप से बदल जाते हैं, और कंप्यूटर अक्सर इन पर्यावरणीय संकेतों को जानवर की पहचान मान लेता है।
कलात्मक शैलियों और कार्यालय की वस्तुओं के परीक्षणों में, नए तरीके ने पिछले सर्वोत्तम तरीकों की तुलना में लगभग 0.70% से 1.26% की सटीकता में सुधार किया। हालांकि ये संख्याएँ छोटी लग सकती हैं, लेकिन आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक प्रतिशत का अंश भी महत्वपूर्ण है क्योंकि यह विश्वसनीयता में एक वास्तविक प्रगति का प्रतिनिधित्व करता है। सबसे नाटकीय सुधार, हालांकि, जंगली जानवरों की पहचान करने के कार्य में आया। यहाँ, नए तरीके ने सटीकता में 2.70% की वृद्धि की। यह एक बड़ी बढ़त है, जो सुझाव देती है कि यह तरीका प्रकृति में पाई जाने वाली अव्यवस्थित और अप्रत्याशित विविधताओं को संभालने में विशेष रूप से अच्छा है। शोधकर्ताओं ने नोट किया कि जंगल में, जहाँ कैमरा तेज धूप या गहरी छाया में हिरण को कैप्चर कर सकता है, कंप्यूटर अक्सर जानवर का अनुमान लगाने के लिए लाइटिंग पर निर्भर करता है। लाइटिंग को अनदेखा करने और केवल हिरण पर ध्यान केंद्रित करने के लिए मजबूर करके, सिस्टम बहुत अधिक मजबूत हो गया।
शोधकर्ताओं ने यह भी देखा कि प्रशिक्षण प्रक्रिया के दौरान कंप्यूटर कैसे सीखता है। उन्होंने पाया कि शाखाओं के बीच संबंध को मापने के लिए उनके द्वारा उपयोग किए गए दो अलग-अलग गणितीय तरीकों का व्यवहार काफी अलग था। एक तरीके ने ऐसी संख्याएँ उत्पन्न कीं जो सीखने की प्रक्रिया के अन्य हिस्सों के साथ स्वाभाविक रूप से संतुलित थीं, जिससे बिना निरंतर समायोजन के प्रशिक्षण आसान हो गया। दूसरे तरीके ने बहुत बड़ी संख्याएँ उत्पन्न कीं, जिसके लिए शोधकर्ताओं को उन्हें सावधानीपूर्वक स्केल डाउन करने की आवश्यकता पड़ी ताकि वे सीखने की प्रक्रिया पर हावी न हो जाएं। प्रशिक्षण के अनुभव में इन अंतरों के बावजूद, दोनों तरीकों ने समान अंतिम परिणाम दिए। यह निष्कर्ष महत्वपूर्ण है क्योंकि यह सुझाव देता है कि दृष्टिकोण की सफलता मजबूत है। यह किसी एक नाजुक गणितीय ट्रिक पर निर्भर नहीं है, बल्कि वस्तु को उसके संदर्भ से अलग करने के मौलिक सिद्धांत पर आधारित है।
अध्ययन यह निष्कर्ष निकालता है कि कंप्यूटर को वास्तविक दुनिया में अधिक विश्वसनीय बनाने की कुंजी उन्हें यह सिखाना है कि कोई वस्तु क्या है और उसे कहाँ देखा जाता है, इनके बीच अंतर कैसे किया जाए। वस्तु को पृष्ठभूमि और शैली के रूप में एक अलग इकाई के रूप में स्पष्ट रूप से मॉडल करके और फिर कंप्यूटर को उस इकाई को अनदेखा करने के लिए मजबूर करके, सिस्टम को धोखा देना बहुत कठिन हो जाता है। शोधकर्ताओं ने पाया कि हालांकि अलगाव को मापने के लिए उपयोग किए जाने वाले विशिष्ट उपकरण का यह महत्व है कि कंप्यूटर कैसे सीखता है, लेकिन अलगाव की क्रिया ही सुधार को प्रेरित करती है। यह दृष्टिकोण आर्टिफिशियल इंटेलिजेंस को ऐसे वातावरण में अनुकूल होने के लिए एक उज्ज्वल मार्ग प्रदान करता है जहाँ उसे हर बार दृश्य बदलने पर फिर से प्रशिक्षित करने की आवश्यकता नहीं होती।
अंत में, यह कार्य प्रदर्शित करता है कि कंप्यूटर की नई स्थितियों में सामान्यीकरण (generalize) करने की क्षमता केवल अधिक उदाहरण देखने के बारे में नहीं है, बल्कि सही प्रकार के उदाहरण देखने के बारे में है। एक वस्तु की स्थायी विशेषताओं और उसके वातावरण की अस्थायी विशेषताओं के बीच अंतर करना सिखाकर, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया है जिसके भ्रमित होने की संभावना बहुत कम है। परिणाम बताते हैं कि अलगाव की यह रणनीति आर्टिफिशियल इंटेलिजेंस को वास्तविक जीवन की जटिल और परिवर्तनशील दुनिया में अधिक भरोसेमंद और सक्षम बनाने के लिए एक शक्तिशाली उपकरण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।