CoDoL: Conditional Domain Prompt Learning for Out-of-Distribution Generalization
यह शोध पत्र CoDoL का प्रस्ताव करता है, जो एक नवीन कंडीशनल डोमेन प्रॉम्प्ट लर्निंग विधि है जो इनपुट-कंडीशनल टोकन उत्पन्न करने के लिए एक लाइटवेट डोमेन मेटा नेटवर्क का लाभ उठाता है, जिससे CLIP-आधारित मॉडलों में विजन-लैंग्वेज एम्बेडिंग अलाइनमेंट में सुधार होता है और आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन को बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास CLIP नाम का एक सुपर-स्मार्ट रोबोट लाइब्रेरियन है। इस रोबोट ने लाखों किताबें पढ़ी हैं और लाखों तस्वीरें देखी हैं। इसका काम एक नई तस्वीर को देखना और अपनी याददाश्त में मौजूद किसी वाक्य से उसे मिलाकर यह अनुमान लगाना है कि वह क्या है।
उदाहरण के लिए, यदि आप रोबोट को एक कुत्ते की तस्वीर दिखाते हैं, तो वह अपनी लाइब्रेरी में "एक कुत्ते की फोटो" (a photo of a dog) वाक्य को खोजता है। यदि मिलान मजबूत है, तो वह कहता है, "यह एक कुत्ता है!"
समस्या: नया वातावरण मिलने पर रोबोट भ्रमित हो जाता है
रोबोट उन चीजों को पहचानने में बहुत अच्छा है जिन्हें उसने पहले देखा है। लेकिन वास्तविक दुनिया में चीजें बदलती रहती हैं। एक कुत्ता कार्टून के रूप में, पेंसिल से स्केच के रूप में, या तेल चित्रकला (oil painting) के रूप में हो सकता है। ये अलग-अलग "डोमेन" (जैसे कि अलग कला शैलियाँ या रोशनी की स्थितियाँ) हैं।
जब रोबोट एक कार्टून कुत्ते को देखता है, तो वह "एक कुत्ते की फोटो" वाक्य से मिलान करने की कोशिश करता है। लेकिन एक कार्टून फोटो नहीं है! रोबोट भ्रमित हो जाता है क्योंकि विवरण पूरी तरह से फिट नहीं बैठता। इसे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) जनरलाइजेशन कहा जाता है। रोबोट "ट्रेनिंग रूम" में तो अच्छा काम करता है, लेकिन जब वह बाहर की अस्त-व्यस्त और विविध वास्तविक दुनिया में कदम रखता है, तो विफल हो जाता है।
इसे ठीक करने के पिछले प्रयासों में रोबोट को अपने वाक्यों को थोड़ा बदलने के लिए सिखाना शामिल था (जैसे कि "एक ... की तस्वीर" जोड़ना), लेकिन वे वाक्य अभी भी थोड़े अस्पष्ट थे और यह पूरी तरह से स्पष्ट नहीं कर पाते थे कि वह तस्वीर क्यों वैसी दिख रही थी।
समाधान: CoDoL (द कॉन्टेक्स्टुअल गाइड)
लेखकों ने CoDoL (कंडीशनल डोमेन प्रॉम्प्ट लर्निंग) नामक एक नया तरीका प्रस्तावित किया है। CoDoL को एक स्मार्ट, अनुकूलन योग्य मार्गदर्शिका (guidebook) देने के रूप में समझें।
केवल "एक कुत्ते की फोटो" कहने के बजाय, CoDoL रोबोट को यह कहना सिखाता है: "एक कुत्ते की फोटो [कार्टून शैली में]।"
यहाँ बताया गया है कि यह कैसे काम करता है, जिसे सरल भागों में विभाजित किया गया है:
डोमेन प्रॉम्प्ट ( "कहाँ" और "कैसे"):
रोबोट को बताया जाता है कि दुनिया में अलग-अलग "डोमेन" (जैसे फोटो, कार्टून, स्केच) होते हैं। CoDoL वाक्य में एक विशेष "डोमेन टोकन" जोड़ता है। यह वाक्य में एक लेबल जोड़ने जैसा है जो कहता है, "याद रखें, यह कुत्ता कार्टून शैली में है।" यह रोबोट को यह समझने में मदद करता है कि तस्वीर और टेक्स्ट एक साथ मेल खाते हैं, भले ही वे दिखने में अलग हों।डोमेन मेटा नेटवर्क ( "इंस्टेंट ट्रांसलेटर"):
कभी-कभी, एक कार्टून कुत्ता एक फोटो वाले कुत्ते से बहुत अलग दिखता है, लेकिन कभी-कभी एक विशिष्ट कार्टून कुत्ता एक विशिष्ट फोटो जैसा लग सकता है। इसे संभालने के लिए, लेखकों ने एक छोटा, हल्का सहायक नेटवर्क बनाया है जिसे DMN (डोमेन मेटा नेटवर्क) कहा जाता है।
- उपमा: कल्पना कीजिए कि रोबोट एक विशिष्ट तस्वीर देख रहा है। DMN एक त्वरित अनुवादक की तरह है जो तस्वीर को देखता है और फुसफुसाता है, "हे, इस विशिष्ट तस्वीर के लिए, वाक्य को थोड़ा एडजस्ट करें ताकि यह इन अनूठे विवरणों से मेल खा सके।"
- यह हर एक इमेज के लिए एक कस्टम "निर्देश" बनाता है और फिर उसे सामान्य "कार्टून शैली" के निर्देश के साथ जोड़ देता है।
यह क्यों काम करता है (एलाइनमेंट का जादू)
CoDoL का मुख्य लक्ष्य एलाइनमेंट (Alignment) है। कल्पना कीजिए कि रोबोट के पास दो अलग-अलग दराज हैं, एक तस्वीरों के लिए और एक शब्दों के लिए।
- पुराना तरीका: कार्टून कुत्ते की तस्वीर और "एक कुत्ते की फोटो" शब्द अलग-अलग दराजों में थे और वे आपस में अच्छी तरह फिट नहीं बैठते थे।
- CoDoL तरीका: "डोमेन" और "इंस्टेंस-स्पेसिफिक" निर्देश जोड़कर, CoDoL तस्वीर और शब्दों को रोबोट के दिमाग में एक-दूसरे के करीब लाता है। वे पूरी तरह से अपनी जगह पर फिट हो जाते हैं।
परिणाम
शोधकर्ताओं ने इसे चार अलग-अलग "दुनियाओं" (डेटासेट्स) पर परखा जहाँ रोबोट को विभिन्न शैलियों (जैसे फोटो बनाम स्केच) में वस्तुओं को पहचानना था।
- परिणाम: CoDoL ने सभी पिछले तरीकों को पछाड़ दिया। यह यह पहचानने में बेहतर था कि एक "कुत्ते का स्केच" और "कुत्ते का स्केच" शब्द एक साथ आते हैं, भले ही रोबोट ने पहले कभी वह विशिष्ट स्केच न देखा हो।
- दक्षता (Efficiency): सबसे अच्छी बात यह है कि रोबोट को शुरू से फिर से प्रशिक्षित करने की आवश्यकता नहीं थी। लेखकों को केवल रोबोट को कुछ नए "शब्द" (प्रॉम्प्ट्स) सिखाने और एक छोटा सा सहायक (DMN) जोड़ने की आवश्यकता थी। यह एक मास्टर शेफ को खाना बनाना फिर से सिखाने के बजाय उसे एक नई रेसिपी कार्ड देने जैसा है।
सारांश में
CoDoL एक चतुर तकनीक है जो AI को यह समझने में मदद करती है कि एक तस्वीर और उसका विवरण एक मैच है, भले ही तस्वीर वैसी न हो जैसी AI को मूल रूप से प्रशिक्षित किया गया था। यह ऐसा इसलिए करता है क्योंकि यह वाक्यों में अतिरिक्त संदर्भ (डोमेन) और कस्टम समायोजन (DMN) जोड़ता है, जिससे जो वह देखता है और जो वह पढ़ता है, उनके बीच का संबंध बहुत मजबूत और अधिक विश्वसनीय हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।