What is the Right Embedding Space for Contrastive Learning in REC?
यह शोध पत्र C-REX को प्रस्तुत करता है, जो एक प्लग-इन सुपरवाइज्ड कॉन्ट्रास्टिव लर्निंग फ्रेमवर्क है जो नेगेटिव सैंपलिंग को टेक्स्ट से इमेज के भीतर विजुअल टोकन में स्थानांतरित करके रिफरिंग एक्सप्रेशन काउंटिंग में सुधार करता है, जिससे बेहतर फाइन-ग्रैन्ड विजुअल डिस्क्रिमिनेशन और जनरलाइजेशन के माध्यम से स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक बिखरे हुए कमरे में चीजों को गिनना सिखा रहे हैं। यदि आप केवल "कुर्सियों को गिनो" कहते हैं, तो रोबोट हर कुर्सी को गिन सकता है, यहाँ तक कि टूटी हुई या अलग रंग की पेंट की हुई कुर्सियों को भी। लेकिन क्या होगा यदि आप रोबोट को केवल "पहियों वाली लाल कुर्सियों" को गिनने के लिए कहना चाहते हैं? यह एक कठिन कार्य है जिसे रेफरिंग एक्सप्रेशन काउंटिंग (Referring Expression Counting) कहा जाता है। यह बिल्कुल वैसा ही है जैसे किसी दोस्त से भीड़ में "नीली टोपी वाले आदमी" को खोजने के लिए कहना, जहाँ बहुत से लोगों ने टोपियाँ पहनी हुई हैं। चुनौती यह है कि रोबोट को चित्र के सूक्ष्म विवरणों (नीली टोपी) को समझना होगा और उन्हें आपके द्वारा कहे गए शब्दों के साथ पूरी तरह से मिलाना होगा।
इसे करने के लिए, कंप्यूटर अक्सर कॉन्ट्रास्टिव लर्निंग (Contrastive Learning) नामक तकनीक का उपयोग करते हैं। इसे "स्पॉट द डिफरेंस" (अंतर पहचानें) के खेल की तरह समझें। कंप्यूटर एक तस्वीर और एक वाक्य को देखता है, फिर यह पता लगाने की कोशिश करता है कि तस्वीर के कौन से हिस्से वाक्य से मेल खाते हैं और कौन से नहीं। आमतौर पर, कंप्यूटर तस्वीर और शब्दों की आपस में तुलना करता है, और उन्हें अपने दिमाग में एक साथ "फिट" करने की कोशिश करता है। लेकिन कभी-कभी, जिस तरह से कंप्यूटर तस्वीरों को समझता है और जिस तरह से वह शब्दों को समझता है, वे आपस में पूरी तरह मेल नहीं खाते, जैसे किसी चौकोर खांचे में गोल चीज़ को फिट करने की कोशिश करना। यह शोध पत्र एक सरल लेकिन बड़ा सवाल पूछता है: क्या इस "स्पॉट द डिफरेंस" खेल को खेलने के लिए कंप्यूटर के पास कोई बेहतर जगह है?
इस शोध पत्र के लेखक, कोस्टास ट्रियारिडिस और उनकी टीम, सुझाव देते हैं कि कंप्यूटर गलत कमरे में खेल रहा है। तस्वीरों की तुलना शब्दों से करने के बजाय (जो कि उलझन भरा और भ्रमित करने वाला हो सकता है), वे प्रस्तावित करते हैं कि कंप्यूटर को केवल तस्वीरों की तुलना अन्य तस्वीरों से करनी चाहिए। वे अपने इस नए तरीके को C-REX कहते हैं।
C-REX कैसे काम करता है, इसके लिए एक मजेदार उदाहरण देखते हैं: कल्पना कीजिए कि आप एक शिक्षक हैं जो जानवरों की मिली-जुली तस्वीरों के ढेर को छाँटने की कोशिश कर रहे हैं।
- पुराना तरीका (इमेज-टेक्स्ट): आप एक कुत्ते की फोटो दिखाते हैं और "कुत्ता" लिखा हुआ एक कार्ड दिखाते हैं। फिर आप एक बिल्ली की फोटो और "कुत्ता" लिखा हुआ कार्ड दिखाते हैं। आप छात्र को फोटो को कार्ड से मिलाने के लिए सिखाने की कोशिश करते हैं। लेकिन कभी-कभी छात्र भ्रमित हो जाता है क्योंकि कार्ड और फोटो एक जैसे नहीं दिखते। इसके अलावा, आपके पास दिखाने के लिए केवल कुछ ही कार्ड हैं, इसलिए छात्र को पर्याप्त अभ्यास नहीं मिल पाता।
- नया तरीका (C-REX): आप कार्डों को हटा देते हैं। इसके बजाय, आप छात्र को बस तस्वीरों का एक बड़ा ढेर दिखाते हैं। आप कहते हैं, "इस कुत्ते की फोटो को देखो। अब, इन अन्य सभी फोटो को देखो। इनमें से कौन सी भी कुत्ते हैं? और कौन सी निश्चित रूप से कुत्ते नहीं हैं?" क्योंकि आपके पास सैकड़ों फोटो का ढेर है, छात्र बार-बार अंतर पहचानने का अभ्यास कर पाता है। वे उन सूक्ष्म विवरणों को देखना सीख जाते हैं जो एक कुत्ते को कुत्ता बनाते हैं, बिना शब्दों के कारण विचलित हुए।
शोध से पता चला है कि यह "केवल-चित्र" वाला दृष्टिकोण बहुत बेहतर है। पूरी तरह से चित्र के भीतर के दृश्य विवरणों पर ध्यान केंद्रित करके, कंप्यूटर बहुत समान चीजों के बीच अंतर करना सीख जाता है—जैसे कि साइकिल चलाते व्यक्ति और मोटरसाइकिल चलाते व्यक्ति के बीच का अंतर—कहीं अधिक सटीकता से। लेखकों ने तीन अलग-अलग कंप्यूटर मॉडल पर इसका परीक्षण किया और पाया कि C-REX ने उन्हें काफी स्मार्ट बना दिया। वास्तव में, मॉडल सही ढंग से गिनने में (जिसे MAE नामक स्कोर से मापा जाता है) 28% तक बेहतर और बड़ी गलतियों को संभालने में (जिसे RMSE से मापा जाता है) 24.5% बेहतर हुए।
शोधकर्ताओं ने यह भी दिखाया कि यह तकनीक केवल शब्दों के साथ विशिष्ट चीजों को गिनने के लिए ही नहीं है; यह किसी भी प्रकार की वस्तुओं को गिनने के लिए भी काम करती है। उन्होंने इसे एक बहुत ही उन्नत, सामान्य-उद्देश्य वाले रोबोट मस्तिष्क (एक लार्ज लैंग्वेज मॉडल) पर भी आजमाया और पाया कि विशेष C-REX तरीका अभी भी इस काम में बहुत बेहतर था।
संक्षेप में, यह शोध पत्र सुझाव देता है कि जब कंप्यूटर को भीड़ में विशिष्ट चीजों को गिनना सिखाना हो, तो हमें उन्हें शब्दों को तस्वीरों से मिलाने पर निर्भर नहीं रहना चाहिए। इसके बजाय, हमें उन्हें तस्वीरों की तुलना तस्वीरों से करने देना चाहिए, जिससे उन्हें दृश्य उदाहरणों का एक विशाल मैदान मिले जहाँ वे सीख सकें। यह सरल बदलाव उन्हें बहुत अधिक सटीक, स्थिर और वास्तविक दुनिया के लिए तैयार बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।