From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model
यह शोधपत्र एक डेटा-कुशल ढांचे का प्रस्ताव करता है जो लेटेंट कंडीशनिंग के लिए पदानुक्रमित एम्बेडिंग प्रॉम्प्ट्स और फॉल्स नेगेटिव्स को समाप्त करने के लिए एक नवीन सेल्फ-अवेयर हार्ड नेगेटिव सैंपलिंग रणनीति का लाभ उठाकर जनरेटिव मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स को सुदृढ़ ज़ीरो-शॉट डिस्क्रिमिनेटिव एम्बेडिंग मॉडल्स में परिवर्तित करता है, जिससे न्यूनतम प्रशिक्षण डेटा के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। यह रोबोट, जिसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) कहा जाता है, एक प्रतिभाशाली कलाकार की तरह है जो एक तस्वीर देख सकता है और उस पर कविता लिख सकता है, या एक कहानी पढ़ सकता है और उसका एक दृश्य बना सकता है। यह चीजें 'बनाने' में अद्भुत है। लेकिन अब, वैज्ञानिक इस कलाकार का उपयोग कुछ अलग करने के लिए करना चाहते हैं: एक लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में कार्य करना। वे चाहते हैं कि रोबोट तस्वीरों और वाक्यों के एक बिखरे हुए ढेर को देखे और उन्हें तुरंत सटीक समूहों में छाँट दे, जिससे किसी भी पूछे गए प्रश्न के लिए सटीक मिलान मिल सके। इसे "एम्बेडिंग" (embedding) कहा जाता है।
समस्या यह है कि रोबोट को एक रचनात्मक लेखक के रूप में प्रशिक्षित किया गया था, न कि एक सख्त लाइब्रेरियन के रूप में। इसे लाइब्रेरियन बनाने के लिए, सामान्य तरीका यह है कि इसे लाखों किताबें पढ़वाई जाएं और लंबे समय तक छाँटने का अभ्यास कराया जाए, जिसमें बिजली और समय का भारी खर्च होता है। इससे भी बदतर बात यह है कि इसे सिखाने के पुराने तरीके अक्सर भ्रमित हो जाते हैं। कल्पना कीजिए कि रोबलेट एक "लाल गुलाब" खोजने की कोशिश कर रहा है। वह एक "गुलाबी गुलाब" देखता है और सोचता है, "यह लाल गुलाब नहीं है, इसलिए यह एक गलत उत्तर है!" लेकिन वास्तव में, एक गुलाबी गुलाब लाल गुलाब के बहुत समान होता है, और इसे "गलत उत्तर" कहना रोबोट को भ्रमित कर देता है। यह एक शिक्षक की तरह है जो एक छात्र को उसके उस अनुमान के लिए दंडित करता है जो वास्तव में सत्य के बहुत करीब था।
यह शोध पत्र एक चतुर नए तरीके से परिचय कराता है जो उस रचनात्मक कलाकार को एक तेज तर्रार लाइब्रेरियन में बदलने के लिए है, बिना उस विशाल, महंगे प्रशिक्षण मैराथन के। शोधकर्ताओं ने पाया कि आपको रोबोट के मस्तिष्क को फिर से शुरू से प्रशिक्षित करने की आवश्यकता नहीं है। इसके बजाय, आपको बस उसे निर्देशों का एक बहुत ही विशिष्ट सेट देना होगा—एक "पदानुक्रमित प्रॉम्प्ट" (hierarchical prompt)—जो उसे डेटा देखने से पहले ही बताता है कि उसे बिल्कुल कैसे व्यवहार करना है। इसे एक विशिष्ट चश्मे को पहनने जैसा समझें जो तुरंत रोबोट के दुनिया देखने के तरीके को बदल देता है, जिससे वह चीजों को पूरी तरह से छाँटने के लिए तैयार हो जाता है।
इससे भी बेहतर, उन्होंने एक नया खेल बनाया जिसे "सेल्फ-अवेयर हार्ड नेगेटिव सैंपलिंग" (SaHa) कहा जाता है ताकि रोबोट को बिना धोखा खाए अपनी गलतियों से सीखने में मदद मिल सके। आमतौर पर, जब रोबोट सीखने की कोशिश करता है, तो वह उन "कठिन" उदाहरणों को चुनता है जो लक्ष्य के बहुत समान होते हैं ताकि उन पर अभ्यास किया जा सके। लेकिन कभी-कभी, वह गलती से एक "नकली" उदाहरण चुन लेता है जो एक गलती की तरह दिखता है लेकिन वास्तव में भेष बदलकर आया एक सही मिलान है। पुराने तरीके केवल अनुमान लगाते थे और उम्मीद करते थे कि सब ठीक होगा। नई SaHa विधि एक जासूस की तरह है जो हर संदिग्ध के पहचान पत्र (ID कार्ड) की जाँच करता है। यह तय करने से पहले कि क्या कोई उदाहरण एक "हार्ड नेगेटिव" (एक कठिन लेकिन गलत उत्तर) है, रोबोट पूछता है, "यह उदाहरण वास्तव में किसका है?" यदि वह उदाहरण प्रश्न के ही "परिवार" से संबंधित है, तो रोबोट जानता है, "आह, यह कोई गलती नहीं है; यह वास्तव में एक सही उत्तर है!" और वह इसे "गलत" ढेर से बाहर निकाल देता है।
इन स्मार्ट चश्मों और जासूसी-शैली की जाँच को मिलाकर, शोधकर्ताओं ने दिखाया कि उनका रोबोट डेटा और समय के एक बहुत छोटे हिस्से का उपयोग करके एक शीर्ष स्तर का लाइब्रेरियन बन सकता है। उन्होंने 36 विभिन्न कार्यों के एक विशाल संग्रह पर इसका परीक्षण किया, जिसमें छवियों को खोजना या चित्रों के बारे में प्रश्नों के उत्तर देना शामिल था, और इसने लगभग किसी भी अन्य पद्धति से बेहतर प्रदर्शन किया, यहाँ तक कि उन विधियों से भी जिन्हें बहुत लंबे समय तक प्रशिक्षित किया गया था। उन्होंने यह भी पाया कि यह नया लाइब्रेरियन उन वीडियो क्लिप्स को भी समझ सकता था जिन्हें उसने पहले कभी नहीं देखा था, जो यह साबित करता है कि उसने वास्तव में दुनिया को समझना सीख लिया है, न कि केवल उत्तरों की एक विशिष्ट सूची को रटा है। शोध पत्र सुझाव देता है कि इन सरल लेकिन शक्तिशाली तरीकों का उपयोग करके, हम इन विशाल AI मॉडलों की छिपी हुई क्षमता को बिना भारी मात्रा में संसाधनों को जलाए अनलॉक कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।