ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models
ZOMP एक क्वेरी-कुशल (query-efficient), पूर्णतः फॉरवर्ड-ओनली विधि है जो क्रॉस-मोडल लो-रैंक रीपैरामीट्राइजेशन (cross-modal low-rank reparameterization), ग्रेडिएंट-करेक्शन मोमेंटम (gradient-correction momentum) और एक डायनेमिक रैंक शेड्यूल का लाभ उठाकर फ्रोजन CLIP मॉडल्स के विजन और टेक्स्ट दोनों शाखाओं में डीप प्रॉम्प्ट्स को ऑप्टिमाइज़ करती है, जो सिमुल्टेनियस परटर्बेशन स्टोकेस्टिक एप्रोक्सिमेशन (simultaneous perturbation stochastic approximation) का उपयोग करते हुए कई बेंचमार्क पर मौजूदा ज़ीरो-ऑर्डर दृष्टिकोणों से बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने पूरा इंटरनेट पढ़ लिया है और शब्दों और चित्रों दोनों को समझना सीख लिया है। यह एक जीनियस लाइब्रेरियन की तरह है जो केवल देखकर तुरंत बता सकता है कि फोटो किस बारे में है, या एकदम सटीक वाक्यों का उपयोग करके किसी दृश्य का वर्णन कर सकता है। इस रोबोट को 'विज़न-लैंग्वेज मॉडल' कहा जाता है, और यह अविश्वसनीय रूप से शक्तिशाली है। लेकिन यहाँ एक पेंच है: आमतौर पर, इस रोबोट को कोई नया हुनर सिखाने के लिए—जैसे कि किसी विशेष प्रकार के दुर्लभ फूल या किसी अजीब मेडिकल स्कैन को पहचानना—आपको इसे अपने ही दिमाग को "रीवायर" करने की अनुमति देनी पड़ती है। यह प्रक्रिया बहुत भारी है, जैसे कि एक विशाल पुस्तकालय को तब फिर से व्यवस्थित करना जब वह अभी भी जनता के लिए खुला हो, और इसके लिए बहुत अधिक कंप्यूटिंग पावर और मेमोरी की आवश्यकता होती है।
कभी-कभी, आप ऐसा नहीं कर सकते। शायद वह रोबोट आपकी जेब में रखे एक छोटे, बैटरी से चलने वाले डिवाइस में रहता है, या यह एक गुप्त सेवा है जिससे आप केवल एक चैट विंडो के माध्यम से बात कर सकते हैं जो आपको यह नहीं देखने देती कि वह कैसे सोचता है। इन मामलों में, आप रोबोट के दिमाग को रीवायर नहीं कर सकते; आप केवल उसे नए निर्देश फुसफुसाकर दे सकते हैं। इसे "प्रॉम्प्ट ट्यूनिंग" कहा जाता है। रोबोट के दिमाग को बदलने के बजाय, आप उसे कुछ विशेष संकेत या "प्रॉम्प्ट्स" देते हैं ताकि वह एक नई पहेली को हल करने में सक्षम हो सके। समस्या यह है कि सही संकेतों को खोजना अक्सर बहुत अधिक परीक्षण और त्रुटि (trial and error) की मांग करता है, और यदि आप रोबोट के आंतरिक विचारों (ग्रेडिएंट्स) को नहीं देख सकते, तो यह आँखों पर पट्टी बांधकर घास के ढेर में सुई खोजने जैसा है। इसे सही करने के लिए आपको हजारों अनुमान लगाने पड़ सकते हैं, जो वास्तविक जीवन के लिए बहुत धीमा और महंगा है।
यहीं पर ZOMP नामक एक नई विधि आती है। ZOMP को एक चतुर जासूस के रूप में समझें जो "आँखों पर पट्टी बंधी हुई सुई खोजने" वाली समस्या को हल करने के लिए अपनी खोज करने के तरीके को बदल देता है। हर एक विवरण का अंदाज़ा एक साथ लगाने के बजाय, ZOMP सबसे महत्वपूर्ण हिस्सों का अंदाज़ा पहले लगाने और फिर धीरे-धीरे बाकी हिस्सों को भरने की एक स्मार्ट रणनीति का उपयोग करता है।
यह कैसे काम करता है, यहाँ कुछ मजेदार रूपकों (metaparenths) का उपयोग किया गया है:
"साझा ब्लूप्रिंट" (Shared Blueprint) की ट्रिक
आमतौर पर, जब आप रोबोट को नई चीजें सिखाने की कोशिश करते हैं, तो आपको उसकी "आँखों" (दृष्टि) और उसकी "आवाज़" (पाठ) के लिए अलग-अलग संकेत लिखने होते हैं। यदि आप एक ही समय में दोनों के लिए गहरे, जटिल संकेत लिखने की कोशिश करते हैं, तो संभावनाओं की संख्या इतनी बड़ी हो जाती है कि अंधाधुंध खोज खो जाती है। ZOMM खेल बदल देता है और कहता है, "आइए एक साझा ब्लूप्रिंट का उपयोग करें।" कल्पना कीजिए कि आँखों और आवाज़ के लिए संकेत दोनों एक ही छोटे से लेगो (Lego) ब्रिक्स के सेट से बने हैं। आपको केवल उन कुछ ईंटों को व्यवस्थित करने का तरीका पता लगाना है, और वे स्वचालित रूप से आँखों और आवाज़ दोनों के लिए सही संकेत बना देंगे। यह खोज के दायरे को छोटा और प्रबंधनीय रखता है, भले ही संकेत गहरे और जटिल हों।
"बजट-इंडेक्स्ड" विस्तार (Budget-Indexed Expansion)
साझा ब्लूप्रिंट के साथ भी, आँखों पर पट्टी बांधकर सभी ईंटों को एक साथ व्यवस्थित करना अभी भी बहुत कठिन है। ZOMP एक "बजट" प्रणाली का उपयोग करता है। कल्पना कीजिए कि आपके पास सबसे अच्छा संकेत खोजने के लिए सीमित संख्या में अनुमान (क्वेरीज़) हैं। ZOMP शुरुआत में केवल खुद को सबसे पहली, सबसे महत्वपूर्ण ईंट के साथ खेलने की अनुमति देकर शुरू करता है। यह उस एक टुकड़े के लिए सही दिशा पाता है। एक बार जब यह सुनिश्चित हो जाता है कि यह सही रास्ते पर है, तो यह अगली ईंट को "अनलॉक" करता है, फिर अगली, और एक विश्वसनीय दिशा मिलने पर ही धीरे-धीरे अपनी खोज का विस्तार करता है। यह गाड़ी चलाना सीखने जैसा है: आप एक खाली पार्किंग लॉट (एक छोटा खोज स्थान) से शुरू करते हैं, सहज होते हैं, और फिर धीरे-धीरे मोहल्ले की सड़कों पर, और अंत में हाईवे पर जाते हैं। आप अपने पहले ही दिन हाईवे पर गाड़ी चलाने की कोशिश नहीं करते।
"मोमेंटम" मेमोरी (Momentum Memory)
चूंकि खोज आँखों पर पट्टी बांधकर की जा रही है, इसलिए जो सुराग मिलते हैं वे अक्सर शोर भरे और अस्थिर होते हैं, जैसे उबड़-खाबड़ पानी में नाव पर चलना। ZOMP एक "मोमेंटम" मेमोरी जोड़ता है। इसे एक सर्फर के रूप में सोचें जो केवल हर लहर पर प्रतिक्रिया नहीं देता, बल्कि यह भी याद रखता है कि समुद्र सामान्य रूप से किस दिशा में धकेल रहा है। भले ही एक लहर उसे अगल-बगल धकेल दे, वह आगे बढ़ता रहता है क्योंकि उसे याद रहता है कि वह कहाँ जा रहा था। यह रोबोट को शोर को अनदेखा करने और उस पथ पर टिके रहने में मदद करता है जो वास्तव में काम करता है।
परिणाम
शोधकर्ताओं ने फूलों की पहचान करने से लेकर उपग्रह छवियों में वाहनों को पहचानने तक, 13 अलग-अलग चुनौतियों पर इस पद्धति का परीक्षण किया। उन्होंने ZOMP और अन्य विधियों को समान संख्या में अनुमान (5,000 क्वेरीज़) दिए। परिणामों ने दिखाया कि ZOMP ने अन्य विधियों की तुलना में लगातार बेहतर संकेत खोजे। यह केवल थोड़ा बेहतर नहीं हुआ; यह अक्सर उन कठिन कार्यों पर काफी अधिक सटीक था जहाँ रोबोट आमतौर पर संघर्ष करता है।
सबसे दिलचस्प बात यह है कि ZOMP केवल उस विशिष्ट कार्य के लिए बेहतर नहीं हुआ जिस पर इसे प्रशिक्षित किया गया था। यह उन नई, अजीब स्थितियों को संभालने में भी बेहतर हुआ जो इसने पहले कभी नहीं देखी थीं (जैसे कि किसी वस्तु की फोटो के बजाय उसका रेखाचित्र पहचानना)। यह सुझाव देता है कि सावधानीपूर्वक और कुशलता से खोज करके, ZOMP ने रोबोट के मौजूदा ज्ञान का उपयोग करने का एक स्मार्ट तरीका सीखा, न कि केवल प्रशिक्षण के उदाहरणों को रटा।
संक्षेप में, ZOMP साबित करता है कि रोबोट को स्मार्ट बनाने के लिए उसके दिमाग को फिर से वायर करने की आवश्यकता नहीं है। एक साझा ब्लूप्रिंट का उपयोग करके, खोज को धीरे-धीरे बढ़ाकर, और दिशा की एक स्थिर स्मृति बनाए रखकर, आप एक शक्तिशाली AI को नए हुनर सिखा सकते हैं, भले ही आप केवल उसे फुसफुसाकर बता सकें और आपके पास सीमित प्रयास हों। यह इन विशाल मॉडलों का अधिकतम लाभ उठाने का एक व्यावहारिक, कुशल तरीका है, जिसके लिए आपकी जेब में सुपरकंप्यूटर होने की आवश्यकता नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।