TIPSv2: Advancing Vision-Language Pretraining with Enhanced Patch-Text Alignment
यह शोध पत्र TIPSv2 प्रस्तुत करता है, जो विजन-लैंग्वेज मॉडल्स का एक नया परिवार है जो पैच-लेवल डिस्टिलेशन, एक बेहतर iBOT++ प्रीट्रेनिंग ऑब्जेक्टिव और अनुकूलित लर्निंग रेसिपी सहित नवीन तकनीकों के माध्यम से डेंस पैच-टेक्स्ट अलाइनमेंट को महत्वपूर्ण रूप से बढ़ाता है, जिससे विविध डाउनस्ट्रीम कार्यों में अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जो किसी तस्वीर को देख सकता है और समझ सकता है कि उसमें क्या है। लंबे समय तक, ये रोबोट दो अलग-अलग चीजों में बहुत अच्छे थे:
- "गिस्ट" (सार) वाला व्यक्ति: वे एक बिल्ली की फोटो देखकर कह सकते थे, "यह एक बिल्ली है!" (ग्लोबल समझ)।
- "पिक्सेल" वाला व्यक्ति: वे एक फोटो को देखकर सटीक रूप से बता सकते थे कि बिल्ली के कान कहाँ हैं और उसकी पूंछ कहाँ है (डेंस, पैच-लेवल समझ)।
लेकिन वे इन दोनों कौशलों को जोड़ने में बहुत खराब थे। यदि आप रोबोट से पूछते, "बिल्ली की पूंछ ढूंढो," तो वह भ्रमित हो जाता। वह जानता था कि बिल्ली क्या है, और वह जानता था कि पिक्सेल कहाँ हैं, लेकिन वह शब्द "पूंछ" को उन विशिष्ट पिक्सेल्स से नहीं जोड़ पाता जिनसे पूंछ बनी थी।
यह पेपर TIPSv2 पेश करता है, जो इस रोबोट का एक नया संस्करण है जो अंततः शब्दों को छवि के विशिष्ट हिस्सों से पूरी तरह जोड़ने में सक्षम है। उन्होंने यह कैसे किया, इसे कुछ रोजमर्रा के उपमाओं (analogies) के साथ समझाया गया है।
1. "शिक्षक-छात्र" का आश्चर्य (डिस्टिलेशन/Distillation)
आमतौर पर, AI ट्रेनिंग में, एक विशाल, शक्तिशाली "शिक्षक" (Teacher) मॉडल एक छोटे "छात्र" (Student) मॉडल को सिखाता है। आप उम्मीद करेंगे कि शिक्षक हर चीज में सर्वश्रेष्ठ होगा।
आश्चर्य: शोधकर्ताओं ने पाया कि जब उन्होंने एक विशाल शिक्षक का उपयोग एक छोटे छात्र को सिखाने के लिए किया, तो छात्र वास्तव में शिक्षक की तुलना में शब्दों को छवि के हिस्सों से जोड़ने में बेहतर हो गया!
- उपमा: कल्पना कीजिए कि एक प्रसिद्ध, व्यस्त कला प्रोफेसर (शिक्षक) है जो कला के इतिहास के बारे में सब कुछ जानता है, लेकिन छात्र को ब्रशस्ट्रोक के सूक्ष्म विवरण समझाने के लिए उसके पास बहुत कम समय है। छात्र (छात्र), हालांकि, हर एक ब्रशस्ट्रोक को देखने, उसे समझने और फिर प्रोफेसर को वापस समझाने के लिए मजबूर है। ऐसा करने में, छात्र विवरणों को प्रोफेसर की तुलना में बेहतर तरीके से सीख जाता है।
- सबक: "सिखाने" (डिस्टिलेशन) की प्रक्रिया ने मॉडल को सूक्ष्म विवरणों (पैचेस) पर ध्यान देने और उन्हें टेक्स्ट से जोड़ने के लिए मजबूर किया।
2. iBOT++: "सभी हाथों को काम पर लगाने" का नियम (All-Hands-On-Deck)
इन रोबोट्स को प्रशिक्षित करने का पुराना तरीका (जिसे iBOT कहा जाता है) छवि के साथ "लुका-छिपी" (Hide and Seek) के खेल जैसा था।
- पुराना तरीका (iBOT): शिक्षक ने इमेज के 75% हिस्से को एक कंबल से ढक दिया (मास्किंग)। छात्र को यह अनुमान लगाना था कि कंबल के नीचे क्या है, केवल दिखाई देने वाले हिस्सों के आधार पर। छात्र को केवल छिपे हुए हिस्सों के लिए "ग्रेड" दिया जाता था। दिखाई देने वाले हिस्सों को नजरअंदाज कर दिया गया था।
- समस्या: क्योंकि दिखाई देने वाले हिस्सों को नजरअंदाज किया गया था, इसलिए रोबोट ने दिखाई देने वाले शब्दों को दिखाई देने वाले पिक्सेल्स से जोड़ना नहीं सीखा। उसने केवल शब्दों को छिपे हुए अनुमानों से जोड़ना सीखा।
- सुधार (iBOT++): शोधकर्ताओं ने नियम बदल दिए। अब, रोबोट को छवि के हर एक हिस्से पर ग्रेड दिया जाता है, चाहे वह छिपे हुए हिस्से हों या दिखाई देने वाले हिस्से।
- उपमा: कल्पना कीजिए कि एक शिक्षक क्विज़ दे रहा है। पुराने तरीके में, शिक्षक केवल उन सवालों के जवाबों की जांच करता था जो छात्र को नहीं पता थे (छिपे हुए सवाल) और उन सवालों को अनदेखा कर देता था जो छात्र ने सही किए थे। नए तरीके में (iBOT++), शिक्षक हर एक उत्तर की जांच करता है, यह सुनिश्चित करता है कि छात्र पूरी तस्वीर को समझे, न कि केवल खाली जगहों को। इसने रोबोट को यह जानने में बहुत बेहतर बना दिया कि कौन सा शब्द किस पिक्सेल से संबंधित है।
3. Head-Only EMA: "स्टिकी नोट" रणनीति
इन विशाल AI मॉडल्स को प्रशिक्षित करने के लिए आमतौर पर एक "शैडो टीचर" (एक एक्सपोनेंशियल मूविंग एवरेज या EMA) की आवश्यकता होती है। यह मॉडल की एक दूसरी प्रति है जो स्थिर मार्गदर्शन प्रदान करने के लिए धीरे-धीरे चलती है।
- समस्या: मेमोरी में विशाल मॉडल की एक पूरी दूसरी प्रति रखना एक भारी बैग में दो भारी हाथियों को ले जाने जैसा है। यह महंगा और धीमा है।
- सुधार: शोधकर्ताओं ने महसूस किया कि उन्हें पूरे हाथी की प्रति बनाने की आवश्यकता नहीं है। उन्हें केवल "हेड" (वह हिस्सा जो वास्तव में उत्तर आउटपुट करता है) की प्रति बनाने की आवश्यकता थी।
- उपमा: एक दूसरा पूर्ण आकार का रोबोट ले जाने के बजाय, वे बस एक स्टिकी नोट ले जाते हैं जिस पर रोबोट का "मूड" या "दिशा" लिखा होता है। वे जैसे-जैसे आगे बढ़ते हैं, वे नोट को अपडेट करते हैं, लेकिन वे भारी रोबोट को नहीं ढोते। इससे मेमोरी की भारी बचत होती है और ट्रेनिंग बहुत तेज़ और सस्ती हो जाती है।
4. मल्टी-ग्रैनुलैरिटी कैपशन्स: "गोल्डीलॉक्स" की कहानी
रोबोट को सिखाने के लिए, उन्होंने छवियों के लिए टेक्स्ट विवरण (कैप्शन्स) का उपयोग किया।
- समस्या: कभी-कभी विवरण बहुत छोटे होते थे (केवल "बिल्ली"), और कभी-कभी वे बहुत लंबे और विस्तृत होते थे (बिल्ली के जीवन के बारे में 10 वाक्यों की कहानी)।
- बहुत छोटा: रोबोट पर्याप्त विवरण नहीं सीख पाता है।
- बहुत लंबा: रोबोट आलसी हो जाता है। यदि विवरण इतना अनूठा है कि उसे किसी अन्य छवि के साथ भ्रमित करना असंभव है, तो रोबोट विजुअल फीचर्स सीखने की कोशिश करना बंद कर देता है।
- सुfix: उन्होंने एक मिश्रण का उपयोग किया। वे यादृच्छिक रूप से (randomly) छोटे, सरल कैप्शन और लंबे, विस्तृत कैप्शन (Gemini जैसे उन्नत AI द्वारा जनरेट किए गए) के बीच स्विच करते रहे।
- उपमा: यह एक संगीत शिक्षक की तरह है। कभी-कभी वे छात्र को बुनियादी बातों का अभ्यास करने के लिए एक साधारण स्केल (छोटा कैप्शन) बजाने के लिए कहते हैं। अन्य समय में, वे उनसे अभिव्यक्ति का अभ्यास करने के लिए एक जटिल कॉन्सर्टो (लंबा कैप्शन) बजाने के लिए कहते हैं। उन्हें आपस में मिलाकर, छात्र अधिक मजबूत और अनुकूलनीय बनता है।
परिणाम: TIPSv2
इन ट्रिक्स को मिलाकर, TIPSv2 एक ऐसा रोबोट है जो:
- बड़ी तस्वीर देखता है (उसे पता है कि इमेज क्या है)।
- बारीकियों को देखता है (उसे पता है कि "पूंछ" या "पहिया" कहाँ है)।
- उन्हें पूरी तरह से जोड़ता है (यदि आप "पूंछ ढूंढो" कहते हैं, तो वह सटीक पिक्सेल्स की ओर इशारा करता है)।
- इसे कुशलतापूर्वक करता है (इसे सीखने के लिए बहुत महंगे कंप्यूटर की आवश्यकता नहीं है)।
परीक्षणों में, TIPSv2 ने "जीरो-शॉट सेगमेंटेशन" (बिना विशेष रूप से प्रशिक्षित हुए फोटो में वस्तुओं को ढूंढना) जैसे कार्यों में लगभग सभी अन्य रोबोट्स को पछाड़ दिया। यह एक रोबोट को डिक्शनरी और कैमरा देने जैसा है, और वह तुरंत आपके द्वारा पूछी गई किसी भी चीज़ को समझ सकता है और उसकी ओर इशारा कर सकता है, भले ही उसने पहले कभी उस विशिष्ट वस्तु को न देखा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।