PixVL: Self-Supervised Training of Pixel-Level MLLMs via a Unified Mask--Text Consistency Cycle

कल्पना कीजिए कि आप एक रोबोट को दुनिया देखना सिखा रहे हैं। लंबे समय तक, ये रोबोट एक बहुत ही वाइड-एंगल लेंस वाले पर्यटकों की तरह थे: वे आपको बता सकते थे, "तस्वीर में एक कुत्ता है," या "आज धूप वाला दिन है," लेकिन वे उस विशिष्ट कुत्ते की ओर उंगली नहीं उठा सकते थे या यह नहीं समझा सकते थे कि वह कुत्ता क्यों दौड़ रहा था। उन्होंने पूरे दृश्य को देखा लेकिन विवरणों को छोड़ दिया। हाल ही में, वैज्ञानिकों ने स्मार्ट रोबट बनाए हैं जिन्हें "पिक्सेल-लेवल मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स" कहा जाता है। इन्हें ऐसे समझें कि ये रोबोट न केवल एक छवि के बारे में बात कर सकते हैं, बल्कि वे किसी विशिष्ट वस्तु, जैसे कि "कुत्ता" या "लाल कार" के चारों ओर एक सटीक रूपरेखा भी खींच सकते हैं और फिर उस विशिष्ट वस्तु का विस्तार से वर्णन कर सकते हैं। यह ऐसा है जैसे रोबोट को एक साथ एक जादुई मार्कर और एक शब्दावली पुस्तक दे दी गई हो। लेकिन इसमें एक पेंच है: एक ही समय में दोनों काम पूरी तरह से करने के लिए रोबोट को सिखाना अविश्वसनीय रूप से कठिन है। यह एक छात्र को एक साथ विश्व स्तरीय चित्रकार और विश्व स्तरीय कला समीक्षक बनने के लिए सिखाने जैसा है; अक्सर, एक कौशल पर बहुत अधिक ध्यान केंद्रित करने से दूसरा कौशल खराब हो जाता है। इसके अलावा, ऐसे "पाठ्यपुस्तक" उदाहरणों की कमी है जहाँ एक तस्वीर, एक सटीक रूपरेखा और एक सटीक विवरण सब एक साथ एक व्यवस्थित पैकेज में आते हों। अधिकांश समय, हमारे पास रूपरेखा वाली तस्वीरें हैं लेकिन विवरण नहीं हैं, या विवरण हैं लेकिन रूपरेखा नहीं है।

यहीं पर PixVL नामक एक नई विधि मदद के लिए आती है। PixVL के पीछे के शोधकर्ताओं ने महसूस किया कि रोबोट को अधिक पाठ्यपुस्तकों की आवश्यकता नहीं है, बल्कि वह "सेल्फ-चेक" (स्वयं की जाँच) के खेल के माध्यम से सीख सकता है। उन्होंने एक ऐसी प्रणाली बनाई जहाँ रोबोट एक मास्क किए गए (छिपाए गए) ऑब्जेक्ट का वर्णन करने की कोशिश करता है, और फिर तुरंत उसी विवरण का उपयोग करके उस ऑब्जेक्ट को फिर से खोजने का प्रयास करता है। यदि रोबोट ठीक उसी ऑब्जेक्ट को ढूंढ लेता है जिसका उसने अभी वर्णन किया था, तो वह जानता है कि उसने अच्छा काम किया है। हालाँकि, टीम ने एक पेचीदा समस्या का पता लगाया: सिर्फ इसलिए कि रोबोट एक ऐसा आकार बनाता है जो समान दिखता है, इसका मतलब यह नहीं है कि विवरण वास्तव में स्मार्ट था। रोबोट एक शॉर्टकट का उपयोग कर सकता है जैसे कि "ऊपरी-बाएँ कोने में स्थित चीज़," जो काम करेगा यदि तस्वीर नहीं बदलती है, लेकिन विफल हो जाएगा यदि वस्तु हिल जाती है। इसे ठीक करने के लिए, PixVL एक सख्त शिक्षक की तरह कार्य करता है जो केवल यह नहीं देखता कि आकार सही है या नहीं, बल्कि पूछता है, "क्या आप इस विशिष्ट कुत्ते को पाँच अन्य बहुत समान कुत्तों की भीड़ में से चुन सकते हैं?" यदि रोबोट लक्षित वस्तु को उसके "कन्फ्यूज़र्स" (भ्रमित करने वाली वस्तुओं) से अलग नहीं कर पाता है, तो उसे शून्य अंक मिलते हैं। इस चतुर "चुनने वाले" परीक्षण का उपयोग करके और विभिन्न कोणों से रोबोट के काम की जाँच करके (जैसे कि कुछ सेकंड बाद एक वीडियो फ्रेम को देखकर), PixVL मॉडल को एक बेहतर चित्रकार और एक बेहतर समीक्षक दोनों बनने के लिए सिखाता है, और वह भी बिना किसी नए मानव-लिखित लेबल के।

समस्या: सीखने की "दोधारी तलवार"

कल्पना कीजिए कि आप एक रोबोट को एक साथ दो काम करने के लिए प्रशिक्षित कर रहे हैं: रीजन सेगमेंटेशन (किसी वस्तु के चारों ओर एक पूर्ण रूपरेखा बनाना) और रीजन अंडरस्टैंडिंग (उस वस्तु का वर्णन करने के लिए एक वाक्य लिखना)। अतीत में, शोधकर्ताओं ने इन दोनों कार्यों को एक ही बड़े मॉडल में एक साथ सिखाने की कोशिश की। लेकिन वे एक दीवार से टकरा गए। यह पाया गया कि ये दोनों कार्य अक्सर एक-दूसरे से लड़ते हैं।

इसे एक छात्र की तरह समझें जो एक ही समय में कैलकुलस और कविता सीखने की कोशिश कर रहा है। यदि शिक्षक बहुत अधिक कैलकुलस का होमवर्क देता है, तो छात्र गणित में बेहतर हो सकता है लेकिन वह अच्छी कविता लिखना भूल सकता है। पेपर दिखाता है कि जब उन्होंने "कविता" प्रशिक्षण डेटा को हटाया, तो रोबोट का गणित (सेगमेंटेशन) बेहतर हो गया। जब उन्होंने "गणित" प्रशिक्षण डेटा को हटाया, तो रोबोट की कविता (अंडरस्टैंडिंग) बेहतर हो गई। वे एक ही दिमागी शक्ति के लिए प्रतिस्पर्धा कर रहे थे, और रोबोट बीच में फंस गया था, दोनों में से कोई भी काम पूरी तरह से नहीं कर पा रहा था।

इसे और भी बदतर बनाने के लिए, "परफेक्ट" प्रशिक्षण डेटा की कमी है। हमारे पास लाखों छवियां हैं जिनमें रूपरेखा (मास्क) है, लेकिन उनमें से बहुत कम में उन विशिष्ट, उच्च-गुणवत्ता वाले वाक्यों की आवश्यकता होती है जो उन्हें वर्णित कर सकें। यह लाखों खाली कलरिंग बुक्स रखने जैसा है जिनमें रूपरेखा तो है, लेकिन कोई निर्देश नहीं है कि कौन सा रंग उपयोग करना है या चित्र क्या दर्शाता है।

समाधान: एक सेल्फ-चेकिंग लूप

PixVL टीम ने इन लाखों "खाली" कलरिंग बुक्स (मास्क के साथ लेकिन बिना टेक्स्ट वाली छवियों) का उपयोग करके रोबोट को सिखाने का एक चतुर तरीका निकाला। उन्होंने एक मास्क-टेक्स्ट कंसिस्टेंसी साइकिल बनाया।

यह चक्र कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. विवरण चरण (The Description Phase): रोबोट एक छवि को देखता है जिसमें एक विशिष्ट वस्तु को मास्क किया गया है (जैसे कि एक कुत्ता) और उसके लिए एक विवरण लिखने का प्रयास करता है।
2. पुनर्निर्माण चरण (The Reconstruction Phase): रोबोट फिर उस विवरण को लेता है और केवल उन्हीं शब्दों के आधार पर छवि में उस वस्तु को फिर से खोजने और एक नई रूपरेखा बनाने का प्रयास करता है।
3. जाँच (The Check): यदि नया रूपरेखा मूल मास्क से मेल खाता है, तो रोबोट को इनाम मिलता है।

शुरुआत में, शोधकर्ताओं को लगा कि यह सरल लूप पर्याप्त होगा। उन्होंने सोचा, "यदि रोबोट फिर से आकार बना सकता है, तो विवरण अच्छा होना चाहिए।" लेकिन उन्हें जल्दी ही एहसास हुआ कि यह एक जाल था।

जाल: क्यों "आकार" पर्याप्त नहीं है

पेपर तर्क देता है कि केवल यह जाँचना कि आकार मेल खाते हैं या नहीं (जिसे IoU, या इंटरसेक्शन ओवर यूनियन कहा जाता है), एक विवरण की गुणवत्ता को मापने का बुरा तरीका है।

कल्पना कीजिए कि रोबोट दो समान गोल्डन रिट्रीवर्स की एक तस्वीर देख रहा है।

• परिदृश्य A: रोबोट लिखता है, "बाएं हाथ वाला कुत्ता।" वह बाएं कुत्ते को चित्रित करता है। आकार पूरी तरह से मेल खाते हैं। स्कोर: 100%।
• परिदृश्य B: रोबोट लिखता है, "दाएं हाथ वाला कुत्ता।" वह दाएं कुत्ते को चित्रित करता है। आकार पूरी तरह से मेल खाते हैं। स्कोर: 100%।

लेकिन रुकिए! यदि रोबोट को बाएं कुत्ते का वर्णन करना था। परिदृश्य B एक विफलता है, भले ही आकार एकदम सही हो। रोबोट ने यह सीखने के बजाय कि कुत्ता वास्तव में कैसा दिखता है, "बाएं" या "दाएं" कहने का शॉर्टकट अपनाया। यदि तस्वीर थोड़ी भी बदल जाती, तो रोबोट विफल हो जाता।

पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि उच्च आकार-मिलान स्कोर एक अच्छे विवरण के बराबर है। उन्होंने पाया कि एक विवरण अस्पष्ट (जैसे "छवियों में कुत्ते") हो सकता है और फिर भी एक अच्छा आकार स्कोर प्राप्त कर सकता है, या बहुत विशिष्ट हो सकता है लेकिन विफल हो सकता है क्योंकि इसने गलत समान कुत्ते को चुन लिया।

समाधान: "कन्फ्यूज़र" टेस्ट

रोबोट को शॉर्टकट लेने से रोकने के लिए, PixVL कन्फ्यूज़र-अवेयर सिमेंटिक वेरिफिकेशन पेश करता है।

केवल यह पूछने के बजाय कि, "क्या आपने आकार सही बनाया?", सिस्टम पूछता है, "क्या आप समान दिखने वाली वस्तुओं की भीड़ में से सही कुत्ते को चुन सकते हैं?"

यहाँ सेटअप है:

• रोबोट को लक्षित वस्तु (द "हीरो") दिखाई जाती है।
• सिस्टम "कन्फ्यूज़र्स" का एक समूह बनाता है—अन्य वस्तुएं जो बहुत समान दिखती हैं या उसी चित्र में हैं (जैसे कि एक बड़ा कुत्ता, एक छोटा कुत्ता, या उसके ठीक बगल में एक कुत्ता)।
• रोबोट को अपने विवरण के आधार पर सही "हीरो" को चुनना होता है।

यदि रोबोट सही वाले को चुनता है, तो उसे उसके आत्मविश्वास के आधार पर इनाम मिलता है। यदि वह गलत वाला चुनता है, तो उसे शून्य इनाम मिलता है। यह रोबोट को ऐसे विवरण लिखने के लिए मजबूर करता है जो समान चीजों के बीच अंतर बताने के लिए पर्याप्त विशिष्ट हों, न कि केवल अस्पष्ट अनुमान लगाएं।

"क्रॉस-व्यू" ट्रिक: शॉर्टकट को तोड़ना

एक और समस्या थी। कन्फ्यूज़र टेस्ट के साथ भी, रोबोट वस्तु की स्थिति को याद करके (जैसे कि "यह हमेशा ऊपर-बाएं कोने में होता है") शॉर्टकट का उपयोग कर सकता था।

इसे ठीक करने के लिए, PixVL क्रॉस-व्यू वेरिफिकेशन का उपयोग करता है।

• यदि डेटा किसी वीडियो से आता है, तो रोबोट एक फ्रेम (फ्रेम A) में वस्तु का वर्णन करता है।
• फिर, उसे उसी वस्तु को बाद के एक फ्रेम (फ्रेम B) में खोजना होता है, जहाँ वस्तु हिल गई है, आकार बदल गया है, या बैकग्राउंड बदल गया है।
• यदि रोबोट ने केवल "ऊपर-बाएं" कहा, तो वह फ्रेम B में विफल हो जाएगा क्योंकि वस्तु हिल गई है।
• उसे वस्तु की वास्तविक विशेषताओं (जैसे कि "लाल कॉलर वाला कुत्ता") का वर्णन करना होगा ताकि सफल हो सके।

यह सुनिश्चित करता है कि रोबм केवल स्थान नहीं, बल्कि वस्तु की वास्तविक पहचान सीखता है।

जादुई गोंद: दोनों कार्यों को जोड़ना

पहेली का अंतिम हिस्सा यह है कि वे इन दोनों दिशाओं (विवरण और ड्राइंग) को कैसे मिलाते हैं ताकि वे एक-दूसरे की मदद करें न कि आपस में लड़ें।

वे क्वालिटी-कपल्ड बाइडायरेक्शनल लर्निंग रणनीति का उपयोग करते हैं:

1. रोबोट एक ही वस्तु के लिए कई अलग-अलग विवरण उत्पन्न करता है।
2. यह "कन्फ्यूज़र" और "क्रॉस-व्यू" जाँचों का उपयोग करके उन सभी का परीक्षण करता है।
3. यह एकल सर्वश्रेष्ठ विवरण (वह जिसमें उच्चतम इनाम हो) चुनता है।
4. इस सर्वश्रेष्ठ विवरण का उपयोग फिर रोबोट के "ड्राइंग" भाग को प्रशिक्षित करने के लिए किया जाता है।
5. महत्वपूर्ण रूप से, "ड्राइंग" भाग को केवल तभी मजबूत इनाम मिलता है जब वह विवरण उच्च-गुणवत्ता वाला हो जिस पर वह आधारित है। यदि विवरण खराब था, तो ड्राइंग प्रशिक्षण कमजोर या अनदेखा कर दिया जाता है।

यह इन दोनों कार्यों को एक टीम में बदल देता है। "अंडरस्टैंडिंग" वाला हिस्सा सबसे अच्छा संभव निर्देश उत्पन्न करता है, और "सेगमेंटेशन" वाला हिस्सा उनका पालन करता है। यदि निर्देश खराब हैं, तो टीम को फिर से प्रयास करने का पता चल जाता है।

परिणाम: दोनों के लिए जीत

शोधकर्ताओं ने इस पद्धति का परीक्षण SAM-Tok (एक 4-बिलियन पैरामीटर मॉडल) नामक मॉडल पर किया। उन्होंने इसे 250,000 छवियों पर प्रशिक्षित किया जिनमें मास्क थे लेकिन टेक्स्ट विवरण नहीं थे, PixVL चक्र का उपयोग करके।

परिणाम प्रभावशाली थे:

• सेगमेंटेशन: मॉडल की रूपरेखा बनाने की क्षमता में काफी सुधार हुआ। GroundingSuite नामक परीक्षण पर, स्कोर 56.1 से बढ़कर 64.8 हो गया। RefCOCO डेटासेट पर भी निरंतर लाभ देखा गया (जैसे, RefCOCO पर 82.7)।
• अंडरस्टैंडिंग: मॉडल की वस्तुओं का वर्णन करने की क्षमता भी बेहतर हुई, जिसने DLC-Bench टेस्ट पर 69.7 का स्कोर किया।

पेपर निष्कर्ष निकालता है कि PixVL ने सफलतापूर्वक "लड़ने वाले कार्यों" की समस्या को हल कर दिया है। एक ऐसे सेल्फ-सुपरवाइज्ड लूप का उपयोग करके जहाँ मॉडल कठिन "कन्फ्यूज़र्स" और बदलते दृश्यों के विरुद्ध अपने काम की जाँच करता है, इसने एक बेहतर कलाकार और एक बेहतर समीक्षक दोनों बनने के लिए सीखा, और वह भी बिना किसी नए मानव-लिखित लेबल के। इस पद्धति का कोड दूसरों के उपयोग के लिए उपलब्ध है, जो यह साबित करता है कि कभी-कभी सबसे अच्छा शिक्षक स्वयं छात्र ही होता है।