Analyzing Diffusion and Autoregressive Vision Language Models in Multimodal Embedding Space
यह शोध पत्र एम्बेडिंग टूल्स के रूप में मल्टीमॉडल डिफ्यूजन लैंग्वेज मॉडल्स और ऑटोरेग्रेसिव विजन लैंग्वेज मॉडल्स की तुलना करने वाला पहला व्यवस्थित अध्ययन प्रस्तुत करता है, जो यह प्रकट करता है कि यद्यपि पूर्व अपर्याप्त इमेज-टेक्स्ट संरेखण के कारण आम तौर पर कम प्रदर्शन करते हैं, फिर भी विशिष्ट मॉडलों के बीच प्रदर्शन का अंतर काफी भिन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल पुस्तकालय है जहाँ हर किताब, फोटो और वीडियो को अलमारियों पर नहीं, बल्कि एक अनूठे "वाइब" (vibe) या "फिंगरप्रिंट" के रूप में संग्रहीत किया जाता है। AI की दुनिया में, इन फिंगरप्रिंट्स को एम्बेडिंग्स (embeddings) कहा जाता है। ये कंप्यूटर को यह समझने में मदद करते हैं कि कुत्ते की एक तस्वीर और "कुत्ता" शब्द एक-दूसरे से संबंधित हैं, भले ही एक छवि हो और दूसरा टेक्स्ट।
लंबे समय तक, इन फिंगरप्रिंट्स को बनाने का सबसे अच्छा तरीका ऑटोरिग्रेसिव मॉडल्स (Autoregressive Models) थे। इन्हें एक ऐसे व्यक्ति की तरह समझें जो एक कहानी को एक बार में एक शब्द करके, बाएं से दाएं पढ़ता है। वे संदर्भ (context) को समझने में बहुत अच्छे हैं क्योंकि वे अर्थ को चरण-दर-चरण बनाते हैं।
हाल ही में, डिफ्यूजन मॉडल्स (Diffusion Models) नामक एक नए प्रकार के AI ने लोकप्रियता हासिल की है। इसे एक ऐसे मूर्तिकार की तरह समझें जो शोर (noise) से ढके हुए संगमरमर के ब्लॉक से शुरू करता है और मूर्ति को प्रकट करने के लिए धीरे-धीरे शोर को तराशता है। या, इन्हें एक ऐसे व्यक्ति के रूप में सोचें जो एक साथ पूरे वाक्य को देख सकता है और गायब शब्दों को एक साथ भर सकता है, बजाय इसके कि एक-एक करके अनुमान लगाए। ये मॉडल इसलिए अच्छे हैं क्योंकि वे एक साथ "बड़ी तस्वीर" (bidirectional attention) देख सकते हैं।
बड़ा सवाल
इस शोध पत्र के शोधकर्ताओं ने एक सरल प्रश्न पूछा: क्या ये नए "मूर्तिकार" (Diffusion) मॉडल इन "वाइब" फिंगरप्रिंट्स को बनाने में पुराने "पाठक" (Autoregressive) मॉडल्स जितने अच्छे हो सकते हैं?
प्रयोग
यह जानने के लिए, टीम ने दो सर्वश्रेष्ठ "मूर्तिकार" मॉडल्स (जिन्हें LaViDa और MMaDA नाम दिया गया) और दो सर्वश्रेष्ठ "पाठक" मॉडल्स (जिन्हें LLaVA-1.6 और Qwen2.5-VL नाम दिया गया) को लिया। उन्होंने इन सभी को एक मानक प्रशिक्षण पद्धति (जैसे किसी तस्वीर को उसके सही विवरण के साथ मिलाने के लिए सिखाना) का उपयोग करके इन फिंगरप्रिंट्स को बनाना सिखाया।
फिर, उन्होंने उन्हें तीन अलग-अलग परिदृश्यों में परखने के लिए रखा:
- वर्गीकरण (Classification): "यह क्या तस्वीर है?" (जैसे, क्या यह बिल्ली है या कुत्ता?)
- विजुअल क्वेश्चन आंसरिंग (VQA): "इस चार्ट को देखते हुए, उच्चतम मान क्या है?"
- रिट्रीवल (Retrieval): "मुझे एक ऐसी तस्वीर ढूंढ कर दें जो इस विशिष्ट विवरण से मेल खाती हो।"
परिणाम: "मूर्तिकार" संघर्ष कर रहे थे
परिणाम आश्चर्यजनक थे। भले ही "मूर्तिकार" मॉडल्स (Diffusion) के पास सब कुछ एक साथ देखने की सुपरपावर है, वे आम तौर पर "पाठक" मॉडल्स की तुलना में कम प्रदर्शन करते हैं।
- "अच्छा" मूर्तिकार (LaViDa): इस मॉडल ने काफी अच्छा प्रदर्शन किया। यह सर्वश्रेष्ठ "पाठक" मॉडल्स से केवल थोड़ा पीछे था (100-पॉइंट स्केल पर लगभग 3 से 4 अंक कम)। यह नए, अपरिचित प्रकार के डेटा (out-of-domain) को संभालने में विशेष रूप रूप से अच्छा था, जो बताता है कि यह थोड़ा अधिक लचीला है।
- "संघर्ष करने वाला" मूर्तिकार (MMaDA): इस मॉडल में एक बड़ा अंतर था। यह सभी क्षेत्रों में "पाठक" मॉडल्स से 20 अंक से भी अधिक कम स्कोर कर गया। यह तालमेल नहीं बिठा सका।
ऐसा क्यों हुआ?
शोधकर्ताओं ने यह समझने के लिए गहराई से जांच की कि "मूर्तिकार" क्यों हार रहे थे। उन्होंने पाया कि इसके दो मुख्य कारण थे:
- बेमेल फिंगरप्रिंट्स: "पाठक" मॉडल्स में, तस्वीर और टेक्स्ट फिंगरप्रिंट स्पेस में बहुत करीब आ जाते हैं (वे पूरी तरह से संरेखित होते हैं)। "मूर्तिकार" मॉडल्स में, तस्वीर का फिंगरप्रिंट और टेक्स्ट का फिंगरप्रिंट अक्सर दूर रहते हैं, जैसे दो लोग हाथ मिलाने की कोशिश कर रहे हों लेकिन कमरे के विपरीत छोरों पर खड़े हों। मॉडल छवियों और टेक्स्ट को इतनी मजबूती से जोड़ना नहीं सीख पाए।
- गलत प्रशिक्षण लक्ष्य: "संघर्ष करने वाले" मॉडल (MMaDA) को एक साथ दो चीजें करने के लिए प्रशिक्षित किया गया था: छवियों को समझना और शून्य से नई छवियां बनाना। शोधकर्ताओं को संदेह है कि "चित्रकार" (छवियां बनाना) बनने की कोशिश ने मॉडल को एक अच्छा "लाइब्रेरियन" (सटीक फिंगरप्रिंट बनाना) बनने से विचलित कर दिया।
निष्कर्ष
भले ही डिफ्यूजन मॉडल्स रोमांचक हैं और उनमें एक साथ पूरी तस्वीर देखने जैसी शानदार विशेषताएं हैं, लेकिन वे खोज-अनुकूल फिंगरप्रिंट बनाने के लिए पुराने "पाठक" मॉडल्स को बदलने के लिए अभी पूरी तरह तैयार नहीं हैं। "पाठक" मॉडल्स सटीकता के मामले में अभी भी शीर्ष पर हैं, मुख्य रूप से इसलिए क्योंकि वे जो देखते हैं उसे जो पढ़ते हैं, उससे मजबूती से जोड़ने में बेहतर हैं।
शोध पत्र निष्कर्ष निकालता है कि हालांकि डिफ्यूजन मॉडल्स में क्षमता है (विशेष रूप से LaViDa में), उन्हें इन कार्यों के लिए मुख्य विकल्प बनने से पहले छवियों और टेक्स्ट को संरेखित करने में बहुत बेहतर होने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।