LaViDa: A Large Diffusion Language Model for Multimodal Understanding
LaViDa डिस्क्रीट डिफ्यूजन मैकेनिज्म पर आधारित विजन-लैंग्वेज मॉडल्स के एक नए परिवार को पेश करता है जो पारंपरिक ऑटोरेग्रेसिव मॉडल्स की तुलना में प्रतिस्पर्धी प्रदर्शन, तेज़ इन्फरेंस और बेहतर नियंत्रणीयता प्राप्त करने के लिए पैरेलल डिकोडिंग और द्विदिश संदर्भ (bidirectional context) का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर एक ही समय में "देख" और "बोल" सकते हैं। यह विजन-लैंग्वेज मॉडल्स (VLMs) का क्षेत्र है, जो वे सुपर-स्मार्ट एआई असिस्टेंट हैं जो सूर्यास्त की एक तस्वीर देख सकते हैं और उस पर कविता लिख सकते हैं, या एक जटिल चार्ट का परीक्षण कर सकते हैं और उसमें मौजूद रुझानों को समझा सकते हैं। वर्षों से, इन मॉडल्स के सोचने का मानक तरीका एक छात्र द्वारा परीक्षा देने जैसा है: वे एक बार में एक शब्द करके उत्तर देते हैं, सख्ती से बाएं से दाएं। वे "The," फिर "sky," फिर "is" लिखते हैं, कभी भी पिछले शब्द को बदलने के लिए पीछे मुड़कर नहीं देखते। हालांकि यह अच्छी तरह काम करता है, लेकिन यह धीमा है क्योंकि वे समानांतर (parallel) में नहीं लिख सकते, और यह कठोर है; यदि वे वाक्य का पहला शब्द गलत कर देते हैं, तो वे बिना दोबारा शुरू किए उसे आसानी से ठीक नहीं कर सकते।
लेकिन क्या होगा अगर कोई अलग तरीका हो? कल्पना करें कि वाक्य को शब्द-दर-शब्द लिखने के बजाय, आप प्रश्न चिह्नों से भरे एक खाली पन्ने से शुरुआत करते हैं और धीरे-धीरे उन्हें भरते हैं, यह तय करते हुए कि कौन से शब्द कहाँ जाएंगे, अपने विकल्पों को तब तक लगातार परिष्कृत (refine) करते हैं जब तक कि तस्वीर स्पष्ट न हो जाए। यह "डिफ्यूजन मॉडल्स" के पीछे का विचार है। मूल रूप से शोर (noise) से शानदार चित्र बनाने के लिए प्रसिद्ध, शोधकर्ताओं ने हाल ही में टेक्स्ट के लिए इस "खाली स्थान भरने" वाले दृष्टिकोण का उपयोग करने का प्रयास किया है। बड़ा सवाल यह है: क्या हम इस लचीले, समानांतर सोचने के तरीके को छवियों को देखने की क्षमता के साथ जोड़ सकते हैं? यदि हम ऐसा कर सके, तो हमें ऐसा एआई मिल सकता है जो न केवल सख्त नियमों का पालन करने में स्मार्ट होगा (जैसे कि एक ऐसी कविता लिखना जहाँ हर पंक्ति एक विशिष्ट अक्षर से शुरू होती है) बल्कि बहुत तेज़ भी होगा क्योंकि इसे अगला शब्द शुरू करने से पहले एक शब्द के खत्म होने का इंतज़ार नहीं करना पड़ेगा।
मिलिए LaViDa (लार्ज विजन-लैंग्वेज डिफ्यूजन मॉडल) से, जो UCLA, पैनासोनिक, एडोब और सेल्सफोर्स के शोधकर्ताओं द्वारा पेश किया गया एक नया एआई मॉडल्स का परिवार है। LaViDa को एक ऐसे "मल्टीटास्किंग आर्टिस्ट" के रूप में सोचें जो चित्रों को समझने और उनके बारे में लिखने के लिए डिफ्यूजन विधि का उपयोग करता है। एक पारंपरिक रोबोट की तरह एक-एक शब्द करके कहानी लिखने के बजाय, LaViDa "मास्क" (प्लेसहोल्डर्स) के एक खाली कैनवास के साथ शुरुआत करता है और धीरे-धीरे उत्तर प्रकट करता है, खाली स्थानों को इस तरह से भरता है जो इसे एक ही समय में पूरे वाक्य को देखने की अनुमति देता है।
शोधकर्ताओं ने पाया कि इस दृष्टिकोण के पास कुछ सुपरपावर्स हैं। क्योंकि LaViDa उत्तर को अंतिम रूप देने से पहले पूरे वाक्य की संरचना को देख सकता है, इसलिए यह उन कार्यों में अविश्वसनीय रूप से अच्छा है जिनमें सख्त नियमों की आवश्यकता होती है, जैसे कि एक ऐसी कविता को पूरा करना जहाँ प्रत्येक पंक्ति एक विशिष्ट अक्षर से शुरू होनी चाहिए। परीक्षणों में, इसने इन "प्रतिबंधित" (constrained) कार्यों में प्रतिस्पर्धा को पछाड़ दिया, और सबसे अच्छे मानक मॉडल्स की तुलना में प्रदर्शन में 59% का सुधार किया। यह उपयोगकर्ताओं को एक अनूठा "स्पीड डायल" भी प्रदान करता है: आप इसे एक बार में कम रिक्त स्थान भरकर सुपर फास्ट होने के लिए कह सकते हैं, या उत्तर को परिष्कृत करने के लिए अधिक चरणों का उपयोग करके सुपर हाई-क्वालिटी वाला बना सकते हैं। इमेज कैप्शनिंग पर, यह अपने प्रतिद्वंद्वियों की तुलना में लगभग 2 गुना तेज़ होने में सफल रहा, जबकि वास्तव में बेहतर विवरण लिख रहा था (CIDEr नामक गुणवत्ता मीट्रिक पर +4.1 अंक अधिक स्कोर किया)।
हालाँकि, पेपर यह भी नोट करता है कि यह नई विधि कोई जादुई छड़ी नहीं है जो सब कुछ तुरंत हल कर देती है। शोधकर्ताओं को इसे अच्छी तरह से काम करने के लिए कुछ चतुर तरकीबें आविष्कार करनी पड़ीं। एक के लिए, उन्होंने एक "कॉम्प्लीमेंट्री मास्किंग" तकनीक बनाई, जो एक ही समय में पहेली के दो अलग-अलग संस्करणों को हल करने के समान है ताकि मॉडल कोई महत्वपूर्ण सुराग मिस न करे। उन्होंने एक "Prefix-DLM" सिस्टम भी बनाया, जो एक स्मार्ट शॉर्टकट के रूप में कार्य करता है, जिससे मॉडल अपनी हर नई भविष्यवाणी के लिए छवि और प्रश्न को बार-बार पढ़ने के बिना याद रख सकता है।
इन सफलताओं के बावजूद, पेपर सावधानी से यह भी बताता है कि कहाँ LaViDa के पास अभी भी बढ़ने की गुंजाइश है। जबकि यह कई तर्क और सामान्य ज्ञान परीक्षणों में अन्य मॉडल्स को हरा देता है, यह कभी-कभी छवियों के भीतर छोटे टेक्स्ट (OCR) को पढ़ने में संघर्ष करता है क्योंकि इसे अपनी मेमोरी में फिट करने के लिए इमेज डिटेल्स को कंप्रेस करना पड़ा था। लेखक सुझाव देते हैं कि जबकि डिफ्यूजन मॉडल्स मानक "एक-एक शब्द" वाले दृष्टिकोण के लिए एक शक्तिशाली और आशाजनक विकल्प हैं, वे अभी भी बहुत बड़े, अत्यधिक डेटा-भूखे एआई मॉडल्स के बराबर स्केल करने के लिए सीख रहे हैं। अंततः, LaViDa साबित करता है कि "खाली स्थान भरने" वाला तरीका केवल चित्र बनाने के लिए ही नहीं है; यह कंप्यूटरों के लिए हमारी दृश्य दुनिया को समझने का एक मजबूत, लचीला और तेज़ तरीका हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।