Lavida-O: Elastic Large Masked Diffusion Models for Unified Multimodal Understanding and Generation
लविडा-ओ (Lavida-O) एक एकीकृत मास्कड डिफ्यूजन मॉडल है जिसमें एक नवीन इलास्टिक मिक्सचर-ऑफ-ट्रांसफॉर्मर्स आर्किटेक्चर और पुनरावृत्ति स्व-चिंतन (iterative self-reflection) क्षमताएं शामिल हैं, जो उच्च-रिज़ॉल्यूशन इमेज जनरेशन, ऑब्जेक्ट ग्राउंडिंग और इमेज एडिटिंग में मौजूदा ऑटोरिग्रेसिव और कंटीन्यूअस डिफ्यूजन मॉडल्स को पछाड़ते हुए अत्याधुनिक प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर किसी तस्वीर को देखकर आपको ठीक-ठीक बता सके कि वहाँ क्या हो रहा है, या एक साधारण वाक्य लेकर शून्य से एक बिल्कुल नई तस्वीर बना सके। लंबे समय तक, वैज्ञानिकों को इन कामों के लिए दो अलग-अलग तरह के रोबोट बनाने पड़े थे: एक "मस्तिष्क" जो छवियों को समझ सके और दूसरा "कलाकार" जो उन्हें बना सके। लेकिन जिस तरह एक इंसान नक्शा भी पढ़ सकता है और स्केच भी बना सकता है, शोधकर्ता अब एक ही, सुपर-स्मार्ट AI बनाने की कोशिश कर रहे हैं जो ये दोनों काम एक साथ कर सके। इस क्षेत्र को "मल्टीमॉडल मॉडलिंग" कहा जाता है, और इसका नवीनतम स्टार प्लेयर "मास्क्ड डिफ्यूजन मॉडल" (Masked Diffusion Model) नामक एक प्रकार का AI है। इस मॉडल को "तस्वीर पहचानने के खेल" की तरह समझें। कंप्यूटर प्रश्न चिह्नों (मास्क) से भरे एक खाली कैनवास से शुरू करता है और धीरे-धीरे उन्हें एक-एक करके भरता जाता है, जब तक कि एक स्पष्ट छवि दिखाई न देने लगे। यह धुंध की परतों को हटाकर एक छिपे हुए परिदृश्य को प्रकट करने जैसा है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या हम इस धुंध हटाने की प्रक्रिया को इतना स्मार्ट बना सकते हैं कि AI केवल तस्वीर का अनुमान ही न लगाए, बल्कि उसके पीछे की कहानी को भी समझे, दृश्य में बदलाव कर सके, और यहाँ तक कि एक रेखा भी खींचने से पहले अपने स्वयं के मास्टरपीस की योजना बना सके?
यहाँ LaVida-O आता है, एक नया AI मॉडल जो कहता है, "हाँ, हम कर सकते हैं!" इस प्रोजेक्ट के पीछे के शोधकर्ताओं ने एक एकीकृत प्रणाली बनाई है जो एक जासूस और एक चित्रकार दोनों के रूप में कार्य करती है। पिछले मॉडलों के विपरीत, जो या तो समझने में बेहतरीन थे लेकिन बनाने में खराब, या बनाने में तेज़ लेकिन सोचने में धीमे थे, LaVida-O दोनों दुनियाओं का सर्वश्रेष्ठ होने की कोशिश करता है। यह एक फोटो को देख सकता है और सटीक रूप से बता सकता है कि "कुत्ता" एक "टाई" के पास कहाँ खड़ा है, या यह "एक साइबरपंक एल्फ" जैसे प्रॉम्प्ट को लेकर एक उच्च-रिज़ॉल्यूशन, विस्तृत छवि बना सकता है। इससे भी बेहतर बात यह है कि यह मौजूदा तस्वीरों को एडिट कर सकता है, जैसे टीवी को बुकशेल्फ़ से बदलना, या यह काम करते समय "ज़ोर से सोच" सकता है, अपने काम की गलतियों की जाँच कर सकता है और अंतिम परिणाम दिखाने से पहले उन्हें ठीक कर सकता है।
LaVida-O के पीछे का असली रहस्य इलास्टिक मिक्सचर-ऑफ-ट्रांसफॉर्मर्स (जिसे संक्षेप में Elastic-MoT कहा जाता है) नामक एक चतुर आर्किटेक्चरल ट्रिक है। एक फैक्ट्री की कल्पना करें जिसमें दो असेंबली लाइनें हैं। आमतौर पर, यदि आप दो अलग-अलग उत्पाद बनाना चाहते हैं, तो आप दो अलग-अलग, विशाल फैक्ट्रियां बना सकते हैं, जो महंगी और धीमी होती हैं। या, आप एक विशाल फैक्ट्री का उपयोग कर सकते हैं जो एक साथ सब कुछ करने की कोशिश करती है, जिससे चीजें अस्त-व्यस्त हो सकती हैं। LaVida-O एक स्मार्ट फैक्ट्री की तरह है जो काम के आधार पर अपने कार्यबल को सिकोड़ या विस्तारित कर सकती है। जब इसे केवल एक छवि को समझने की आवश्यकता होती है, तो यह एक बड़ी, भारी-भरती टीम का उपयोग करता है। लेकिन जब इसे एक नई छवि बनानी होती है, तो यह केवल एक छोटी, विशिष्ट टीम को सक्रिय करता है, जिससे बहुत अधिक ऊर्जा और समय की बचत होती है। यह एक स्विस आर्मी नाइफ की तरह है जो केवल तभी पेचकश (screwdriver) बाहर निकालता है जब आपको पेंच कसने की आवश्यकता होती है, बजाय इसके कि आप पूरे भारी टूल को साथ लेकर चलें।
ड्राइंग प्रक्रिया को और बेहतर बनाने के लिए, टीम ने कुछ अन्य ट्रिक्स भी जोड़ीं। उन्होंने मॉडल को स्ट्रैटिफाइड सैंपलिंग (Stratified Sampling) का उपयोग करना सिखाया, जो एक ऐसे चित्रकार की तरह है जो केवल कैनवास के ऊपरी-बाएँ कोने को भरने से शुरुआत नहीं करता है। इसके बजाय, वे अपनी ब्रशस्ट्रोक को पूरी तस्वीर में समान रूप से फैलाते हैं, यह सुनिश्चित करते हुए कि छवि हर जगह एक साथ समान रूप से विकसित हो, न कि एक ही जगह अटक जाए। उन्होंने मॉडल को "यूनिवर्सल टेक्स्ट कंडीशनिंग" फीचर भी दिया, जिससे उपयोगकर्ता "इसे उज्जवल बनाएं" या "कंट्रास्ट बढ़ाएं" जैसे अतिरिक्त निर्देश केवल टाइप करके दे सकते हैं, बजाय इसके कि उन्हें जटिल तकनीकी कोड की आवश्यकता हो।
शायद सबसे रोमांचक विशेषता प्लानिंग और सेल्फ-रिफ्लेक्शन (योजना और आत्म-चिंतन) है। मॉडल शुरू करने से पहले, यह लेआउट की योजना बना सकता है, यह तय कर सकता है कि वस्तुएं कहाँ होनी चाहिए। यदि यह एक फोटो को एडिट कर रहा है, तो यह पहले उस वस्तु का पता लगाता है जिसे बदला जाना है। फोटो बनाने के बाद, यह अपने काम को देख सकता है और कह सकता है, "रुको, कुत्ता टाई के ऊपर आ गया है; यह गलत है," और फिर इसे ठीक कर सकता है। आलोचना करने और खुद को सुधारने की इस क्षमता से बहुत उच्च गुणवत्ता वाले परिणाम मिलते हैं।
पेपर दिखाता है कि LaVida-O केवल एक सिद्धांत नहीं है; यह वास्तव में काम करता है। परीक्षणों में, इसने चित्रों में वस्तुओं को खोजने, टेक्स्ट से छवियां बनाने और फोटो एडिट करने जैसे कार्यों में कई मौजूदा मॉडलों को पछाड़ दिया। यह 1024x1024 पिक्सल के रिज़ॉल्यूशन पर छवियां उत्पन्न करने में सक्षम था, जो पिछले कई प्रयासों की तुलना में बहुत अधिक शार्प है। यह अविश्वसनीय रूप से तेज़ भी साबित हुआ, ऑब्जेक्ट डिटेक्शन करने के दौरान पुराने, धीमे मॉडलों की तुलना में 6.8x की गति वृद्धि प्रदान करता है। हालाँकि इसकी कुछ सीमाएँ भी हैं—जैसे कि छवियों के भीतर बहुत छोटे टेक्स्ट को रेंडर करने में थोड़ा संघर्ष करना या कभी-कभी फोटो के उन हिस्सों में छोटे बदलाव करना जिन्हें नहीं बदलना चाहिए—परिणाम बताते हैं कि यह "इलास्टिक" दृष्टिकोण एक बड़ी प्रगति है। LaVida-O सुझाव देता है कि समझ और निर्माण को एक ही, लचीले ढांचे में जोड़कर, हम ऐसा AI बना सकते हैं जो केवल आदेशों का पालन नहीं करता, बल्कि वास्तव में उस स्तर की देखभाल और सटीकता के साथ सोचता, योजना बनाता और सृजन करता है जिसे हमने पहले कभी नहीं देखा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।