Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models
Sparse-LaViDa एक नवीन फ्रेमवर्क है जो विशेष रजिस्टर टोकन और एक सुसंगत प्रशिक्षण अटेंशन मास्क के माध्यम से जनरेशन की गुणवत्ता को बनाए रखते हुए, इन्फरेंस के दौरान अनावश्यक मास्क्ड टोकन को गतिशील रूप से ट्रंकेट करके मास्क्ड डिस्क्रीट डिफ्यूजन मॉडल्स को त्वरित करता है, जिससे विविध मल्टीमॉडल कार्यों में 2x तक की गति वृद्धि प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल जिग्सॉ पहेली (jigsaw puzzle) को हल करने की कोशिश कर रहे हैं, लेकिन डिब्बे पर बनी तस्वीर देखने के बजाय, आपको हर एक टुकड़े के रंग और आकार का अंदाज़ा शून्य से लगाना है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, जब कंप्यूटर चित्र बनाने या जटिल दृश्यों को समझने की कोशिश करते हैं, तो यही होता है। लंबे समय तक, वैज्ञानिकों ने दो मुख्य उपकरणों का उपयोग किया है: एक जो एक लेखक द्वारा वाक्य टाइप करने की तरह टुकड़ों-टुकड़ों में चित्र बनाता है (जिसे ऑटोरेग्रेसिव मॉडल कहा जाता है), और दूसरा जो एक स्थिर, शोर भरे धुंधलेपन (noisy blur) से शुरू होता है और धीरे-धीरे उसे तब तक साफ करता है जब तक कि चित्र दिखाई न देने लगे (जिसे डिफ्यूजन मॉडल कहा जाता है)। हाल ही में, "मास्क्ड डिस्क्रीट डिफ्यूजन" (Masked Discrete Diffusion) नामक एक नया हाइब्रिड दृष्टिकोण एक सुपरस्टार बनकर उभरा है। यह टेक्स्ट और इमेज दोनों को पहेली के टुकड़ों (टोकन्स) की एक लंबी स्ट्रिंग के रूप में मानता है, जहाँ कंप्यूटर उन टुकड़ों को देखकर गायब हिस्सों का अनुमान लगाना सीखता है जिन्हें वह पहले से जानता है। यह अविश्वसनीय रूप से शक्तिशाली है क्योंकि यह AI को केवल अगले टुकड़े के बजाय एक बार में पूरी तस्वीर देखने की अनुमति देता है, जिससे यह फोटो एडिट करने या गणित की समस्याओं को हल करने में बेहतरीन बन जाता है। हालाँकि, इसमें एक पेच है: चित्र को साफ करने के लिए, कंप्यूटर को हर एक कदम पर पहेली के हर एक टुकड़े की फिर से जांच करनी पड़ती है, यहाँ तक कि उन टुकड़ों की भी जो पहले से हल हो चुके हैं या अभी भी छिपे हुए हैं। यह एक ऐसे शेफ की तरह है जो, स्टू पकाते समय, हर मिनट बर्तन की हर एक सामग्री को चखता है, भले ही वे पहले से ही पूरी तरह से स्वादिष्ट हों, सिर्फ यह सुनिश्चित करने के लिए कि स्वाद सही है। यह प्रक्रिया को धीमा और कंप्यूटर पावर का भूखा बना देता है।
यहाँ Sparse-LaViDa आता है, जो इन AI मॉडल्स के लिए एक स्मार्ट 'सू शेफ' (sous-chef) की तरह काम करता है। इस काम के पीछे के शोधकर्ताओं ने महसूस किया कि कंप्यूटर को हर बार पूरी पहेली को घूरने की ज़रूरत नहीं है; इसे केवल उन टुकड़ों पर ध्यान केंद्रित करने की आवश्यकता है जिन्हें वर्तमान में हल किया जा रहा है। उन्होंने एक प्रणाली बनाई जो इस "कुकिंग" प्रक्रिया के दौरान अनावश्यक मास्क्ड टोकन (छिपे हुए या पहले से हल किए गए टुकड़े) को गतिशील रूप से "ट्रंकेट" (truncate), यानी काट देती है। लेकिन चतुराई वाली बात यह है: आप उन टुकड़ों को बस यूँ ही फेंक नहीं सकते, अन्यथा AI पूरी तस्वीर के संदर्भ (context) को भूल सकता है। इसलिए, Sparse-LaViDa विशेष "रजिस्टर टोकन्स" (register tokens) पेश करता है। इन टोकन्स को छोटे, जादुई बुकमार्क की तरह समझें। ये संक्षिप्त सारांश हैं जो AI को बताते हैं, "हे, यहाँ अभी भी 1,000 टुकड़े हैं, लेकिन आपको अभी उन्हें व्यक्तिगत रूप से देखने की आवश्यकता नहीं है; बस इस बुकमार्क पर भरोसा करें।" यह AI को पूरे चित्र को ध्यान में रखते हुए अनावश्यक काम छोड़ने की अनुमति देता है।
यह पेपर प्रदर्शित करता है कि यह दृष्टिकोण चमत्कारिक रूप से काम करता है। इन रजिस्टर टोकन्स और कंप्यूटर की मेमोरी को व्यवस्थित करने के एक विशेष तरीके (जिसे KV कैशिंग कहा जाता है) का उपयोग करके, नया मॉडल, Sparse-LaViDa, गुणवत्ता खोए बिना प्रक्रिया को काफी तेज कर देता है। परीक्षणों में, इसने टेक्स्ट-टू-इमेज जनरेशन को लगभग 2 गुना तेज़ (विशेष रूप से 1.96× स्पीडअप), इमेज एडिटिंग को लगभग 3 गुना तेज़ (2.84× स्पीडअप), और विजुअल मैथ रीजनिंग को 2.80 गुना तेज़ बना दिया। महत्वपूर्ण रूप से, लेखक दिखाते हैं कि यह केवल सरल कार्यों के लिए काम करने वाली कोई ट्रिक नहीं है; यह "इनपेंटिंग" (चित्र के छूटे हुए हिस्सों को भरना) और "आउटपेंटिंग" (एक चित्र का विस्तार करना) जैसे जटिल काम करने की क्षमता को भी सुरक्षित रखता है, जिसे अन्य तेज़ तरीके अक्सर बिगाड़ देते हैं। शोधकर्ताओं का सुझाव है कि हालांकि यह एक बड़ी दक्षता वृद्धि है, इसके लिए एक विशिष्ट प्रशिक्षण प्रक्रिया की आवश्यकता है ताकि मॉडल को इन बुकमार्क का सही ढंग से उपयोग करना सिखाया जा सके। उन्होंने यह भी नोट किया कि हालांकि हमने इन परिणामों को एक मौजूदा मॉडल को फाइन-ट्यून करके प्राप्त किया है, लेकिन यह पद्धति सैद्धांतिक रूप से भविष्य में विशाल मॉडल्स को शुरुआत से प्रशिक्षित करने में सक्षम है। अंततः, Sparse-LaVi-Da सुझाव देता है कि हम अपनी पसंद की हर चीज़ पा सकते हैं: अत्यधिक तेज़ जनरेशन जो उस द्विदिश (bidirectional) सोच से समझौता नहीं करती है जो इन मॉडल्स को दृश्य दुनिया को समझने और बनाने में इतना सक्षम बनाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।