Accelerating Visual On-Policy Distillation with Batched Speculative Jacobi Rollouts
यह शोध पत्र HB-SJD को प्रस्तुत करता है, जो एक बैचयुक्त स्पेकुलेटिव जैकोबी डिकोडिंग (Speculative Jacobi Decoding) बैकएंड है जो समानांतर मल्टी-टोकन प्रोसेसिंग और अनुकूली निष्पादन मोड को सक्षम करके विजुअल ऑन-पॉलिसी डिस्टिलेशन को त्वरित करता है, जिससे डिस्टिलेशन फ्रेमवर्क को बदले बिना जनरेशन की गुणवत्ता बनाए रखते हुए प्रशिक्षण समय को काफी कम किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, ऐसे मॉडल बनाने जो शानदार चित्र बनाने के लिए पर्याप्त बुद्धिमान हों और उन्हें तेजी से चलाने के लिए पर्याप्त छोटा रखने के बीच एक निरंतर खींचतान चलती रहती है। बड़े सिस्टम, जिन्हें अक्सर 'टीचर' (शिक्षक) कहा जाता है, एक एकल शुरुआती बिंदु से पूरे चित्र का निर्माण करते हुए, एक बार में चित्र के एक छोटे से हिस्से का अनुमान लगाकर अविश्वसनीय रूप से विस्तृत चित्र बना सकते हैं। हालाँकि, यह चरण-दर-चरण प्रक्रिया धीमी और महंगी है। इन सिस्टम को तेज़ बनाने के लिए, शोधकर्ता 'नॉलेज डिस्टिलेशन' (ज्ञान आसवन) नामक तकनीक का उपयोग करते हैं, जहाँ एक छोटा, सरल 'स्टूडेंट' (छात्र) मॉडल शिक्षक की नकल करना सीखता है। इस प्रक्रिया का एक नया, अधिक प्रभावी संस्करण, जिसे 'ऑन-पॉलिसी डिस्टिलेशन' कहा जाता है, छात्र से वास्तविक समय में अपने स्वयं के प्रशिक्षण उदाहरण उत्पन्न करके अभ्यास करने के लिए कहता है। यह सुनिश्चित करता है कि छात्र ठीक वैसा ही व्यवहार करना सीखता है जैसा वह वास्तव में कला बनाने के दौरान करेगा, बजाय इसके कि वह केवल पुराने उदाहरणों को याद करे। समस्या यह है कि यह अभ्यास सत्र बेहद धीमा है; छात्र को अभी भी अपने चित्रों को एक बार में एक छोटे से हिस्से के आधार पर बनाना पड़ता है, जो एक बाधा उत्पन्न करता है जो पूरी सीखने की प्रक्रिया को धीमा कर देता है।
शेन्ज़ेन के शोधकर्ताओं की एक टीम ने इस बाधा को बिना सीखने के बुनियादी नियमों को बदले तोड़ने का एक तरीका खोज लिया है। उन्होंने HB-SJD नामक एक नई विधि पेश की है, जो छात्र के अभ्यास सत्रों के लिए एक तेज़ इंजन के रूप में कार्य करती है। छात्र को एक समय में एक 'टोकन', या दृश्य इकाई, बनाने के लिए मजबूर करने के बजाय, यह नई प्रणाली मॉडल को चित्र के कई भविष्य के हिस्सों का एक साथ प्रस्ताव रखने और फिर यह जाँचने की अनुमति देती है कि क्या वे अनुमान सही हैं। इसे एक छात्र द्वारा परीक्षा देने के उदाहरण की तरह समझें: एक उत्तर लिखने, शिक्षक द्वारा उसे ग्रेड करने का इंतज़ार करने और फिर अगला उत्तर लिखने के बजाय, छात्र एक साथ उत्तरों का पूरा पृष्ठ लिखता है, और शिक्षक जल्दी से निशान लगाता है कि कौन से सही हैं। छात्र फिर सही उत्तरों को रखता है और केवल उन्हीं को दोबारा लिखता है जो गलत थे, जिससे वह बहुत तेज़ी से आगे बढ़ता है।
शोधकर्ताओं ने पाया कि केवल छवियों के एक समूह पर इस तेज़ विधि को एक साथ चलाना पर्याप्त नहीं था। एक मानक सेटअप में, यदि एक छवि का निर्माण जल्दी समाप्त हो जाता है, तो उसे अगले चरण पर जाने से पहले समूह की सबसे धीमी छवि का प्रतीक्षा करना होगा। यह प्रतीक्षा अवधि मूल्यवान कंप्यूटिंग शक्ति को बर्बाद कर देती थी। इसे हल करने के लिए, टीम ने अपने सिस्टम को इस तरह से डिज़ाइन किया कि प्रत्येक छवि अपनी गति से आगे बढ़ सके। यदि कोई छवि पूरी हो जाती है, तो वह एक तरफ हट जाती है, और सिस्टम बिना रुके शेष छवियों पर काम करना जारी रखता है। इसके अलावा, उन्होंने पाया कि सक्रिय छवियों की संख्या कम होने पर सिस्टम को चलाने का सबसे अच्छा तरीका बदल जाता है। जब कई छवियों को संसाधित किया जा रहा होता है, तो सिस्टम पूरे समूह को सक्रिय रखकर सबसे अच्छा काम करता है। लेकिन जैसे-जैसे छवियां समाप्त होती हैं और समूह छोटा होता जाता है, सिस्टम एक लीन (छरहरे) मोड में बदल जाता है जो केवल शेष सक्रिय छवियों को संसाधित करता है, जिससे खाली स्लॉट को प्रबंधित करने का ओवरहेड बच जाता है।
इमेज जनरेशन मॉडल पर परीक्षण किए जाने पर, यह नया दृष्टिकोण अत्यधिक प्रभावी साबित हुआ। शोधकर्ताओं ने पाया कि यह छात्र द्वारा अपने अभ्यास चित्र उत्पन्न करने में लगने वाले समय को लगभग आधा कर सकता है, जिसमें पारंपरिक विधि की तुलना में 1.4 से 1.6 गुना तक की तेजी देखी गई। महत्वपूर्ण रूप से, यह गति गुणवत्ता की कीमत पर नहीं आई। इस नई विधि से प्रशिक्षित छात्र मॉडलों द्वारा बनाए गए चित्र उतने ही स्पष्ट और यथार्थवादी थे जितने कि धीमी, पुरानी विधि से प्रशिक्षित मॉडलों के थे। यह सिस्टम लगातार अच्छा काम करता रहा, चाहे चित्र छोटे हों या लंबे, छवियों का समूह छोटा हो या बड़ा, और प्रशिक्षण प्रक्रिया के विभिन्न चरणों में। केवल अभ्यास डेटा उत्पन्न करने वाले इंजन को बदलकर, शोधकर्ता पूरे सीखने की प्रक्रिया को काफी तेज़ बनाने में सफल रहे, यह सिद्ध करते हुए कि आप अंतिम परिणाम की गुणवत्ता से समझौता किए बिना आर्टिफिशियल इंटेलिजेंस के प्रशिक्षण को तेज़ कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।