Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations
कैलीडो (Kaleido) एक एल्गोरिदम-हार्डवेयर को-डिज़ाइन है जो लेटेंट स्पेस में चैनल-वार स्थानिक-कालिक सहसंबंधों (spatiotemporal correlations) का लाभ उठाकर वीडियो डिफ्यूजन ट्रांसफॉर्मर को त्वरित करता है ताकि एक हल्का पुन: उपयोग एल्गोरिदम और एक पुनर्गठनीय सिस्टोलिक एरे एक्सेलेरेटर सक्षम किया जा सके, जिससे उच्च जनरेटिव गुणवत्ता बनाए रखते हुए 5.9 गुना तक की गति वृद्धि और 16.0 गुना तक की ऊर्जा बचत प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल एक वाक्य से पूरी फिल्में बुन सकते हैं, ऐसे दृश्य बना सकते हैं जो इतने वास्तविक हों कि आप उन्हें लगभग छू सकें। यह जादू "वीडियो डिफ्यूजन मॉडल्स" द्वारा संचालित होता है, जो एक प्रकार का आर्टिफिशियल इंटेलिजेंस है जो स्टैटिक शोर (static noise) से भरी स्क्रीन से शुरुआत करके और धीरे-धीरे, चरण-दर-चरण, उसे साफ करके एक स्पष्ट चित्र उभरने तक वीडियो बनाना सीखता है। इसे एक मूर्तिकार की तरह समझें जो पत्थर के एक खुरदरे ब्लॉक से शुरुआत करता है और मूर्ति को प्रकट करने के लिए अतिरिक्त हिस्से को तराशता जाता है। हालाँकि, यह प्रक्रिया अविश्वसनीय रूप से धीमी और ऊर्जा की भूखी है। कंप्यूटर को हर एक फ्रेम के लिए लाखों छोटी गणनाएँ बार-बार करनी पड़ती हैं, जैसे एक शेफ परोसने से पहले सूप को सैकड़ों बार चखता है। जैसे-जैसे ये AI मॉडल लंबे, उच्च-गुणवत्ता वाले वीडियो बनाने में बेहतर होते जा रहे हैं, उन्हें चलाने के लिए आवश्यक समय और ऊर्जा एक बहुत बड़ी बाधा बन गई है, जिससे मूवी एडिटिंग से लेकर वर्चुअल वर्ल्ड क्रिएशन तक सब कुछ धीमा हो गया है। वैज्ञानिक और इंजीनियर इसे गुणवत्ता को खराब किए बिना तेज करने के तरीके खोजने की दौड़ में लगे हैं।
यहाँ Kaleido का प्रवेश होता है, जो शंघाई जियाओ टोंग यूनिवर्सिटी और हुवावे के शोधकर्ताओं का एक चतुर नया आविष्कार है, जो इन वीडियो बनाने वाले कंप्यूटरों के लिए एक सुपर-स्मार्ट शॉर्टकट की तरह काम करता है। टीम ने पाया कि जब AI वीडियो को "साफ" करने में व्यस्त होता है, तो वह अक्सर एक ही गणना को बार-बार दोहराता है क्योंकि वीडियो के फ्रेम विशिष्ट तरीकों से एक-दूसरे के समान होते हैं। सब कुछ शुरू से फिर से कैलकुलेट करने के बजाय, Kaleido का एल्गोरिदम एक बुद्धिमान लाइब्रेरियन की तरह काम करता है जो याद रखता है, "हे, मैंने पिछले फ्रेम के लिए यह हिस्सा पहले ही कर लिया है, तो चलिए उसी उत्तर का पुन: उपयोग करते हैं!" लेकिन इसमें एक पेंच है: ये शॉर्टकट काम का एक अस्त-व्यस्त, अनियमित पैटर्न बनाते हैं जिसे मानक कंप्यूटर चिप्स पसंद नहीं करते, ठीक वैसे ही जैसे एक शेफ एक कुंद चाकू से सब्जियां काटने की कोशिश कर रहा हो जो बार-बार फिसल जाता है। इसे हल करने के लिए, शोधकर्ताओं ने केवल एक नई रेसिपी ही नहीं लिखी; उन्होंने एक बिल्कुल नया किचन बनाया। उन्होंने एक कस्टम हार्डवेयर चिप डिजाइन की जिसमें एक विशेष "डेटा डिस्पैचर" है जो इन अस्त-व्यगत शॉर्टकट्स को व्यवस्थित और कुशल बैचों में व्यवस्थित करता है, जिससे कंप्यूटर गुणवत्ता का एक भी कतरा गिराए बिना अनावश्यक काम को छोड़ सकता है।
परिणामस्वरूप, यह एक ऐसा सिस्टम है जो वर्तमान में उपलब्ध किसी भी चीज़ की तुलना में काफी तेज़ और अधिक ऊर्जा-कुशल है। अपने परीक्षणों में, Kaleido ने मौजूदा सर्वश्रेष्ठ एक्सेलेरेटर्स और हाई-एंड ग्राफिक्स कार्ड की तुलना में वीडियो जनरेशन को 5.9 गुना तक तेज़ बनाया और 16.0 गुना अधिक ऊर्जा बचाई। शायद सबसे प्रभावशाली बात यह है कि इसके द्वारा बनाए गए वीडियो न केवल तेज़ थे; वे अन्य शॉर्टकट विधियों द्वारा बनाए गए वीडियो की तुलना में अधिक स्पष्ट और सटीक थे, जिन्होंने इमेज क्वालिटी मेट्रिक्स में 17 dB से अधिक अंक प्राप्त किए। शोधकर्ताओं ने सिद्ध किया कि वीडियो डेटा की संरचना को ठीक से समझकर—विशेष रूप से यह कि कैसे छवि के विभिन्न हिस्से समय और स्थान से संबंधित हैं—वे एक ऐसा सिस्टम बना सकते हैं जो रचनात्मक हिस्सों को पूर्ण रखते हुए काम के उबाऊ हिस्सों को छोड़ देता है। यह केवल एक छोटा सा सुधार नहीं है; यह इस बात में एक मौलिक बदलाव है कि हम कंप्यूटर को फिल्में कैसे बनाने का निर्देश देते हैं, जो यह साबित करता है कि कभी-कभी तेज़ जाने का सबसे अच्छा तरीका यह जानना है कि आपको क्या करने की आवश्यकता नहीं है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।