Parallel Decoding Distillation for Fast Image and Video Generation
यह शोध पत्र पैरेलल डिकोडिंग डिस्टिलेशन (PDD) को प्रस्तुत करता है, जो एक स्केलेबल और सरलीकृत प्रक्षेपवक्र-आधारित (trajectory-based) विधि है जो प्रति नेटवर्क मूल्यांकन कई डिनोइजिंग स्टेप्स का पूर्वानुमान लगाकर इमेज और वीडियो जनरेशन को तेज़ करती है, जिससे 4-8 फंक्शन इवैल्यूएशन के साथ अत्याधुनिक प्रदर्शन प्राप्त होता है और मौजूदा डिस्टिलेशन तकनीकों की तुलना में वीडियो विविधता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक उत्कृष्ट कृति (मास्टरपीस) पेंट करना या एक फिल्म निर्देशित करना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह काम "डिफ्यूजन" (diffusion) या "फ्लो" (flow) मॉडल का उपयोग करके किया जाता है। इन मॉडल्स को उन कलाकारों के रूप में सोचें जो एक ऐसे कैनवास से शुरुआत करते हैं जो स्टैटिक शोर (static noise) से ढका होता है—जैसे कि एक डेड चैनल वाला टीवी—और धीरे-धीरे, कदम-दर-कदम, इसे तब तक साफ करते हैं जब तक कि एक स्पष्ट छवि या वीडियो दिखाई न देने लगे। समस्या यह है कि यह सफाई की प्रक्रिया अविश्वसनीय रूप से धीमी है। एक उच्च-गुणवत्ता वाला परिणाम प्राप्त करने के लिए, रोबोट को सैकड़ों छोटे कदम उठाने पड़ सकते हैं, और हर एक कदम पर अपने काम की जांच करनी पड़ सकती है। यह कमरे के आर-पार जाने के लिए एक मिलीमीटर के छोटे कदम उठाने जैसा है; आप वहां पहुंच तो जाएंगे, लेकिन इसमें बहुत समय लगेगा।
इस प्रक्रिया को तेज करने के लिए, वैज्ञानिक इन रोबोट्स को बड़ी छलांग लगाना सिखाने की कोशिश कर रहे हैं। कुछ तरीके एक ही विशाल छलांग में अंतिम गंतव्य का अनुमान लगाने की कोशिश करते हैं, जबकि अन्य रोबोट को उस "पथ" (path) को सीखने की कोशिश करते हैं जिसे उसे अपनाना चाहिए ताकि वह उबाऊ मध्य भागों को छोड़ सके। हालांकि, वीडियो के लिए वर्तमान सर्वोत्तम तरीके जटिल और अस्थिर प्रशिक्षण युक्तियों पर निर्भर करते हैं जो रोबोट को हिलना-डुलना भुला सकते हैं, जिसके परिणामस्वरूप ऐसे वीडियो बनते हैं जो दिखने में तो शानदार होते हैं लेकिन समय में जम जाते हैं, या वे दोहराव वाले, उबाऊ पैटर्न में सिमट जाते हैं। बड़ा सवाल यह है: क्या हम इन मॉडल्स को उनकी रचनात्मकता के जादू को खोए बिना तेजी से और सुचारू रूप से चलना सिखा सकते हैं?
यह शोध पत्र एक नई तकनीक पेश करता है जिसे पैरेलल डिकोडिंग डिस्टिलेशन (Parallel Decoding Distillation - PDD) कहा जाता है, जो इन AI कलाकारों के लिए एक अत्यंत कुशल कोच की तरह कार्य करता है। रोबोट को एक-एक करके कदम उठाने के लिए मजबूर करने के बजाय, PDD उसे एक ही नज़र में पूरे स्टेप्स के अनुक्रम (sequence) की भविष्यवाणी करना सिखाता है। कल्पना कीजिए कि आप एक गलियारे में चल रहे हैं। एक सामान्य रोबोट अगले कदम से पहले हर दरवाजे पर रुककर यह जांचता है कि वह खुला है या नहीं। हालाँकि, PDD पूरे गलियारे को देखता है, सटीक रूप से भविष्यवाणी करता है कि अगले दस कदमों के लिए फर्श कैसा महसूस होगा, और फिर आत्मविश्वास के साथ आगे बढ़ता है, उस पूरी दूरी को एक बार में तय कर लेता है।
लेखकों ने पाया कि मॉडल को एक साथ समय के एक ब्लॉक के लिए "औसत गति" (या वेग/velocity) की भविष्यवाणी करने के लिए प्रशिक्षित करके, वे केवल 4 से 8 स्टेप्स (जिन्हें फंक्शन इवैल्यूएशन या NFE कहा जाता है) में उच्च-गुणवत्ता वाली छवियां और वीडियो बना सकते हैं, जबकि आमतौर पर सैकड़ों स्टेप्स की आवश्यकता होती है। यह एक बहुत बड़ी गति वृद्धि है। पिछले तरीकों के विपरीत, जो रोबोट को एक कठोर पथ का पालन करने के लिए मजबूर करने की कोशिश करते हैं या जटिल गणित का उपयोग करते हैं जो अक्सर मॉडल की विविधता बनाने की क्षमता को तोड़ देता है, PDD एक सरल, अधिक सीधा दृष्टिकोण अपनाता है। इसे जटिल डेरिवेटिव (derivatives) की गणना करने या एडवरसेरियल गेम्स (जहाँ दो AI एक-दूसरे को बेहतर बनाने के लिए लड़ते हैं) की आवश्यकता नहीं है, जो "मोड कोलैप्स" (mode collapse) का कारण बनते हैं—जो कि एक फैंसी तरीका है यह कहने का कि AI बार-बार एक ही चीज़ बनाने में फंस जाता है।
यह शोध पत्र दिखाता है कि यह तरीका बड़े पैमाने के मॉडल्स पर अविश्वसनीय रूप से अच्छा काम करता है, जिसमें टेक्स्ट-टू-वीडियो और टेक्स्ट-टू-इमेज सामग्री उत्पन्न करने वाले मॉडल्स शामिल हैं। उदाहरण के लिए, Wan2.1 वीडियो मॉडल पर, PDD ने 4 NFE के साथ ऐसे वीडियो बनाए जो न केवल तेज़ थे बल्कि अन्य शीर्ष तरीकों की तुलना में अधिक विविध और गतिशील भी थे। LTX-2.3 मॉडल के परीक्षणों में, जो ऑडियो के साथ 10 सेकंड के वीडियो बनाता है, PDD ने केवल 8 NFE का उपयोग करके उस टीचर मॉडल की गुणवत्ता के साथ मेल खाया जिसने 4 × 30 NFE (कुल 120 स्टेप्स) लिया था। परिणाम बताते हैं कि PDD एक मजबूत तरीका है जिससे AI जनरेशन को उस विविधता और गति को खोए बिना तेज़ बनाया जा सकता है जो वीडियो को जीवंत बनाती है। यह एक महत्वपूर्ण प्रगति है, जो यह सिद्ध करती है कि आपको एक महान परिणाम पाने के लिए लाखों छोटे कदम उठाने की आवश्यकता नहीं है; कभी-कभी, आपको बस आगे के पूरे रास्ते को देखना सीखना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।