तकनीकी सारांश: VDE – वेलोसिटी डिकंपोजिशन और एस्टिमेशन के माध्यम से ट्रेनिंग-फ्री एक्सीलरेटिंग रेक्टिफाइड फ्लो मॉडल

1. समस्या विवरण (Problem Statement)

रेक्टिफाइड फ्लो (RF) मॉडल्स ने इमेज, वीडियो और 3D जनरेशन में अत्याधुनिक प्रदर्शन हासिल किया है। हालाँकि, इनका व्यावहारिक उपयोग उच्च इन्फरेंस लेटेंसी (inference latency) के कारण बाधित होता है, क्योंकि इनके लिए आमतौर पर दर्जनों पुनरावृत्ति सैंपलिंग स्टेप्स (iterative sampling steps) की आवश्यकता होती है।

मौजूदा ट्रेनिंग-फ्री त्वरण (acceleration) विधियाँ मुख्य रूप से "कैश-एंड-रियूज" (cache-and-reuse) प्रतिमान पर निर्भर करती हैं। ये दृष्टिकोण पिछले स्टेप्स से मध्यवर्ती फीचर्स (जैसे, अटेंशन आउटपुट्स, रेसिडुअल्स) को स्टोर करते हैं और रेडंडेंट कंप्यूटेशन को स्किप करने के लिए उन्हें पुनः उपयोग करते हैं। लेखक इस रणनीति में एक मौलिक दोष की पहचान करते हैं: कैश-इनपुट मिसमैच (cache-input mismatch)। क्योंकि कैश किए गए फीचर्स स्थिर (static) होते हैं जबकि मॉडल का इनपुट सैंपलिंग ट्रजेक्टरी के दौरान गतिशील रूप से विकसित होता है, इसलिए पुराने फीचर्स का पुन: उपयोग करने से आउटपुट-इनपुट मिसमैच हो जाता है। यह मिसमैच त्रुटियों को प्रसारित करता है, जिससे विजुअल फिडेलिटी (visual fidelity) में गिरावट आती है, जैसे कि बनावट का नरम होना (softened textures) और संरचनात्मक विसंगतियाँ (structural inconsistencies)।

2. कार्यप्रणाली: वेलोसिटी डिकंपोजिशन और एस्टिमेशन (VDE)

यह पेपर वेलोसिटी डिकंपोजिशन और एस्टिमेशन (VDE) प्रस्तावित करता है, जो एक ट्रेनिंग-फ्री विधि है जो त्वरण के प्रतिमान को "कैशिंग-एंड-रियूजिंग" से बदलकर "डिकंपोजिंग-एंड-एस्टिमेटिंग" कर देती है। स्टैटिक फीचर्स को पुनः उपयोग करने के बजाय, VDE वर्तमान इनपुट से सीधे मॉडल के वेलोसिटी (velocity) का अनुमान लगाने के लिए एक लाइटवेट एस्टिमेशन फंक्शन का निर्माण करता है।

मुख्य तंत्र (Core Mechanism)

यह विधि इस अवलोकन पर आधारित है कि मॉडल द्वारा अनुमानित वेलोसिटी वेक्टर $v_t$, वर्तमान लेटेंट इनपुट $x_t$ के सापेक्ष डिकंपोज होने पर मजबूत टेम्पोरल रेगुलरिटीज (temporal regularities) प्रदर्शित करता है।

1. वेलोसिटी डिकोजिशन (Velocity Decomposition):
   वेलोसिटी $v_t$ को दो घटकों में विशिष्ट रूप से विभाजित किया जाता है:

   • एक पैरेलल कंपोनेंट (parallel component) जो इनपुट $x_t$ के साथ संरेखित (aligned) है।
   • एक ऑर्थोगोनल कंपोनेंट (orthogonal component) जो $x_t$ के लंबवत (perpendicular) है।

   गणितीय रूप से, इसे इस प्रकार व्यक्त किया गया है:
   $$v_t = \alpha_t x_t + \beta_t \|x_t\| u_t$$
   जहाँ:

   • $\alpha_t$ और $\beta_t$ स्केलर गुणांक (scalar coefficients) हैं।
   • $u_t$ एक यूनिट वेक्टर है जो ऑर्थोगोनल दिशा का प्रतिनिधित्व करता है ($u_t \perp x_t$)।

2. टेम्पोरल रेगुलरिटीज (अनुभवजन्य निष्कर्ष):
   व्यापक विश्लेषण के माध्यम से, लेखक सैंपलिंग के "स्टेबल फेज" (प्रारंभिक वार्म-अप के बाद) के दौरान दो स्थिर पैटर्न देखते हैं:

   • अनुमानित गुणांक (Predictable Coefficients): स्केलर गुणांक $\alpha_t$ और $\beta_t$ हाल के ऐतिहासिक मानों से लीनियर एक्सट्रपलेशन (linear extrapolation) के माध्यम से विश्वसनीय रूप से अनुमानित किए जाने योग्य हैं, क्योंकि वे क्रमिक स्टेप्स के बीच स्ट्रॉन्ग लोकल लिनियरिटी के साथ सुचारू रूप से विकसित होते हैं।
   • स्थिर ऑर्थोगोनल दिशा (Stable Orthogonal Direction): यूनिट वेक्टर $u_t$ कम अंतराल में लगभग स्थिर रहता है (कोसाइन सिमिलैरिटी $> 0.99$)। यह बिना किसी महत्वपूर्ण त्रुटि के हाल के ऑर्थोगोनल दिशा के पुन: उपयोग की अनुमति देता है।

3. VDE एल्गोरिदम:
   VDE एक एंकर-एंड-एस्टिमेट (anchor-and-estimate) मोड में कार्य करता है:

   • एंकर स्टेप्स (Anchor Steps): आवधिक अंतराल पर (जैसे, प्रत्येक $n$ स्टेप में), एक पूर्ण मॉडल फॉरवर्ड पास निष्पादित किया जाता है। ग्राउंड-ट्रुथ टुपल $(\alpha_t, \beta_t, u_t)$ प्राप्त करने के लिए वेलोसिटी को डिकंपोज किया जाता है।
   • एस्टिमेशन स्टेप्स (Estimation Steps): एंकर स्टेप्स के बीच के स्टेप्स के लिए, मॉडल कंप्यूटेशन के बिना वेलोसिटी का अनुमान लगाया जाता है:
     • गुणांक ($\hat{\alpha}_t, \hat{\beta}_t$): दो सबसे हालिया एंकर स्टेप्स से प्राप्त गुणांकों के आधार पर लीनियर एक्सट्रपलेशन के माध्यम से अनुमानित।
     • दिशा ($\hat{u}_t$): सबसे हालिया एंकर स्टेप से पुन: उपयोग।
     • सिंथेसिस (Synthesis): अनुमानित वेलोसिटी $\hat{v}_t$ को वर्तमान इनपुट $x_t$ और अनुमानित घटकों का उपयोग करके विश्लेषणात्मक रूप से पुनर्गठित किया जाता है:
       $$\hat{v}_t = \hat{\alpha}_t x_t + \hat{\beta}_t \|x_t\| \hat{u}_t$$

यह दृष्टिकोण स्वाभाविक रूप से इनपुट-एडेप्टिव (input-adaptive) है, क्योंकि अनुमानित आउटपुट को वर्तमान इनपुट $x_t$ से ताज़ा बनाया जाता है, जिससे पुराने (stale) फीचर्स पर निर्भरता समाप्त हो जाती है।

3. प्रमुख योगदान (Key Contributions)

• समस्या की पहचान: पेपर "कैश-इनपुट मिसमैच" की पहचान करता है जो मौजूदा कैशिंग-आधारित त्वरण विधियों में फिडेलिटी लॉस का मूल कारण है और ट्रेनिंग-फ्री त्वरण को एक इनपुट-आउटपुट मैपिंग एस्टिमेशन समस्या के रूप में पुनर्परिभाषित करता है।
• नया प्रतिमान (Novel Paradigm): यह VDE पेश करता है, जो स्टैटिक फीचर रियूज को डायनेमिक डिकंपोजिशन और एस्टिमेशन से बदल देता है। यह मौलिक रूप से पुराने कैश के कारण होने वाले आउटपुट-इनपुट मिसमैच को समाप्त करता है।
• अनुभवजन्य खोज (Empirical Discovery): लेखक प्रदर्शित करते हैं कि वेलोसिटी को पैरेलल और ऑर्थोगोनल घटकों में विभाजित करने से मजबूत टेम्पोरल रेगुलरिटीज (गुणांकों की स्थानीय लिनियरिटी और दिशा की स्थिरता) प्रकट होती है जो सटीक, कम लागत वाला अनुमान सक्षम करती है।
• प्रदर्शन: व्यापक प्रयोगों से पता चलता है कि VDE न्यूनतम विजुअल क्वालिटी लॉस के साथ पर्याप्त स्पीडअप (2.04× से 3.22×) प्राप्त करता है, जो TeaCache और EasyCache जैसे अत्याधुनिक बेसलाइन्स से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने इमेज जनरेशन मॉडल्स (FLUX.1 [dev], Qwen-Image) और एक वीडियो जनरेशन मॉडल (Wan2.1) पर VDE का मूल्यांकन किया।

• इमेज जनरेशन (FLUX.1):
  • VDE-fast ने 3.01× स्पीडअप (16 NFEs) प्राप्त किया, जबकि SSIM को 0.7240 (EasyCache-fast) से बढ़ाकर 0.8267 किया और LPIPS को 0.3197 से घटाकर 0.1997 किया।
  • VDE-slow ने T=50 बेसलाइन के लगभग समान विजुअल क्वालिटी के साथ 2.21× स्पीडअप प्राप्त किया, जो SSIM में 19.5% और PSNR में 30.3% के सुधार के साथ सर्वश्रेष्ठ बेसलाइन (EasyCache-slow) से बेहतर रहा।
• इमेज जनरेशन (Qwen-Image):
  • VDE-slow ने 2.04× स्पीडअप के साथ 0.069 का LPIPS प्राप्त किया, जो सर्वश्रेष्ठ बेसलाइन की तुलना में 52.2% की कमी दर्शाता है।
  • इसने पूर्ण T=50 बेसलाइन (1.295) के ImageReward स्कोर से मेल खाया, जो उच्च बोधगम्य फिडेलिटी (perceptual fidelity) को दर्शाता है।
• वीडियो जनरेशन (Wan2.1):
  • VDE ने 2.50× स्पीडअप (40 NFEs) प्राप्त किया, जबकि 80.43 का VBench स्कोर बनाए रखा, जो मूल मॉडल (81.30) के तुलनीय है और अन्य त्वरण विधियों से बेहतर है।
• गुणात्मक विश्लेषण (Qualitative Analysis): विजुअल तुलना दर्शाती है कि जहाँ कैशिंग विधियाँ अक्सर टेक्सचर डिग्रेडेशन और संरचनात्मक विसंगतियों को प्रदर्शित करती हैं, वहीं VDE वैश्विक संरचना (global composition) और सूक्ष्म विवरणों (आकार, शेडिंग) को सुरक्षित रखता है जो T=50 बेसलाइन के तुलनीय है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि VDE जनरेटिव मॉडल्स को तेज करने के लिए एक नया दृष्टिकोण प्रदान करता है। डायनेमिक एस्टिमेशन की ओर शिफ्ट होकर, यह प्रभावी रूप से कैश-इनपुट मिसमैच को कम करता है जो वर्तमान ट्रेनिंग-फ्री विधियों को प्रभावित करता है।

लेखक इस बात पर जोर देते हैं कि VDE है:

• ट्रेनिंग-फ्री: इसके लिए किसी अतिरिक्त डेटा या ऑप्टिमाइजेशन साइकिल की आवश्यकता नहीं है।
• इनपुट-एडेप्टिव: यह वर्तमान इनपुट स्टेट के आधार पर आउटपुट का निर्माण करता है, जिससे उच्च फिडेलिटी सुनिश्चित होती है।
• स्केलेबल: यह विभिन्न रिज़ॉल्यूशन, आस्पेक्ट रेशियो और मॉडल आर्किटेक्चर (DiT-आधारित इमेज और वीडियो मॉडल) में अच्छी तरह से सामान्यीकृत होता है।
• कुशल (Efficient): डिकंपोजिशन और एस्टिमेशन में केवल सरल अंकगणितीय संचालन शामिल हैं, जो स्किप्ड फॉरवर्ड पासेज से होने वाली बचत की तुलना में नगण्य कम्प्यूटेशनल ओवरहेड जोड़ते हैं।

कार्य निष्कर्ष निकालता है कि VDE एक बेहतर स्पीड-फिडेलिटी ट्रेड-ऑफ प्रदान करता है, जो उच्च गुणवत्ता वाले रेक्टिफाइड फ्लो मॉडल्स को वास्तविक समय या कंप्यूट-कंस्ट्रेंड परिदृश्यों में व्यावहारिक तैनाती के लिए सक्षम बनाता है।