💬 NLP

WorldCache: Content-Aware Caching for Accelerated Video World Models

WorldCache एक प्रशिक्षण-मुक्त, धारणा-प्रतिबंधित (perception-constrained) गतिशील कैशिंग फ्रेमवर्क है जो मोशन-एडेप्टिव थ्रेशोल्ड और फीचर वार्पिंग को पेश करके डिफ्यूजन ट्रांसफार्मर-आधारित वीडियो वर्ल्ड मॉडल्स को त्वरित करता है, जिससे 99.4% बेसलाइन गुणवत्ता को बनाए रखते हुए और घोस्टिंग आर्टिफैक्ट्स को समाप्त करते हुए 2.3× इन्फरेंस स्पीडअप प्राप्त होता है।

मूल लेखक: Umair Nawaz, Ahmed Heakl, Ufaq Khan, Abdelrahman Shaker, Salman Khan, Fahad Shahbaz Khan

प्रकाशित 2026-03-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Umair Nawaz, Ahmed Heakl, Ufaq Khan, Abdelrahman Shaker, Salman Khan, Fahad Shahbaz Khan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त शहर की सड़क का एक विशाल, चलता-फिरता भित्तिचित्र (mural) पेंट करने की कोशिश कर रहे हैं। आप एक ऐसे कलाकार हैं जो इस दृश्य को एक बार में एक छोटा सा ब्रशस्ट्रोक बनाकर बनाता है, और इसे बार-बार तब तक परिष्कृत करता है जब तक कि यह एकदम सटीक न दिखने लगे। आधुनिक AI वीडियो जनरेटर (जिन्हें वर्ल्ड मॉडल्स कहा जाता है) इसी तरह काम करते हैं। वे एक धुंधले, शोर भरे ढेर से शुरुआत करते हैं और धीरे-धीरे एक स्पष्ट, चलते-फिरते वीडियो को प्रकट करने के लिए चरण-दर-चरण "डिनोइज़िंग" (denoising) करते हैं।

समस्या क्या है? यह प्रक्रिया अविश्वसनीय रूप से धीमी और महंगी है। यह एक मास्टर पेंटर से 10 सेकंड के वीडियो के प्रत्येक फ्रेम के लिए पूरी दीवार को फिर से शुरू से पेंट करने के लिए कहने जैसा है। जब तक वे इसे पूरा करेंगे, सूरज ढल चुका होगा।

पेश है WorldCache।

इस शोधपत्र के पीछे के शोधकर्ताओं ने महसूस किया कि पेंटर को हर बार पूरी दीवार को फिर से पेंट करने की आवश्यकता नहीं है। यदि पृष्ठभूमि में एक पेड़ नहीं हिल रहा है, तो उसे क्यों दोबारा पेंट करना? यदि एक कार धीरे चल रही है, तो शायद आप नई पेंटिंग बनाने के बजाय कार की पुरानी पेंटिंग को थोड़ा सा खिसका (nudge) सकते हैं।

हालाँकि, इसे करने के पिछले प्रयास (जैसे "FasterCache" या "DiCache") थोड़े अनाड़ी थे। वे एक सरल नियम पर काम करते थे: "यदि दृश्य में बहुत अधिक बदलाव नहीं हुआ है, तो पुरानी तस्वीर को ठीक वैसे ही कॉपी कर लें।"

यह एक कार की फोटो लेने और फिर उसे चलते हुए दिखाने की कोशिश करने जैसा है, जैसे कि आप उसी पुरानी फोटो को बार-बार ऊपर से चिपकाते जा रहे हों। परिणाम? घोस्टिंग (Ghosting)। कार एक धुंधला, पारदर्शी धब्बा दिखाई देती है। यह वास्तविकता के भ्रम को तोड़ देता है।

WorldCache इसे ठीक करता है क्योंकि यह एक समझदार, चौकस आर्ट डायरेक्टर की तरह काम करता है जिसे पता है कि कब कॉपी करना है और कैसे कॉपी करना है। यहाँ बताया गया है कि यह चार सरल ट्रिक्स के माध्यम से कैसे काम करता है:

1. "मोशन रडार" (Causal Feature Caching)

समस्या: एक स्थिर पृष्ठभूमि (जैसे नीला आकाश) अपरिवर्तित लग सकती है, लेकिन अग्रभूमि में तेजी से चलती कार तेजी से बदल रही होती है। पुराने तरीके पूरे दृश्य को देखते थे और कहते थे, "हे, औसत बदलाव कम है, चलो पेंटिंग छोड़ देते हैं!" इसके कारण कार एक भूतिया आकृति (ghost) बन जाती थी।
WorldCache का समाधान: इसमें एक रडार है जो विशेष रूप से हलचल पर नज़र रखता है। यदि कार तेज़ी से गुजर रही है, तो रडार चिल्लाता है, "रुको! इसे मत छोड़ो! इस हिस्से को नया पेंट करो!" यह केवल तभी स्किप करने की अनुमति देता है जब हलचल वास्तव में बहुत धीमी या नगण्य हो।

2. "स्पॉटलाइट" (Saliency-Weighted Drift)

समस्या: कल्पना कीजिए कि एक पार्क में चलते हुए व्यक्ति का वीडियो है। पृष्ठभूमि में पेड़ हवा में थोड़ा हिल सकते हैं। पुराने तरीके इन हिलते पेड़ों से विचलित हो जाते थे और सोचते थे, "ओह, दृश्य बदल रहा है!" इसलिए वे सब कुछ फिर से पेंट करने लगते थे, जिससे समय बर्बाद होता था।
WorldCache का समाधान: यह महत्वपूर्ण चीजों (व्यक्ति, कार, हाथ) पर एक स्पॉटलाइट डालता है। यह हिलते हुए पेड़ों को अनदेखा कर देता है। यदि व्यक्ति नहीं हिलता है, तो यह जानता है कि पुरानी पेंटिंग का पुन: उपयोग करना सुरक्षित है, भले ही पेड़ हिल रहे हों। यह अपनी ऊर्जा उस पर केंद्रित करता है जो आपके लिए मायने रखता है।

3. "मैजिक स्लाइड" (Optimal Feature Approximation)

समस्या: जब आप पेंटिंग के किसी पुराने हिस्से का पुन: उपयोग करने का निर्णय लेते हैं (जैसे चलती हुई कार), तो आप उसे केवल पुराने स्थान पर चिपका नहीं सकते। उसे नए स्थान पर जाना चाहिए। पुराने तरीके बस उसे चिपका देते थे, जिससे "घोस्टिंग" का प्रभाव पैदा होता था।
WorldCache का समाधान: चिपकाने के बजाय, यह एक मैजिक स्लाइड का उपयोग करता है। यह गणना करता है कि कार को वास्तव में कहाँ होना चाहिए और पुराने चित्र को उस नए स्थान पर फिट होने के लिए धीरे से मोड़ (warp) देता है। यह कार की फोटो लेने और उसे कैनवास पर जहाँ वह होनी चाहिए, वहाँ स्लाइड करने जैसा है, न कि उसके ऊपर एक नई फोटो स्टैम्प करने जैसा। यह गति को सुचारू और यथार्थवादी बनाए रखता है।

4. "फेज टाइमर" (Adaptive Threshold Scheduling)

समस्या: चित्र बनाने के दो चरण होते हैं।
- चरण 1 (शुरुआती): आप बड़े आकार (आकाश, सड़क, इमारतें) का स्केच बना रहे हैं। यहाँ आपको बहुत सावधान रहने की आवश्यकता है।
- चरण 2 (अंतिम): आप सूक्ष्म विवरण (ईंट पर छाया, बनावट) जोड़ रहे हैं। ये बदलाव छोटे होते हैं।
- पुराने तरीके दोनों चरणों के लिए एक ही सख्त नियमों का उपयोग करते थे। वे दूसरे चरण में बहुत अधिक सावधान थे, जिससे सूक्ष्म विवरणों पर समय बर्बाद होता था।
WorldCache का समाधान: यह एक स्मार्ट टाइमर की तरह काम करता है। शुरुआती चरण में, यह कहता है, "सावधान रहें, आइए सब कुछ पेंट करें।" लेकिन अंतिम चरण में, यह कहता, "ठीक है, बड़े आकार बन चुके हैं। अब हम थोड़े लापरवाह हो सकते हैं और अधिकांश काम का पुन: उपयोग कर सकते हैं।" यहीं पर यह सबसे अधिक समय बचाता है।

परिणाम?

इन चारों ट्रिक्स को मिलाकर, WorldCache उन पेंटरों की एक टीम को नियुक्त करने जैसा है जो जानते हैं कि कब आराम करना है और चित्र को खराब किए बिना अपने काम को कैसे चलाना है।

गति: यह वीडियो निर्माण को 2.3 गुना तेज़ बनाता है।
गुणवत्ता: यह मूल गुणवत्ता का 99.4% बनाए रखता है।
कोई ट्रेनिंग नहीं: इसे AI को फिर से पेंट करना सिखाने की आवश्यकता नहीं है; यह बस यह बदल देता है कि पेंटर कैसे काम करता है।

संक्षेप में, WorldCache यह समझकर कि क्या कॉपी करना है, उसे कैसे हिलाना है और कब करना है, AI को "घोस्टिंग" और "धुंधलापन" से बचाता है। यह एक धीमी, महंगी प्रक्रिया को एक तेज़, कुशल प्रक्रिया में बदल देता है, जिससे वास्तविक समय में यथार्थवादी वीडियो सिमुलेशन संभव हो जाता है।

यहाँ शोध पत्र "WorldCache: Content-Aware Caching for Accelerated Video World Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ: डिफ्यूजन ट्रांसफॉर्मर (DiTs) उच्च-गुणवत्ता वाले वीडियो वर्ल्ड मॉडल्स के लिए प्रमुख आर्किटेक्चर हैं, जो एजेंटों को भविष्य की दृश्य अवस्थाओं (visual states) को सिम्युलेट करने में सक्षम बनाते हैं। हालाँकि, डैनोइजिंग स्टेप्स की क्रमिक प्रकृति और स्पैटियो-टेम्पोरल अटेंशन मैकेनिज्म की उच्च लागत के कारण इन वीडियो को जेनरेट करना कम्प्यूटेशनल रूप से बहुत महंगा है।

चुनौती: मौजूदा ट्रेनिंग-फ्री एक्सेलेरेशन विधियाँ (जैसे, FasterCache, DiCache) पिछले डैनोइजिंग स्टेप्स से इंटरमीडिएट फीचर एक्टिवेशन्स को पुन: उपयोग करके इन्फरेंस की गति बढ़ाने का प्रयास करती हैं, जब "ड्रिफ्ट" (बदलाव) कम होता है।

दोष: ये विधियाँ Zero-Order Hold (ZOH) धारणा पर निर्भर करती हैं। वे कैश किए गए फीचर्स को स्थिर स्नैपशॉट के रूप में मानती हैं, और जब ग्लोबल ड्रिफ्ट मेट्रिक कम होता है, तो उन्हें बिना किसी बदलाव के कॉपी कर देती हैं।
परिणाम: गतिशील दृश्यों (dynamic scenes) में, इससे गंभीर आर्टिफैक्ट्स उत्पन्न होते हैं:
- घोस्टिंग और ब्लर (Ghosting and Blur): स्टैटिक फीचर्स ऑब्जेक्ट मोशन (वस्तु की गति) को समझने में विफल रहते हैं।
- मोशन इनकंसिस्टेंसी (Motion Inconsistency): प्रक्षेपवक्र (trajectories) असंगत हो जाते हैं।
- सिमेंटिक स्मियरिंग (Semantic Smearing): महत्वपूर्ण वस्तुएं (एजेंट, हाथ) खराब हो जाती हैं जबकि बैकग्राउंड स्थिर रहता है।
विफलता के मूल कारण:
1. ग्लोबल एवरेजिंग (Global Averaging): ड्रिफ्ट मेट्रिक्स पूरे स्पैटियल मैप पर औसत निकालते हैं, जिससे बड़े फोरग्राउंड बदलावों को स्थिर बैकग्राउंड द्वारा छिपा दिया जाता है।
2. यूनिफॉर्म वेटिंग (Uniform Weighting): सभी स्पैटियल लोकेशन्स को समान माना जाता है, यह अनदेखा करते हुए कि महत्वपूर्ण संस्थाओं (salient entities) पर त्रुटियां अधिक धारणात्मक रूप से हानिकारक होती हैं।
3. स्टैटिक थ्रेशोल्ड्स (Static Thresholds): एक एकल थ्रेशोल्ड डैनोइजिंग प्रक्षेपवक्र (trajectory) के अनुकूल होने में विफल रहता है (शुरुआती स्टेप्स को संरचना की आवश्यकता होती है; बाद के स्टेप्स को सूक्ष्म विवरण की)।

2. कार्यप्रणाली: WorldCache (Methodology: WorldCache)

WorldCache एक परसेप्शन-कंस्ट्रेंड डायनामिकल कैशिंग (Perception-Constrained Dynamical Caching) फ्रेमवर्क प्रस्तावित करता है। "सिंपल स्किप-एंड-रियूज" प्रतिमान के बजाय, यह कैशिंग को एक नियंत्रित डायनामिकल एप्रोक्सिमेशन समस्या के रूप में मानता है। इसमें चार ट्रेनिंग-फ्री मॉड्यूल शामिल हैं:

A. कॉज़ल फीचर कैशिंग (CFC): मोशन-एडाप्टिव निर्णय

लक्ष्य: यह निर्धारित करना कि दृश्य की गतिशीलता के आधार पर गणना (computation) को छोड़ना कब सुरक्षित है।
मैकेनिज्म: एक निश्चित थ्रेशोल्ड के बजाय, CFC वर्तमान लेटेंट इनपुट और दो स्टेप पहले ( $t-2$ ) के इनपुट के बीच सामान्यीकृत परिवर्तन के आधार पर "वेलोसिटी" ( $v_t$ ) की गणना करता है।
तर्क: स्किप थ्रेशोल्ड को गतिशील रूप से समायोजित किया जाता है: $\tau_{CFC}(v_t) = \frac{\tau_0}{1 + \alpha \cdot v_t}$ $τ_{C F C} (v_{t}) = \frac{τ _{0}}{1 + α \cdot v _{t}}$ ।
- उच्च गति $\rightarrow$ सख्त थ्रेशोल्ड (कम स्किपिंग)।
- कम गति $\rightarrow$ ढीला थ्रेशोल्ड (अधिक स्किपिंग)।
कार्यान्वयन: हाल ही के पूर्ण रूप से कंप्यूटेड स्टेट ( $t-2$ ) को एंकर करने के लिए पिंग-पोंग बफर का उपयोग करता है, जिससे एरर संचय (error accumulation) से बचा जा सके।

B. सैलियंसी-वेटेड ड्रिफ्ट (SWD): परसेप्शन-अवेयर प्रोबिंग

लक्ष्य: यह सुनिश्चित करना कि ड्रिफ्ट मेट्रिक धारणात्मक रूप से महत्वपूर्ण क्षेत्रों पर ध्यान केंद्रित करे।
मैकेनिज्म: शैलो प्रोब फीचर्स के चैनल-वाइज वेरिएंस के आधार पर एक स्पैटियल सैलियंसी मैप ( $S$ ) जेनरेट करता है। उच्च वेरिएंस जटिल क्षेत्रों (किनारों, बनावट, वस्तुओं) को दर्शाता है।
तर्क: ड्रिफ्ट गणना को पुन: भारित किया जाता है: $\delta_t^{SWD} = \sum \| \Delta z \|_1 \cdot (1 + \beta_s \hat{S}_{h,w})$ $δ_{t}^{S W D} = \sum ∥Δ z ∥_{1} \cdot (1 + β_{s} \hat{S}_{h, w})$ ।
- सैलियंट क्षेत्रों (फोरग्राउंड) में ड्रिफ्ट को बढ़ाया जाता है, जिससे पुन: गणना (recomputation) ट्रिगर होती है।
- गैर-सैलियंट क्षेत्रों (बैकग्राउंड) में ड्रिफ्ट को कम किया जाता है, जिससे सुरक्षित स्किपिंग संभव होती है।

C. ऑप्टिमल फीचर एप्रोक्सिमेशन (OFA): बेहतर पुन: उपयोग

लक्ष्य: जब स्किप होता है, तो पुन: उपयोग किए गए फीचर्स की गुणवत्ता में सुधार करना।
मैकेनिज्म: वर्टेटम कॉपी करने के स्थान पर दो ऑपरेटरों का उपयोग करता है:
1. ऑप्टिमल स्टेट इंटरपोलेशन (OSI): कैश किए गए रेसिडुअल्स के बीच ब्लेंडिंग कोएफिशिएंट ( $\gamma^*$ ) का अनुमान लगाने के लिए लीस्ट-स्क्वेयर्स वेक्टर प्रोजेक्शन का उपयोग करता है। केवल स्केलर रेश्यो के विपरीत, यह फीचर इवोल्यूशन की दिशा को कैप्चर करता है, जिससे मोशन कर्व होने पर एक्सट्रपलेशन एरर से बचा जा सके।
2. मोशन-कंपनसेटेड वार्पिंग (Motion-Compensated Warping): लेटेंट इनपुट और ऑप्टिकल फ्लो के बीच विस्थापन क्षेत्र (displacement field) का अनुमान लगाता है और कैश किए गए फीचर्स को वर्तमान कोऑर्डिनेट फ्रेम में वार्प करता है। यह ऑब्जेक्ट मोशन के कारण होने वाले स्पैटियल मिसअलाइनमेंट को ठीक करता है।

D. एडेप्टिव थ्रेशोल्ड शेड्यूलिंग (ATS): फेज-अवेयर पुन: उपयोग

लक्ष्य: डैनोइजिंग के बाद के चरणों में स्पीडअप को अधिकतम करना।
तर्क: डैनोइजिंग प्रक्रिया दो चरणों में होती है:
- शुरुआती: संरचना निर्माण (बड़े अपडेट)।
- बाद का: विवरण परिशोधन (सूक्ष्म, हाई-फ्रीक्वेंसी अपडेट)।
मैकेनिज्म: डैनोइजिंग स्टेप $t$ $t$ बढ़ने के साथ थ्रेशोल्ड को प्रगतिशील रूप से ढीला किया जाता है: $\tau_{ATS}(t) = \tau_{CFC}(v_t) \cdot (1 + \beta_d \cdot \frac{t}{T})$ $τ_{A T S} (t) = τ_{C F C} (v_{t}) \cdot (1 + β_{d} \cdot \frac{t}{T})$ ।
- यह बाद के चरण में आक्रामक पुन: उपयोग की अनुमति देता है जहाँ फीचर अपडेट न्यूनतम होते हैं, जिससे वैश्विक संरचना से समझौता किए बिना गति में उल्लेखनीय वृद्धि होती है।

3. मुख्य योगदान (Key Contributions)

औपचारिकता (Formalization): मौजूदा कैशिंग विधियों में Zero-Order Hold धारणा को डायनेमिक वर्ल्ड मॉडल्स में आर्टिफैक्ट्स के प्राथमिक कारण के रूप में पहचाना।
एकीकृत ढांचा (Unified Framework): WorldCache पेश किया, जो एक सुसंगत प्रणाली है जो यह सुधारती है कि कब स्किप करना है (CFC और SWD के माध्यम से) और कैसे एप्रोक्सिमेट करना है (OFA और ATS के माध्यम से), बिना रिट्रेनिंग के।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: प्रदर्शित किया कि परसेप्शन-कंस्ट्रेंड कैशिंग बेसलाइन क्वालिटी को बनाए रखते हुए भारी स्पीडअप प्राप्त कर सकती है, जो मौजूदा ट्रेनिंग-फ्री विधियों से बेहतर है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन PAI-Bench (फिजिकल AI बेंचमार्क) पर Cosmos-Predict2.5 (2B और 14B पैरामीटर्स) और WAN2.1 का उपयोग करके किया गया।

स्पीडअप:
- Cosmos-2B: 2.3× (Text2World) और 2.1× (Image2World) की गति प्राप्त की।
- Cosmos-14B: 2.14× स्पीडअप प्राप्त किया।
- WAN2.1: 2.36× तक स्पीडअप प्राप्त किया।
क्वालिटी रिटेंशन:
- 99.4% बेसलाइन क्वालिटी (ओवरऑल स्कोर) को सुरक्षित रखा।
- DiCache (1.3–1.4× स्पीडअप) और FasterCache (1.6–1.7× स्पीडअप, लेकिन गंभीर क्वालिटी गिरावट के साथ) से काफी बेहतर प्रदर्शन किया।
गुणात्मक सुधार (Qualitative Improvements):
- गतिशील दृश्यों (जैसे ड्राइविंग, रोबोटिक मैनिपुलेशन) में घोस्टिंग और मोशन इनकंसिस्टेंसी को समाप्त किया।
- जहाँ DiCache विफल रहा, वहाँ सुसंगत ऑब्जेक्ट आइडेंटिटी और प्रक्षेपवक्र बनाए रखा।
एब्लेशन स्टडीज (Ablation Studies):
- CFC ने मोशन के तहत सुरक्षा प्रदान की।
- SWD ने बैकग्राउंड नॉइज़ को अनदेखा करके कैश हिट्स को बढ़ाया।
- OFA ने थोड़े से स्पीड लॉस के साथ बेहतर फिडेलिटी (उच्चतम क्वालिटी स्कोर) में सुधार किया।
- ATS ने रिफाइनमेंट फेज में थ्रेशोल्ड को ढीला करके अंतिम स्पीडअप लाभ अनलॉक किया।

5. महत्व (Significance)

व्यावहारिक तैनाती: WorldCache ट्रेनिंग-फ्री और प्लग-एंड-प्ले है, जिसके लिए बेस मॉडल में किसी आर्किटेक्चरल बदलाव या रिट्रेनिंग की आवश्यकता नहीं है। इसे मौजूदा DiT-आधारित वर्ल्ड मॉडल्स पर तुरंत तैनात किया जा सकता है।
इंटरैक्टिव सिमुलेशन: लेटेंसी को ~2.3× कम करके, यह रीयल-टाइम, क्लोज्ड-लूप वर्ल्ड सिमुलेशन को व्यवहार्य बनाता है, जो रोबोटिक्स और ऑटोनॉमस एजेंटों के लिए महत्वपूर्ण है।
पैराडाइम शिफ्ट: यह क्षेत्र को "स्टैटिक फीचर रियूज" से "डायनामिकल, परसेप्शन-अवेयर एप्रोक्सिमेशन" की ओर ले जाता है, जो भौतिक रूप से सुसंगत वातावरण में कुशल वीडियो जनरेशन के लिए एक नया मानक स्थापित करता है।

संक्षेप में, WorldCache वीडियो वर्ल्ड मॉडल इन्फरेंस के महत्वपूर्ण बॉटलनेक को बुद्धिमानी से हल करता है कि क्या कैश करना है, कब पुन: उपयोग करना है, और कैसे पुनर्निर्माण करना है, जिससे सभी पूर्ववर्ती ट्रेनिंग-फ्री विधियों की तुलना में बेहतर स्पीड-क्वालिटी ट्रेड-ऑफ प्राप्त होता है।