💻 computer science

Infinity-RoPE: Action-Controllable Infinite Video Generation Emerges From Autoregressive Self-Rollout

यह शोध पत्र $\infty$ -RoPE का परिचय देता है, जो एक प्रशिक्षण-मुक्त (training-free) इन्फरेंस फ्रेमवर्क है जो Block-Relativistic RoPE, KV Flush और RoPE Cut के माध्यम से 3D-RoPE की अस्थायी सीमाओं को पार करके अनंत-क्षितिज (infinite-horizon), एक्शन-नियंत्रणीय (action-controllable) और सिनेमाई वीडियो जनरेशन को सक्षम बनाता है।

मूल लेखक: Hidir Yesiltepe, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Pinar Yanardag

प्रकाशित 2026-03-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hidir Yesiltepe, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Pinar Yanardag

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई मूवी कैमरा है जो आपके द्वारा वर्णित किसी भी चीज़ को फिल्मा सकता है। लेकिन इसमें एक पेंच है: इस कैमरे की याददाश्त बहुत कम है। यह केवल 5 सेकंड के आसपास की क्रिया को फिल्मा सकता है, जिसके बाद यह भ्रमित होने लगता है, पात्रों को भूल जाता है, या दृश्य को फ्रीज कर देता है।

यही वर्तमान AI वीडियो जनरेटरों के साथ समस्या है। वे छोटे क्लिप बनाने में बेहतरीन हैं लेकिन लंबे, निरंतर वीडियो बनाने में संघर्ष करते हैं।

यह पेपर ∞-RoPE (इन्फिनिटी-RoPE) का परिचय देता है, जो एक चतुर "सॉफ्टवेयर अपडेट" है जो इस कम याददाश्त वाले कैमरे को एक ऐसे कैमरे में बदल देता है जो बिना कभी मेमोरी खत्म हुए या कहानी भूले अनंत फिल्में फिल्मा सकता है। यह इसे बिना कैमरे को फिर से प्रशिक्षित किए या उसे नई चीजें सिखाए करता है; यह बस इस बात को बदल देता है कि कैमरा समय के बारे में कैसे सोचता है।

यह तीन सरल उपमाओं (analogies) का उपयोग करके कैसे काम करता है, यहाँ दिया गया है:

1. चलती हुई ट्रेन (Block-Relativistic RoPE)

समस्या: कल्पना कीजिए कि कैमरा एक ट्रेन है जो केवल 100 ट्रैक आगे देख सकती है। यदि आप 1,000 मील की यात्रा फिल्माने की कोशिश करते हैं, तो ट्रेन दुर्घटनाग्रस्त हो जाती है क्योंकि वह इतनी दूर तक "देख" नहीं सकती। गणित जिसका उपयोग यह समय गिनने के लिए करता है, विफल हो जाता है।

समाधान: ∞-RoPE नियम बदल देता है। एक निश्चित शुरुआती बिंदु (जैसे "ट्रैक #1") से ट्रैक गिनने के बजाय, यह समय को एक चलती हुई ट्रेन कार की तरह मानता है।

जैसे-जैसे कैमरा नए दृश्य फिल्माता है, यह अपनी "व्यूइंग विंडो" (देखने की खिड़की) को स्थानांतरित करता है।
यह वर्तमान दृश्य और ठीक उससे पहले वाले दृश्य के बीच की सापेक्ष दूरी को बनाए रखता है, लेकिन यह उन दृश्यों के सटीक "माइल मार्कर" को भूल जाता है जो बहुत समय पहले हुए थे।
उपमा: इसे एक लंबे गलियारे में चलते हुए व्यक्ति की तरह समझें। वे ठीक से याद रखते हैं कि वे अभी जिस दीवार के पास से गुजरे हैं उसके सापेक्ष वे कहाँ हैं, लेकिन उन्हें उस दरवाजे का सटीक नंबर याद रखने की आवश्यकता नहीं है जिससे वे 10 मिनट पहले गुजरे थे। यह कैमरे को चक्कर खाए बिना या क्रैश हुए बिना हमेशा चलते रहने की अनुमति देता है।

2. क्रियाओं के लिए "रीसेट बटन" (KV Flush)

समस्या: कल्पना कीजिए कि आप एक फिल्म फिल्मा रहे हैं जहाँ अभिनेता स्थिर खड़ा है। अचानक, आप चाहते हैं कि वे नाचना शुरू कर दें। पुराने AI मॉडलों में, कैमरा "खड़े रहने" की स्मृति के प्रति इतना जुनूनी होता है कि उसे "नाचने" में स्विच करने में बहुत समय लगता है, या अभिनेता दोनों का एक अजीब मिश्रण करते हुए फंस जाता है।

समाधान: ∞-RoPE एक ट्रिक का उपयोग करता है जिसे KV Flush कहा जाता है।

उपमा: कल्पना कीजिए कि कैमरे के पास एक व्हाइटबोर्ड है जहाँ वह वह सब कुछ लिखता है जो उसने देखा है। जब आप कहते हैं, "अब नाचो!", तो कैमरा बोर्ड को पूरी तरह से नहीं मिटाता (जिससे वीडियो ग्लिच हो जाएगा)। इसके बजाय, वह केवल दो चीजें रखता है:
1. "ग्लोबल एंकर" (मुख्य पात्र का चेहरा/पहचान)।
2. बिल्कुल अंतिम फ्रेम (गति को सुचारू रखने के लिए)।
- यह बाकी सब कुछ तुरंत मिटा देता है।
परिणाम: अभिनेता बिना किसी लैग के तुरंत खड़े होने से नाचने में बदल जाता है, जबकि वह अभी भी वही व्यक्ति दिखता है।

3. "सीन कट" स्विच (RoPE Cut)

समस्या: वास्तविक फिल्मों में, निर्देशक रसोई के दृश्य से समुद्र तट के दृश्य में कट लगाते हैं। पुराने AI मॉडल रसोई को धीरे-धीरे समुद्र तट में बदलने की कोशिश करते हैं, जो अजीब और स्वप्न जैसा दिखता है। वे एक हार्ड कट (एकदम से बदलाव) नहीं कर सकते।

समाधान: ∞-RoPE, RoPE Cut पेश करता है।

उपमा: कल्पना कीजिए कि आप एक किताब पढ़ रहे हैं। आमतौर पर, आप एक-एक करके पन्ने पलटते हैं। लेकिन कभी-कभी, आप अध्याय 1 से अध्याय 100 पर कूदना चाहते हैं।
यह फीचर कैमरे को समय счет (counter) को "कूदने" की अनुमति देता है। यह AI को बताता है: "समय गिनना सामान्य रूप से बंद करो। मान लो कि हमने अभी 50 सेकंड का समय छोड़ दिया है।"
परिणाम: आपको एक साफ, सिनेमाई कट मिलता है। बैकग्राउंड तुरंत रसोई से बदलकर समुद्र तट हो जाता है, लेकिन मुख्य पात्र वही रहता है, और वीडियो ग्लिच नहीं होता है। यह एक असली मूवी एडिट जैसा महसूस होता है।

यह एक बड़ी बात क्यों है?

इससे पहले, AI के साथ 5 मिनट का वीडियो बनाना जेन्गा (Jenga) ब्लॉक्स से गगनचुंबी इमारत बनाने की तरह था जो गिरते रहते हैं। आपको AI को विशाल डेटासेट्स पर फिर से प्रशिक्षित करना पड़ता था, जो महंगा और धीमा था।

∞-RoPE बिल्डर को निर्देशों का एक नया सेट देने जैसा है जो कहता है, "आपको नींव को फिर से बनाने की ज़रूरत नहीं है; बस ब्लॉकों को जोड़ने का तरीका बदल दें।"

यह मुफ्त है: किसी नए प्रशिक्षण डेटा की आवश्यकता नहीं है।
यह तेज़ है: यह तुरंत काम करता है।
यह नियंत्रणीय है: आप जब चाहें क्रिया बदल सकते हैं या दृश्य को काट सकते हैं।

यह पेपर सिद्ध करता है कि इन तीन ट्रिक्स के साथ, केवल 5-सेकंड के क्लिप पर प्रशिक्षित AI अचानक उच्च गुणवत्ता वाले, 10-मिनट (या उससे अधिक) के वीडियो बना सकता है जो सुसंगत दिखते हैं, सुचारू रूप से चलते हैं और आपके निर्देशों का पूरी तरह से पालन करते हैं। यह AI को अपनी अनंत फिल्में लिखने और निर्देशित करने में सक्षम बनाने की दिशा में एक बड़ी छलांग है।

यहाँ शोध पत्र "Infinity-RoPE: Action-Controllable Infinite Video Generation Emerges From Autoregressive Self-Rollout" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वर्तमान ऑटोरेग्रेसिव वीडियो डिफ्यूजन मॉडल तीन मौलिक बाधाओं का सामना करते हैं जो उच्च-गुणवत्ता वाले, लंबे वीडियो निर्माण (long-form video generation) को रोकते हैं:

सीमित टेम्पोरल होराइजन (Finite Temporal Horizon): बेस मॉडल 3D रोटरी पोजीशनल एम्बेडिंग (3D-RoPE) पर निर्भर करते हैं जिसका एक निश्चित अधिकतम अनुक्रम लंबाई (आमतौर पर 1024 फ्रेम) होती है। एक बार जब जनरेशन इस सीमा से आगे निकल जाता है, तो टेम्पोरल एनकोडिंग ढह जाती है और अटेंशन की गुणवत्ता कम हो जाती है।
धीमी प्रॉम्प्ट प्रतिक्रियाशीलता (Slow Prompt Responsiveness): लंबे रोलआउट के दौरान सूक्ष्म एक्शन कंट्रोल बनाए रखना कठिन है। मौजूदा विधियों में अक्सर "सिमेंटिक लैग" (semantic lag) देखा जाता है, जहाँ मॉडल नए प्रॉम्प्ट के प्रति तुरंत अनुकूलित होने में संघर्ष करता है क्योंकि KV कैश बहुत अधिक पुराने संदर्भ (stale context) को बनाए रखता है।
असतत संक्रमणों को संभालने में अक्षमता (Inability to Handle Discontinuous Transitions): मानक ऑटोरेग्रेसिव जनरेशन सुचारू टेम्पोरल विकास (smooth temporal evolution) की धारणा पर आधारित है। यह एक ही जनरेशन स्ट्रीम के भीतर सीन कट, फ्लैशबैक, या स्थान परिवर्तन जैसे सिनेमाई तकनीकों को बिना मॉडल की सुसंगतता (coherence) को तोड़े, स्वाभाविक रूप से सपोर्ट नहीं कर सकता।

2. कार्यप्रणाली: $\infty$ -RoPE (Methodology: $\infty$ -RoPE)

लेखक $\infty$ -RoPE का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री (training-free) इन्फरेंस-टाइम फ्रेमवर्क है जो इन सीमाओं को तीन परस्पर जुड़े घटकों के माध्यम से संबोधित करता है। यह बिना लंबे-वीडियो डेटा पर पुन: प्रशिक्षण के, मौजूदा Self-Forcing मॉडल्स (जो Wan2.1 से डिस्टिल्ड हैं) पर आधारित है।

A. ब्लॉक-रिलेटिविस्टिक RoPE (सीमा को हल करने के लिए)

यह घटक टेम्पोरल एनकोडिंग को एक निश्चित वैश्विक समन्वय प्रणाली (fixed global coordinate system) से बदलकर एक चलते हुए स्थानीय संदर्भ फ्रेम (moving local reference frame) में पुनर्गठित करता है।

तंत्र (Mechanism): जनरेट किए गए ब्लॉक्स को पूर्ण टेम्पोरल इंडेक्स असाइन करने के बजाय, यह सिस्टम नए जनरेट किए गए ब्लॉक्स के टेम्पोरल कोआर्डिनेट्स को बेस मॉडल के अधिकतम होराइजन ( $f_{limit}$ ) के सापेक्ष घुमाता है।
निश्चित कैश आकार (Fixed Cache Size): जैसे-जैसे नए लेटेंट ब्लॉक्स जनरेट होते हैं, पुराने ब्लॉक्स को RoPE स्पेस में "पीछे की ओर घुमाया" (rotated backward) जाता है। यह सक्रिय विंडो के भीतर फ्रेमों के बीच सापेक्ष टेम्पोरल ज्यामिति को सुरक्षित रखता है, जिससे मॉडल 1024-फ्रेम की सीमा से परे निरंतर जनरेट कर पाता है।
अनबाउंड कैश (Semanticization): जब कैश ट्रेनिंग होराइजन से अधिक हो जाता है, तो सिस्टम संज्ञानात्मक "सिमेंटिकाइजेशन" (cognitive semanticization) की नकल करता है। शुरुआती लेटेंट फ्रेम अपने विशिष्ट टेम्पोरल इंडेक्स खो देते हैं और एक साझा न्यूनतम इंडेक्स में सिमट जाते हैं। वे सटीक एपिसोडिक मेमोरी के बजाय टेम्पोरल रूप से अपरिवर्तनीय सिमेंटिक मेमोरी (contextual priors) के रूप में कार्य करते हैं, जिससे टेम्पोरल एक्सिस अनिश्चित काल तक विस्तारित हो सकता है।

B. KV फ्लश (एक्शन कंट्रोल के लिए)

पुनः एनकोडिंग या उच्च विलंबता (latency) के बिना नए प्रॉम्प्ट के प्रति तत्काल प्रतिक्रियाशीलता प्राप्त करने के लिए:

तंत्र: जब एक नया प्रॉम्प्ट आता है, तो KV कैश को फ्लश कर दिया जाता है, जिसमें केवल दो महत्वपूर्ण टोकन रखे जाते हैं:
1. ग्लोबल सिंक (Global Sink): (अटेंशन नॉर्मलाइजेशन को स्थिर करता है)।
2. अंतिम जनरेटेड लेटेंट फ्रेम (Last Generated Latent Frame): (स्थानीय टेम्पोरल निरंतरता बनाए रखता है)।
परिणाम: यह पिछले कार्यों के पुराने संदर्भ (stale context) को तुरंत हटा देता है, जिससे मॉडल सुचारू मोशन बनाए रखते हुए नए सिमेंटिक्स को तुरंत अपना सकता है, और यह सब स्थिर मेमोरी उपयोग के साथ होता है।

C. RoPE कट (सिनेमैटिक ट्रांजिशन के लिए)

एक ही रोलआउट के भीतर असतत दृश्य परिवर्तन (जैसे, इनडोर से आउटडोर) को सक्षम करने के लिए:

तंत्र: सिस्टम एक नियंत्रित विच्छेदन (discontinuity) पेश करता है जो टेम्पोरल RoPE कोआर्डिनेट्स को पुनः इंडेक्स करता है। यह वर्तमान ब्लॉक पर एक ऑफसेट ( $\Delta$ ) लागू करता है, जो प्रभावी रूप से टेम्पोरल अनुक्रम को "कट" करता है और नए दृश्य को सापेक्ष टेम्पोरल स्पेस में एक अलग बिंदु पर पुनः स्थापित (re-anchor) करता है।
परिणाम: यह मॉडल को मुख्य विषय की पहचान बनाए रखते हुए, एक निरंतर ऑटोरेग्रेसिव स्ट्रीम के भीतर अचानक दृश्य परिवर्तन (कट्स, टाइम जंप) उत्पन्न करने की अनुमति देता है।

3. प्रमुख योगदान (Key Contributions)

$\infty$ -RoPE फ्रेमवर्क: एक ट्रेनिंग-फ्री कार्यप्रणाली जो शॉर्ट-होराइजन ऑटोरेग्रेसिव मॉडल्स को अनंत-क्षितिज (infinite-horizon) जनरेटर में बदल देती है।
ब्लॉक-रिलेटिविस्टिक RoPE: एक अभिनव पोजीशनल एनकोडिंग जो समय को एक चलते हुए संदर्भ फ्रेम के रूप में मानती है, जिससे 1024-फ्रेम की कठोर सीमा समाप्त हो जाती है।
इन्फरेंस-टाइम ऑपरेटर्स:
- KV फ्लश: निरंतर मेमोरी के साथ तत्काल, प्रॉम्प्ट-रिस्पॉन्सिव एक्शन कंट्रोल सक्षम करता है।
- RoPE कट: एक ही जनरेशन के भीतर सिनेमैटिक मल्टी-कट सीन ट्रांजिशन को सक्षम करता है।
मैकेनिस्टिक अंतर्दृष्टि (Mechanistic Insight): शोध पत्र अटेंशन मैप विज़ुअलाइज़ेशन प्रदान करता है जो दिखाता है कि ये हस्तक्षेप टेम्पोरल डिपेंडेंसी को कैसे नया रूप देते हैं (जैसे, KV फ्लश के दौरान मध्यवर्ती पिछले फ्रेमों के अटेंशन को दबाना, या RoPE कट के दौरान अटेंशन ब्लॉक्स को विभाजित करना)।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न अवधियों (5s, 60s, 120s, 240s) में VBench पर $\infty$ -RoPE का मूल्यांकन किया और इसकी तुलना अत्याधुनिक द्विदिश (bidirectional - Wan2.1, LTX-Video) और ऑटोरेग्रेसिव (Self-Forcing, SkyReels-V2, NOVA, आदि) मॉडल्स से की।

लॉन्ग-होराइजन क्वालिटी: $\infty$ -RoPE ने 60s, 120s और 240s के वीडियो के लिए ओवरऑल VBench स्कोर में स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन हासिल किया। इसने सब्जेक्ट कंसिस्टेंसी और मोशन स्मूथनेस में बेसलाइन को काफी पीछे छोड़ दिया, जो यह दर्शाता है कि यह लंबे रोलआउट में होने वाले 'आइडेंटिटी ड्रिफ्ट' को रोकता है।
डायनेमिक डिग्री: कुछ बेसलाइन्स के विपरीत जो निरंतरता बनाए रखने के लिए स्थिर (कम मोशन) हो जाते हैं, $\infty$ -RoPE लंबे वीडियो में भी उच्च डायनेमिक डिग्री बनाए रखता है।
एक्शन कंट्रोल: एक्शन-कंट्रोल्ड जनरेशन की तुलना करने वाले यूजर स्टडीज में, $\infty$ -RoPE ने टेक्स्ट अलाइनमेंट, सब्जेक्ट कंसिस्टेंसी और मोशन स्मूथनेस में उच्चतम स्कोर प्राप्त किया, जिसने अपने त्वरित कैश नवीनीकरण के कारण LongLive और KV-Recache जैसी विधियों को पछाड़ दिया।
एब्लेशन स्टडीज (Ablation Studies):
- कैश साइज: कैश साइज बढ़ाने से इमेजिंग क्वालिटी में थोड़ी कमी आई लेकिन सब्जेक्ट/बैकग्राउंड कंसिस्टेंसी उच्च बनी रही, जो लंबी-दूरी की निर्भरता (long-range dependencies) के प्रति इसकी मजबूती को सिद्ध करता है।
- टेम्पोरल जंप ( $\Delta$ ): बड़े जंप (जैसे, $\Delta=90$ ) ने दृश्य परिवर्तन के स्पष्ट किनारों (RoPE एक्सट्रपलेशन के कारण) के साथ अधिक नाटकीय दृश्य परिवर्तन बनाए, लेकिन विषय की पहचान और टेम्पोरल स्मूथनेस को सुरक्षित रखा।

5. महत्व (Significance)

ट्रेनिंग-फ्री स्केलेबिलिटी: यह कार्य प्रदर्शित करता है कि अनंत-क्षितिज वीडियो जनरेशन के लिए आवश्यक नहीं है कि लंबे-वीडियो डेटासेट पर भारी पुन: प्रशिक्षण या जटिल डिस्टिलेशन रणनीतियों की आवश्यकता हो। इसे इन्फरेंस-टाइम आर्किटेक्चर को पुन: पैरामीटराइज करके प्राप्त किया जा सकता है।
सिनेमैटिक क्षमताएं: "RoPE Cut" को सक्षम करके, यह विधि जनरेटिव AI और पारंपरिक वीडियो एडिटिंग के बीच के अंतर को पाटती है, जिससे एक ही जनरेशन में जटिल, बहु-दृश्य नैरेटिव संभव होते हैं।
दक्षता (Efficiency): KV फ्लश तंत्र प्रॉम्प्ट स्विचिंग को संभालने के लिए एक कम्प्यूटेशनल रूप से कुशल तरीका प्रदान करता है, जिससे वास्तविक समय में इंटरैक्टिव लॉन्ग-फॉर्म वीडियो जनरेशन अधिक व्यवहार्य हो जाता है।
भविष्य के मॉडल्स के लिए आधार: यह ऑटोरेग्रेसिव डिफ्यूजन में पोजीशनल एम्बेडिंग्स को संभालने के लिए एक नया प्रतिमान (paradigm) स्थापित करता है, जो सुझाव देता है कि "रिलेटिविस्टिक" टेम्पोरल एनकोडिंग मौजूदा फाउंडेशन मॉडल्स की क्षमताओं को बढ़ाने के लिए एक व्यवहार्य मार्ग है।