💻 computer science

Video = World + Event Stream

यह शोध पत्र Wan-Streamer v0.3 को प्रस्तुत करता है, जो एक वास्तविक समय (real-time) ऑडियो-विजुअल इंटरेक्शन मॉडल है, जो वीडियो को एक निरंतर "विश्व" (world) और एक गतिशील "इवेंट स्ट्रीम" (event stream) के संयोजन के रूप में फ्रेम करता है ताकि पर्यावरणीय परिवर्तनों और एजेंट व्यवहारों का कम-विलंबता (low-latency) वाला, सामान्य-उद्देश्यीय पूर्वानुमान सक्षम किया जा सके।

मूल लेखक: Lianghua Huang, Zhi-Fan Wu, Yupeng Shi, Wei Wang, Mengyang Feng, Cheng Yu, Chen Liang, Junjie He, Chen-Wei Xie, Yu Liu, Jingren Zhou, Ang Wang, Bang Zhang, Baole Ai, Chongyang Zhong, Jinwei Qi, Kai Zh

प्रकाशित 2026-07-20

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lianghua Huang, Zhi-Fan Wu, Yupeng Shi, Wei Wang, Mengyang Feng, Cheng Yu, Chen Liang, Junjie He, Chen-Wei Xie, Yu Liu, Jingren Zhou, Ang Wang, Bang Zhang, Baole Ai, Chongyang Zhong, Jinwei Qi, Kai Zhu, Pandeng Li, Peng Zhang, Wenyuan Zhang, Xinhua Cheng, Yitong Huang, Yun Zheng, Yuxiang Bao, Yuzheng Wang, Zhiwei Lin, Zoubin Bi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फिल्म देख रहे हैं, लेकिन केवल बैठकर देखने के बजाय, आप उस दृश्य के अंदर हैं, पात्रों से बात कर रहे हैं, और वे तुरंत आपको जवाब दे रहे हैं। यह रियल-टाइम आर्टिफिशियल इंटेलिजेंस (वास्तविक समय की कृत्रिम बुद्धिमत्ता) की रोमांचक दुनिया है, जहाँ कंप्यूटर हमें समझने और हमें उतनी ही तेज़ी से प्रतिक्रिया देने की कोशिश करते हैं जितना कि एक मानव मित्र करता है। ऐसा करने के लिए, AI को एक साथ तीन चीज़ों को संभालना पड़ता है: जो वह देखता है (वीडियो), जो वह सुनता है (ऑडियो), और जो वह कहता है या करता है (टेक्स्ट और क्रियाएं)। लंबे समय तक, AI को बिना किसी लैग (देरी) के यह सब करने के लिए तैयार करना एक भारी बैकपैक लेकर मैराथन दौड़ने जैसा था; यह धीमा और बोझिल था। बड़ा सवाल जो शोधकर्ता पूछ रहे थे वह यह है: हम AI को यह कैसे सिखा सकते हैं कि वह जिस "मंच" पर है और उस पर होने वाली "घटना" को समझे, ताकि वह स्वाभाविक रूप से और तुरंत प्रतिक्रिया दे सके?

यहाँ आता है Wan-Streamer v0.3, जो अलीबाबा ग्रुप की Wan टीम द्वारा बनाया गया एक नया निर्माण है। इस पेपर को एक सुपर-फास्ट, सुपर-स्मार्ट डिजिटल अभिनेता की एक चतुर रेसिपी के रूप में समझें। लेखकों ने महसूस किया कि वीडियो को बदलते हुए पिक्सेल के एक विशाल, भ्रमित करने वाले ढेर के रूप में देखने के बजाय, हम इसे दो सरल भागों में तोड़ सकते हैं: एक वर्ल्ड (विश्व) और एक इवेंट स्ट्रीम (घटना प्रवाह)। "वर्ल्ड" स्थिर चीज़ें हैं—जिस कमरे में आप हैं, फर्नीचर, व्यक्ति का चेहरा, और बैकग्राउंड का शोर। यह बहुत अधिक नहीं बदलता है। "इवेंट स्ट्रीम" वह सब कुछ है जो बदलता है—व्यक्ति का चलना, बात करना, हाथ हिलाना, या कार का गुजरना। AI को यह समझाने के मामले में कि एक वीडियो केवल एक "वर्ल्ड" प्लस "इवेंट्स की एक स्ट्रीम" है, उन्होंने पाया कि इससे AI अगला क्या होने वाला है, इसका अनुमान लगाने में बहुत अधिक स्मार्ट और तेज़ हो जाता है।

बड़ा विचार: मंच और नाटक

यह पेपर वीडियो को देखने का एक नया तरीका प्रस्तावित करता है। एक थिएटर की कल्पना करें। वर्ल्ड सेट डिज़ाइन है: चित्रित बैकड्रॉप, लाइटिंग, प्रॉप्स और अभिनेता की पोशाक। एक बार जब नाटक शुरू हो जाता है, तो ये चीज़ें काफी हद तक वैसी ही रहती हैं। इवेंट स्ट्रीम स्वयं नाटक है: अभिनेता का मंच पर चलना, एक संवाद चिल्लाना, एक प्रॉप गिराना, या मुड़ना।

अतीत में, AI मॉडल पूरे नाटक और पूरे सेट डिज़ाइन को एक साथ सीखने की कोशिश करते थे, जो कठिन था। Wan-Streamer v0.3 एक सरल तरकीब सुझाता है: AI को एक बार सेट डिज़ाइन सिखाएं, और फिर बस नाटक पर ध्यान केंद्रित करें।

शोधकर्ताओं ने अपने मॉडल को वास्तविक दुनिया के वीडियो की एक विशाल मात्रा पर प्रशिक्षित किया। उन्होंने केवल AI को अगला फ्रेम गेस करने के लिए नहीं कहा; उन्होंने इसे एक "वर्ल्ड" (जैसे कि एक धूप वाला उपनगरीय सड़क या एक मुर्गी घर) को देखने और फिर "इवेंट स्ट्रीम" (जैसे कि एक रोबोट सड़क पर दौड़ रहा है, या एक महिला मुर्गियों को दाना खिला रही है) की भविष्यवाणी करने के लिए सिखाया। मॉडल ने सीखा कि यदि एक रोबोट फुटपाथ पर है, तो वह कार की ओर दौड़ सकता है, दरवाजा खोल सकता है और जा सकता है। यदि एक महिला मुर्गी घर में है, तो वह एक बाल्टी की ओर जा सकती है और दाना उठा सकती है। इन पैटर्न को सीखकर, AI दुनिया के बारे में एक "विश्व ज्ञान" (world knowledge) विकसित करता है कि चीजें स्वाभाविक रूप से कैसे चलती और बदलती हैं।

जादू का कमाल: बात करना और कार्य करना एक साथ

तो, यह वास्तव में क्या करता है? टीम ने इस विचार का परीक्षण एक रियल-टाइम, फुल-डुप्लेक्स ऑडियो-विजुअल इंटरेक्शन पर किया। "फुल-डुप्लेक्स" एक फैंसी शब्द है जिसका अर्थ है कि AI एक ही समय में बात कर सकता है और सुन सकता है, ठीक एक वास्तविक बातचीत की तरह, बिना आपके खत्म होने का इंतज़ार किए।

इस नए संस्करण (v0.3) में, AI एजेंट केवल एक बोलने वाला सिर नहीं है। अब यह फ्री-फॉर्म व्यवहार (स्वतंत्र व्यवहार) कर सकता है।

पुराना तरीका: AI शायद बोलते समय केवल सिर हिला सकता है या आपकी ओर देख सकता है।
नया तरीका: AI कह सकता है, "(कॉफी मग उठाता है और एक घूंट लेता है) याद दिलाने के लिए धन्यवाद," या "(हल्का सा त्योर चढ़ाता है) आपका क्या मतलब था?"

पेपर बताता है कि AI अपना जवाब एक विशेष "रोल-प्ले" प्रारूप में लिखता है। यह बोले गए शब्दों को कोष्ठक में लिखी गई क्रियाओं के साथ मिलाता है। क्योंकि AI ने "वर्ल्ड" (सेटिंग और चरित्र) को सीख लिया है, इसलिए वह जानता है कि यदि वह कहता है "(मग उठाता है)," तो वीडियो जनरेटर वास्तव में दिखाएगा कि चरित्र एक ऐसा मग उठा रहा है जो दृश्य के अनुकूल है। यह रियल-टाइम में होता है, और भाषण, क्रिया और वीडियो सभी पूरी तरह से सिंक्रोनाइज़ (तालमेल में) रहते हैं।

गति: इतना तेज़ कि वास्तविक लगे

इस पेपर का सबसे प्रभावशाली हिस्सा यह है कि उन्होंने इस नई बुद्धिमत्ता के लिए गति का त्याग नहीं किया। लेखक दिखाते हैं कि Wan-Streamer v0.3 अपने पिछले संस्करण (v0.2) के समान बिजली जैसी तेज़ प्रदर्शन बनाए रखता है।

वीडियो गुणवत्ता: यह अभी भी 640×368 रिज़ॉल्यूशन पर वीडियो आउटपुट देता है।
स्मूथनेस: यह 25 FPS (फ्रेम प्रति सेकंड) पर चलता है, जो प्राकृतिक दिखने के लिए पर्याप्त स्मूथ है।
गति: AI खुद जवाब सोचने और उत्पन्न करने में लगभग 200 मिलीसेकंड लेता है। जब आप इसमें इंटरनेट द्वारा डेटा भेजने और वापस प्राप्त करने का समय (एक बजट 350 मिलीसेकंड) जोड़ देते हैं, तो आपके जवाब के लिए कुल प्रतीक्षा समय लगभग 550 मिलीसेकंड होता है।

इसे समझने के लिए, 550 मिलीसेकंड एक सेकंड से भी कम है। यह इतना तेज़ है कि बातचीत एक दोस्त के साथ वास्तविक चैट की तरह लगती है, न कि लोडिंग बार का इंतज़ार करते हुए एक रोबोट की तरह।

इसका क्या अर्थ है (और क्या नहीं)

पेपर सुझाव देता है कि "वर्ल्ड" को "इवेंट्स" से अलग करके, हम अधिक लचीला AI बना सकते हैं। इसे किसी भी प्रकार के वीडियो पर प्रशिक्षित किया जा सकता है और फिर विभिन्न कार्यों के लिए विशिष्ट बनाया जा सकता है, जैसे कि एक कमरे में नेविगेट करने वाला रोबोट या वीडियो गेम में एक पात्र। लेखक दिखाते हैं कि यह दृष्टिकोण उनके विशिष्ट परीक्षण मामले के लिए काम करता है: एक डिजिटल पात्र जो वास्तविक समय में बात करता है और कार्य करता है।

हालाँकि, पेपर इस बात पर ध्यान देने में सावधानी बरतता है कि यह एक विशिष्ट प्रदर्शन है। उन्होंने दिखाया है कि मॉडल यह कर सकता है, और उन्होंने गति और गुणवत्ता को मापा है। उन्होंने यह दावा नहीं किया है कि उन्होंने AI की हर समस्या को हल कर दिया है, न ही उन्होंने हर संभावित भविष्य के उपयोग की सूची दी है। वे बस वीडियो जनरेशन के बारे में सोचने का एक नया तरीका प्रस्तुत करते हैं जो AI को यह समझने में स्मार्ट बनाता है कि दुनिया कैसे काम करती है, जबकि इसे आपके साथ चैट करने के लिए पर्याप्त तेज़ भी रखता है।

संक्षेप में, Wan-Streamer v0.3 एक डिजिटल अभिनेता को एक स्क्रिप्ट देने जैसा है जो कहती है, "यहाँ मंच है, यहाँ आपकी पोशाक है, और यहाँ कहानी है। अब, जाओ अभिनय करो, बात करो और चलो, और यह सब मेरे पलक झपकने से पहले कर दो।" और इस नए "वर्ल्ड + इवेंट" के कमाल की बदौलत, ऐसा लगता है कि यह बिल्कुल वही कर रहा है।

तकनीकी सारांश: Wan-Streamer v0.3

समस्या विवरण (Problem Statement)
Wan-Streamer के पिछले संस्करणों (v0.1 और v0.2) ने वास्तविक समय की फुल-डुप्लेक्स ऑडियो-विजुअल इंटरेक्शन के लिए एक नेटिव-स्ट्रीमिंग, एंड-टू-एंड फ्रेमवर्क स्थापित किया था। हालाँकि, इन संस्करणों ने एक "एजेंट जो बोलता है और प्रतिक्रिया करता है" के विशिष्ट अनुप्रयोग को प्राथमिक प्रशिक्षण उद्देश्य (training objective) के रूप में माना था। इस दृष्टिकोण ने मॉडल की अंतर्निlying क्षमता को एक विशिष्ट इंटरेक्शन डोमेन तक सीमित कर दिया। यह शोध पत्र वास्तविक समय में वीडियो जनरेशन के लिए आवश्यक मूल क्षमता को समझने की आवश्यकता की पहचान करता है: यह समझना कि इनपुट के जवाब में एक निरंतर वातावरण (persistent environment) समय के साथ कैसे विकसित होता है। चुनौती एक सामान्य-उद्देश्य वाले प्रीट्रेनिंग कार्य को तैयार करने की है जो केवल एक विशिष्ट एजेंट के व्यवहार के बजाय, पूरे वीडियो की गतिशीलता (dynamics) को कैप्चर कर सके, जबकि वास्तविक समय की बातचीत के लिए आवश्यक सख्त विलंबता (latency) सीमाओं को भी बनाए रखे।

कार्यप्रणाली: वर्ल्ड + इवेंट स्ट्रीम डिकंपोजिशन (Methodology: World + Event Stream Decomposition)
Wan-Streamer v0.3 का मुख्य पद्धतिगत योगदान वीडियो जनरेशन को वर्ल्ड (World) और इवेंट स्ट्रीम (Event Stream) के अपघटन (decomposition) के रूप में पुनर्गठित करना है:

द वर्ल्ड ( $W$ ): यह उस स्थिर, अपेक्षाकृत सुसंगत संदर्भ का प्रतिनिधित्व करता है जिसमें एक वीडियो घटित होता है। इसमें दृश्य परिवेश (वातावरण, लेआउट, शैली), विषय (पहचान, उपस्थिति, व्यक्तित्व), और ध्वनिक स्थितियाँ (परिवेशी शोर, आवाज की विशेषताएं) शामिल हैं। मॉडल में, 'वर्ल्ड' को एक स्ट्रक्चर्ड रिकॉर्ड के रूप में टोकनाइज किया जाता है और स्ट्रीमिंग शुरू होने से पहले एक बार प्रीफिल किया जाता है।
द इवेंट स्ट्रीम ( $e_k$ ): यह उस 'वर्ल्ड' के भीतर समय के साथ बदलने वाली हर चीज़ का प्रतिनिधित्व करता है। इसमें विषय का व्यवहार, कैमरा मोशन, पर्यावरणीय परिवर्तन, भाषण (speech), और अन्य ध्वनियाँ शामिल हैं।
उद्देश्य (The Objective): मॉडल को बड़े पैमाने पर, विविध वीडियो कॉर्पोरा पर प्रशिक्षित किया जाता है ताकि वर्ल्ड कॉन्टेक्स्ट ( $W$ ) और इनपुट के कारण इतिहास ( $x_{\le k}$ ) को देखते हुए अगले इवेंट यूनिट ( $e_k$ ) की भविष्यवाणी की जा सके। इस गुणनखंड (factorization) को इस प्रकार परिभाषित किया गया है:
$p_\theta(e_{1:K} | W, x_{1:K}) = \prod_{k=1}^K p_\theta(e_k | W, x_{\le k}, e_{<k})$
पिछले संस्करणों के विपरीत जहाँ 'वर्ल्ड' को इतिहास में समाहित कर दिया गया था, v0.3 $W$ को एक फर्स्ट-क्लास कंडीशनिंग ऑब्जेक्ट के रूप में मानता है जिसे इन्फरेंस के दौरान प्रदान किया जाता है।

वास्तविक समय की बातचीत में कार्यान्वयन (Instantiation in Real-Time Interaction)
लेखक इस सामान्य फ्रेमवर्क को वास्तविक समय की फुल-डेप्लेक्स ऑडियो-विजुअल इंटरेक्शन के लिए लागू करते हैं:

इनपुट: उपयोगकर्ता का स्ट्रीमिंग टेक्स्ट, ऑडियो और वीडियो इवेंट स्ट्रीम को संचालित करते हैं।
आउटपुट: एजेंट की प्रतिक्रिया भाषण (speech) और मुक्त-रूप व्यवहार (free-form behavior) की एक इंटरलीव्ड स्ट्रीम है।
व्यवहार का प्रतिनिधित्व (Behavior Representation): मॉडल एक रोल-प्ले चैट फॉर्मेट अपनाता है जहाँ व्यवहार को बोले गए टेक्स्ट के साथ कोष्ठक में प्राकृतिक भाषा निर्देशों (जैसे, (mug उठाता है)) के रूप में व्यक्त किया जाता है। यह इसे वर्ल्ड में आधारित ओपन-वोकैबुलरी क्रियाओं (जैसे पहुँचना, मुड़ना, इशारा करना) की अनुमति देता है, न कि केवल निश्चित क्रियाओं के सेट की।
जनरेशन (Generation): ये भाषा-रूप क्रियाएं सिंक्रोनाइज़्ड ऑडियो और वीडियो लेटेंट्स के संयुक्त जनरेशन को कंडीशन करती हैं। व्यवहार निर्देश छोटे टोकन होते हैं, जो कॉज़ल पाथ (causal path) पर नगण्य लागत जोड़ते हैं, जिससे यह सुनिश्चित होता कि स्पीच, मोशन और अपीयरेंस, डिकोडिंग से पहले सिंक्रोनाइज़ रहें।

प्रमुख योगदान (Key Contributions)

वैचारिक पुनर्गठन (Conceptual Reframing): यह शोध पत्र एक "वर्ल्ड + इवेंट स्ट्रीम" डिकंपोजिशन प्रस्तावित करता है जो निरंतर संदर्भ को समय-परिवर्तित घटनाओं से अलग करता है। यह एक सामान्य-उद्देश्य वाला प्रीट्रेनिंग ऑब्जेक्ट प्रदान करता है जो यह सीखता है कि दृश्य (scenes) तार्किक रूप से कैसे विकसित होते हैं, जो विभिन्न वास्तविक समय के कार्यों (जैसे रोमिंग, एम्बॉडीड मैनिपुलेशन) के लिए हस्तांतरणीय है।
VLA-जैसा मल्टीमॉडल अंडरस्टैंडिंग: मॉडल स्ट्रीमिंग मल्टीमॉडल यूजर इनपुट को लैंग्वेज-फॉर्म स्पीच और ओपन-वोकैबुलरी बिहेवियर एक्शन्स में मैप करता है। ये क्रियाएं केवल पोस्ट-हॉक अलाइनमेंट नहीं हैं बल्कि वे टोकन स्ट्रीम का हिस्सा हैं जो ऑडियो-वीडियो डिकोडर को कंडीशन करती हैं।
विलंबता सीमाओं का संरक्षण (Preservation of Latency Constraints): जटिल व्यवहारों को शामिल करने के लिए एजेंट की अभिव्यंजक रेंज का विस्तार करने के बावजूद, v0.3, v0.2 के सटीक मॉडलिंग कॉन्ट्रैक्ट और सर्विंग टोपोलॉजी को बनाए रखता है। यह प्राप्त करता है:
- रेज़ोल्यूशन: 640×368 @ 25 FPS।
- स्ट्रीमिंग यूनिट: 160 ms।
- मॉडल-साइड लेटेंसी: ~200 ms।
- कुल इंटरेक्शन लेटेंसी: ~550 ms (यह मानते हुए कि 350 ms का द्विदिश नेटवर्क बजट है)।

परिणाम और अवलोकन (Results and Observations)
जेनरेट की गई बातचीत के गुणात्मक अवलोकन संकेत देते हैं कि Wan-Streamer v0.3 वास्तविक समय में ओपन-वोकैबुलरी व्यवहार करने में सफल रहता है। मॉडल सुसंगत चेहरे के भाव, मुद्रा परिवर्तन (posture changes), और दृश्य की वस्तुओं के साथ ऐसी अंतःक्रियाएं उत्पन्न करता है जो स्पीच के साथ सिंक्रोनाइज़ हैं और कॉन्फ़िगर किए गए वर्ल्ड में आधारित हैं। स्पष्ट व्यवहार घटनाओं के बीच, एजेंट स्थिर आइडल (idle) और लिसनिंग व्यवहार बनाए रखता है। सिस्टम v0.2 द्वारा स्थापित लो-लेटेंसी स्ट्रीमिंग प्रदर्शन से समझौता किए बिना, एजेंट की अभिव्यंजक रेंज को सरल स्पीच और इम्प्लिसिट लिसनिंगिंग से आगे बढ़ाने में सफल रहा है।

महत्व (Significance)
शोध पत्र का दावा है कि 'वर्ल्ड' को 'इवेंट स्ट्रीम' से अलग करके, Wan-Streamer v0.3 एक संकीर्ण "एजेंट ट्रेनिंग" उद्देश्य से आगे बढ़कर एक व्यापक "वर्ल्ड डायनेमिक्स" क्षमता की ओर बढ़ता है। यह मॉडल को केवल वर्ल्ड कॉन्टेक्स्ट और इनपुट स्ट्रीम को बदलकर विभिन्न डाउनस्ट्रीम कार्यों के लिए विशेष बनाने की अनुमति देता है, जबकि एक एकीकृत, लो-लेटेंसी स्ट्रीमिंग आर्किटेक्चर को बनाए रखता है। यह कार्य प्रदर्शित करता है कि वास्तविक समय की फुल-डेप्लेक्स संचार के लिए आवश्यक सख्त समय आवश्यकताओं से समझौता किए बिना जटिल, ओपन-वोकैबुलरी मल्टीमॉडल इंटरेक्शन प्राप्त किया जा सकता है।

बड़ा विचार: मंच और नाटक

जादू का कमाल: बात करना और कार्य करना एक साथ

गति: इतना तेज़ कि वास्तविक लगे

इसका क्या अर्थ है (और क्या नहीं)

तकनीकी सारांश: Wan-Streamer v0.3

इसी तरह के और पेपर