Vorch-Director: Interactive World Story Model via Noise-Aware Error Rectification
Vorch-Director एक इंटरैक्टिव वर्ल्ड स्टोरी मॉडल है जो त्रुटि संचय (error accumulation) और पहचान विचलन (identity drift) को कम करने के लिए एक नॉइज़-अवेयर रेसिडुअल करेक्शन रणनीति पेश करके दीर्घ-क्षितिज (long-horizon) ऑडियो-विजुअल जनरेशन को बढ़ाता है, जबकि LTX-2 डिफ्यूजन ट्रांसफॉर्मर पर एकीकृत, मल्टी-शॉट कंडीशनिंग को सपोर्ट करने के लिए टास्क एम्बेडिंग्स और मिक्स्ड-टास्क ट्रेनिंग का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कहानी सुनाना सिखाने की कोशिश कर रहे हैं। आप उसे कुछ वाक्य देते हैं, और वह अगला वाक्य लिखता है। फिर, आप उस नए वाक्य को वापस लेते हैं, उसे फिर से फीड करते हैं, और अगले वाक्य के लिए पूछते हैं। आप इसे तब तक करते रहते हैं, यह उम्मीद करते हुए कि एक पूरा उपन्यास बन जाएगा। आधुनिक AI वीडियो जनरेटरों में से कई इसी तरह काम करते हैं: वे एक छोटा क्लिप बनाते हैं, फिर उस क्लिप का उपयोग अगले क्लिप को बनाने के लिए "मेमोरी" के रूप में करते हैं, और उन्हें एक लंबी फिल्म में जोड़ते हैं। इस प्रक्रिया को ऑटोरिग्रेसिव कंटीन्यूएशन (autoregressive continuation) कहा जाता है।
हालाँकि, इस "कॉपी-पेस्ट" पद्धति के साथ एक पेचीदा समस्या है। जब रोबोट सीखता है, तो उसे इंसानों द्वारा लिखी गई एकदम सटीक और साफ कहानियाँ दिखाई जाती हैं। लेकिन जब वह वास्तव में एक मूवी बनाता है, तो उसे अपने पिछले काम पर निर्भर रहना पड़ता है, जो कभी भी पूरी तरह से सटीक नहीं होता। इसमें धुंधलापन का एक छोटा सा धब्बा हो सकता है, एक थोड़ा गलत चेहरा, या एक ऐसी आवाज़ जो थोड़ी अजीब लगे। जब रोबोट उस थोड़े त्रुटिपूर्ण क्लिप का उपयोग अगले क्लिप को बनाने के लिए करता है, तो त्रुटियाँ बढ़ती जाती हैं। जब तक फिल्म दस मिनट लंबी हो जाती है, पात्र पिघलते हुए मोम की तरह दिख सकते हैं, उनकी आवाज़ें बिगड़ी हुई हो सकती हैं, और कहानी बेतुकी हो सकती है। इसे एक्सपोज़र बायस (exposure bias) के रूप में जाना जाता है: रोबोट को एक निर्मल दुनिया पर प्रशिक्षित किया गया है लेकिन उसे एक अव्यवस्थित दुनिया में रहना पड़ता है। वैज्ञानिक इसे ठीक करने की कोशिश कर रहे हैं ताकि हम सिंक्रोनाइज़्ड साउंड के साथ लंबे, सुसंगत, उच्च-गुणवत्ता वाले वीडियो बना सकें, लेकिन अब तक, समाधान केवल छेद को ठीक किए बिना नाव से पानी निकालने की कोशिश करने जैसा रहा है।
यहाँ आता है वोर्च-डायरेक्टर (Vorch-Director), एक नया दृष्टिकोण जो AI वीडियो जनरेशन के लिए एक स्मार्ट संपादक की तरह काम करता है। इस प्रोजेक्ट के पीछे के शोधकर्ताओं ने महसूस किया कि AI मॉडल गलतियाँ कैसे करते हैं, यह रैंडम नहीं है; यह इस पर निर्भर करता है कि किसी भी क्षण मॉडल कितना "नॉइज़ी" या अनिश्चित है। इसे चित्र बनाने की तरह समझें: जब आप एक रफ आउटलाइन स्केच कर रहे होते हैं, तो आपकी गलतियाँ बड़ी और संरचनात्मक होती हैं (जैसे सिर को बहुत बड़ा बनाना)। जब आप अंतिम विवरण जोड़ रहे होते हैं, तो आपकी गलतियाँ छोटी होती हैं (जैसे एक टेढ़ी भौंह)। पिछले तरीकों ने प्रशिक्षण के दौरान AI पर "अभ्यास की गलतियाँ" फेंककर इसे ठीक करने की कोशिश की, लेकिन उन्हें इस बात की परवाह नहीं थी कि गलती किस प्रकार की है। वे शायद एक छोटी भौंह की त्रुटि को एक बड़े सिर के आकार के सुधार के साथ ठीक करने की कोशिश कर रहे थे, जिससे चीजें और भी खराब हो गईं।
वोर्च-डायरेक्टर नॉइज़-अवेयर (noise-aware) होकर खेल बदल देता है। सिस्टम AI की अपनी गलतियों की एक लाइब्रेरी रखता है, लेकिन यह प्रत्येक गलती को उस विशिष्ट "नॉइज़ लेवल" के साथ टैग करता है जिस पर वह की गई थी। जब AI एक नया दृश्य बनाने के लिए सीख रहा होता है, तो सिस्टम देखता है कि AI वर्तमान में कितना अनिश्चित है। यदि AI "रफ स्केच" चरण (उच्च शोर) में है, तो सिस्टम उसे बड़े, संरचनात्मक दोषों को ठीक करने का अभ्यास करने के लिए देता है। यदि AI "बारीक विवरण" चरण (कम शोर) में है, तो वह उसे सूक्ष्म, छोटे दोष देता है। यह सुनिश्चित करता है कि AI सही समय पर सही प्रकार की समस्याओं को ठीक करना सीखे।
इसे लंबी कहानियों के लिए काम करने के लिए, टीम ने कुछ चतुर तरीके भी पेश किए। उन्होंने हर नए सेगमेंट की शुरुआत में एक "क्लीन एंकर" (clean anchor) बनाया—एक छोटा, सटीक क्लिप जिसे AI पात्रों के वास्तविक स्वरूप को याद रखने के लिए देख सकता है, जिससे वे अजीब आकृतियों में बदलने से बच जाते हैं। उन्होंने AI को विशेष "नाम टैग" (टास्क एम्बेडिंग) भी दिए ताकि वह बिल्कुल जान सके कि इनपुट का कौन सा हिस्सा अब तक की कहानी है, कौन सा हिस्सा एक संदर्भ फोटो है, और कौन सा हिस्सा नया दृश्य है जिसे उसे बनाना है। यह AI को यह बनाए रखने में मदद करता है कि कैमरा एंगल या स्थान बदलने पर भी पात्र एक जैसे दिखें।
परिणाम उत्साहजनक हैं। जब टेस्ट बेंचमार्क पर परीक्षण किया गया जो यह मापते हैं कि AI समय के साथ पात्रों और कहानियों को कितनी अच्छी तरह सुसंगत रखता है, तो वोर्च-डायरेक्टर ने अन्य शीर्ष मॉडलों की तुलना में काफी कम "ड्रिफ्ट" दिखाया। एक मिनट के वीडियो वाले परीक्षणों में जिसमें सिंक्रोनाइज़्ड ऑडियो शामिल था, नए मॉडल ने चेहरों को पहचानने योग्य और आवाज़ों को स्थिर रखा, जबकि अन्य मॉडल अक्सर पात्रों को अजीब आकार में बदलने या आवाज़ों के अस्पष्ट होने का परिणाम देते थे। हालाँकि पेपर में यह भी उल्लेख किया गया है कि अभी भी सुधार की गुंजाइश है—विशेष रूप से विजुअल-ओनली मॉडलों की निरंतरता से मेल खाने में—लेकिन नया तरीका यह सुझाव देता है कि त्रुटि के प्रकार को जनरेशन के चरण से मिलाकर, हम AI को बहुत लंबी, अधिक सुसंगत और अधिक यथार्थवादी कहानियाँ सुनाना सिखा सकते हैं, बिना अपना मानसिक संतुलन खोए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।