Identity-Preserving Text-to-Video Generation via Agentic Enhancement and Semantic Repair
यह शोध पत्र एजेंटिक एन्हांसमेंट एंड सिमेंटिक रिपेयर (AESR) का प्रस्ताव करता है, जो एक हल्का ढांचा है जो क्लोज्ड-सोर्स टेक्स्ट-टू-वीडियो मॉडल्स में आइडेंटिटी ड्रिफ्ट और इंस्ट्रक्शन-फॉलोइंग विफलताओं को दूर करने के लिए एक एजेंटिक प्रॉम्प्ट एन्हांसमेंट मॉड्यूल और एक VLM-संचालित विजुअल सिमेंटिक रिपेयर मॉड्यूल को जोड़ता है, जिसने ACM MM 2026 आइडेंटिटी-प्रिजर्विंग वीडियो जनरेशन चैलेंज में प्रथम स्थान प्राप्त किया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, एक विशिष्ट चुनौती उभर कर आई है: मशीनों को ऐसे चलते-फिरते चित्र बनाना सिखाना जो न केवल एक लिखित कहानी का पालन करें, बल्कि पूरे क्लिप के दौरान एक विशिष्ट व्यक्ति को बिल्कुल वैसा ही बनाए रखें जैसा वह वास्तव में दिखता है। कल्पना कीजिए कि आप कंप्यूटर से अपने एक दोस्त के व्यस्त बाजार से गुजरने, फिर एक फूल खरीदने के लिए रुकने का वीडियो बनाने के लिए कह रहे हैं, और यह सुनिश्चित करना चाहते हैं कि वीडियो में चेहरा स्पष्ट रूप से आपके उसी दोस्त का हो। जबकि आधुनिक उपकरण पहले से ही शानदार यथार्थवादी गति और प्रकाश व्यवस्था उत्पन्न कर सकते हैं, वे अक्सर इस निरंतरता के साथ संघर्ष करते हैं। पात्र शुरुआत में आपका दोस्त हो सकता है लेकिन धीरे-धीरे किसी और में बदल सकता है, या कंप्यूटर आपके द्वारा मांगे गए फूल को शामिल करना भूल सकता है, खासकर जब निर्देश जटिल हो जाते हैं। यह एक महत्वपूर्ण बाधा है क्योंकि आज उपलब्ध सबसे शक्तिशाली वीडियो जनरेटर "ब्लैक बॉक्स" हैं—बंद प्रणालियाँ जहाँ आंतरिक कार्यप्रणाली छिपी होती है, जिससे शोधकर्ताओं के लिए इन त्रुटियों को ठीक करने के लिए सीधे कोड में बदलाव करना असंभव हो जाता है।
बीजिंग विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समस्या को बिना ब्लैक बॉक्स को खोले हल करने के लिए एक नया दृष्टिकोण विकसित किया है। वीडियो जनरेटर को बदलने के बजाय, उन्होंने एक स्मार्ट सहायक बनाया है जो इसके चारों ओर काम करता है। यह प्रणाली, जिसे वे AESR कहते हैं, एक अत्यधिक कुशल निर्देशक और संपादक की तरह कार्य करती है जो फिल्मांकन से पहले निर्देशों को तैयार करती है और पहला टेक लेने के बाद गलतियों को सुधारती है। शोधकर्ताओं ने पाया कि कंप्यूटर को दिए जाने वाले टेक्स्ट प्रॉम्प्ट्स (text prompts) को सावधानीपूर्वक परिष्कृत करके और उत्पन्न वीडियो में विशिष्ट त्रुटियों को सुधारने के लिए दृश्य संदर्भों (visual references) का उपयोग करके, वे परिणामों में काफी सुधार कर सकते हैं। इस तकनीक के लिए आयोजित एक प्रमुख अंतरराष्ट्रीय प्रतियोगिता में, उनकी प्रणाली ने प्रथम स्थान प्राप्त किया, जिससे यह सिद्ध हुआ कि उनके द्वारा निर्देशित करने और सुधारने की यह विधि, जहाँ विषय की पहचान वास्तविक जीवन के अनुरूप बनी रहती है, एक व्यावहारिक और शक्तिशाली तरीका है।
उनके समाधान का मूल दो अलग-अलग चरणों में निहित है जो वीडियो बनाने से पहले और बाद में होते हैं। सबसे पहले, टीम ने महसूस किया कि जिस तरह से कोई मनुष्य प्रॉम्प्ट लिखता है वह अत्यंत महत्वपूर्ण है, लेकिन विभिन्न वीडियो जनरेटर लिखने की अलग-अलग शैलियों को पसंद करते हैं। इसे संभालने के लिए, उन्होंने एक डिजिटल "प्लेबुक" बनाई जो अनुभव से सीखती है। यह प्लेबुक वीडियो जनरेटर के रचनाकारों द्वारा प्रदान किए गए आधिकारिक निर्देशों से शुरू होती है, जो सिस्टम को बताते हैं कि उसे कमांड कैसे प्राप्त करना पसंद है। हालाँकि, शोधकर्ताओं ने वास्तविक दुनिया के उदाहरणों से सीखने की एक परत जोड़कर इसे और आगे बढ़ाया। उन्होंने एक स्वचालित लूप स्थापित किया जहाँ सिस्टम एक वीडियो उत्पन्न करता है, गलतियों के लिए उसकी जाँच करता है, और फिर अपने प्लेबुक को उस सीख के साथ अपडेट करता है जो उसने प्राप्त की है। यदि सिस्टम देखता है कि वीडियो जनरेटर अक्सर किसी विशिष्ट प्रकार की गति को शामिल करना भूल जाता है या किसी वस्तु का वर्णन स्पष्ट रूप से करने में विफल रहता है, तो प्लेबुक इस विफलता और अगली बार के लिए इसके सुधार को रिकॉर्ड कर लेती है। समय के साथ, ज्ञान का यह संग्रह बढ़ता जाता है, जिससे सिस्टम जटिल दृश्यों के लिए बेहतर निर्देश तैयार करने में सक्षम होता है, जैसे कि एक व्यक्ति का कई वस्तुओं के साथ बातचीत करना या कार्यों का एक क्रम करना।
बेहतर निर्देशों के बावजूद, वीडियो का पहला संस्करण अक्सर छोटी त्रुटियों से युक्त होता है जिसे केवल टेक्स्ट से ठीक नहीं किया जा सकता। कंप्यूटर "कैमरे की ओर देखती हुई एक महिला" शब्दों को समझ सकता है, लेकिन परिणामी वीडियो में वह दूसरी ओर देखती हुई दिखाई दे सकती है, या वह एक महत्वपूर्ण विवरण चूक सकता है जैसे कि उसके द्वारा पहनी जाने वाली एक विशिष्ट टोपी। इस समस्या को संबोधित करने के लिए, शोधकर्ताओं ने 'विजुअल सिमेंटिक रिपेयर' (visual semantic repair) नामक दूसरा चरण पेश किया। इस चरण में, एक अलग आर्टिफिशियल इंटेलिजेंस सिस्टम एक आलोचक की भूमिका निभाता है, जो ड्राफ्ट वीडियो को देखता है और उसकी मूल अनुरोध के साथ तुलना करता है। जब वह कोई समस्या पकड़ता है, जैसे कि कोई गायब वस्तु या चेहरे में आया मामूली बदलाव, तो वह केवल एक नया विवरण नहीं लिखता। इसके बजाय, वह वीडियो का एक विशिष्ट फ्रेम चुनता है और उसे ठीक से संपादित करता है ताकि दिखाया जा सके कि वहां वास्तव में क्या होना चाहिए। यह संपादित छवि एक ठोस दृश्य लक्ष्य (visual target) के रूप में कार्य करती है। सिस्टम फिर इस सुधारात्मक छवि को, मूल वीडियो और निर्देशों के एक नए सेट के साथ, एक वीडियो एडिटिंग टूल में फीड करता है। यह टूल उस संपादित छवि का उपयोग मार्गदर्शक के रूप में करता है ताकि वीडियो के उस विशिष्ट हिस्से को ठीक किया जा सके, जिससे यह सुनिश्चित हो सके कि अंतिम परिणाम प्रॉम्प्ट के दृश्य इरादे से मेल खाता है।
सर्वश्रेष्ठ संभव परिणाम सुनिश्चित करने के लिए, शोधकर्ताओं ने प्रत्येक वीडियो के कई संस्करणों को उनके बेहतर निर्देशों और सुधार तकनीकों के विभिन्न संयोजनों का उपयोग करके उत्पन्न किया। इसके बाद उन्होंने उम्मीदवारों की तुलना करने के लिए एक चयन रणनीति का उपयोग किया, जिसमें यह देखा गया कि वीडियो टेक्स्ट से कितनी अच्छी तरह मेल खाता है, चेहरा कितना सुसंगत रहा, और गति की समग्र सहजता कैसी थी। इस समूह में से एकल सर्वश्रेष्ठ संस्करण को चुनकर, उन्होंने अंतिम उत्पाद की गुणवत्ता को अधिकतम किया। जब 200 चुनौतीपूर्ण उदाहरणों के विरुद्ध परीक्षण किया गया जिनमें चेहरे की पहचान बनाए रखना शामिल था, तो उनकी प्रणाली मौजूदा विधियों से बेहतर प्रदर्शन करती है। परिणामों ने दिखाया कि उनका दृष्टिकोण सफलतापूर्वक उन त्रुटियों को कम करता है जहाँ विषय का चेहरा बदल जाता है या जहाँ प्रमुख दृश्य तत्व गायब हो जाते हैं। टीम की सफलता की पुष्टि ACM MM 2026 आइडेंटिटी-प्रिजर्विंग वीडियो जनरेशन चैलेंज में हुई, जहाँ उनके सिस्टम, जिसका नाम MIPL_Video है, ने फेशियल आइडेंटिटी ट्रैक में शीर्ष स्थान प्राप्त किया।
यह कार्य प्रदर्शित करता है कि भले ही सबसे शक्तिशाली उपकरण सीधे संशोधन के लिए बंद हों, फिर भी उन्हें बेहतर परिणामों की ओर ले जाने के प्रभावी तरीके मौजूद हैं। एक सीखने वाली प्रणाली (learning system) जो निर्देशों में सुधार करती है और एक विजुअल एडिटर जो विशिष्ट गलतियों को ठीक करता है, को मिलाकर, शोधकर्ताओं ने एक वर्कफ़्लो बनाया जो हल्का और अत्यधिक प्रभावी है। उनके निष्कर्ष बताते हैं कि उच्च-गुणवत्ता वाले, पहचान-संरक्षित वीडियो निर्माण का भविष्य बड़े, अधिक जटिल मॉडल बनाने पर नहीं, बल्कि हमारे पास मौजूद मॉडलों के साथ बेहतर तरीके से संवाद करने के स्मार्ट तरीकों को विकसित करने पर निर्भर हो सकता है। किसी व्यक्ति की समानता बनाए रखने की क्षमता और जटिल, गतिशील कहानियों का पालन करने की क्षमता, कहानी कहने और सामग्री निर्माण के लिए नई संभावनाएं खोलती है, जो यह सिद्ध करती है कि सावधानीपूर्वक तैयारी और लक्षित सुधार वह परिणाम प्राप्त कर सकते हैं जो केवल कच्चे जनरेशन (raw generation) अकेले नहीं कर सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।