💻 computer science

Keyframe-Anchored Identity Preservation for Sequential-Action Video Generation

यह शोध पत्र एक प्रशिक्षण-मुक्त, तीन-चरणीय पाइपलाइन ढांचे का प्रस्ताव करता है जो टर्मिनल अवस्थाओं के लिए प्रॉम्प्ट को फिर से लिखकर, संदर्भ पहचान और पूर्ववर्ती फ्रेमों पर संयुक्त अनुकूलन के माध्यम से कीफ्रेम उत्पन्न करके, और मल्टी-रेफरेंस मार्गदर्शन एवं पहचान-संचालित शोर खोज (noise searching) के साथ मध्यवर्ती खंडों को बढ़ाकर, अनुक्रमिक-क्रिया वीडियो निर्माण में विषय की पहचान को सुरक्षित रखता है।

मूल लेखक: Zhenjie Liu, Binyan Chen, Hao Chen, Tong Pan, Shangfei Wang

प्रकाशित 2026-07-21

📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhenjie Liu, Binyan Chen, Hao Chen, Tong Pan, Shangfei Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फिल्म निर्देशित करने की कोशिश कर रहे हैं जिसमें एक बहुत ही विशेष, जिद्दी अभिनेता है। यह अभिनेता एक कंप्यूटर प्रोग्राम द्वारा बनाया गया एक डिजिटल पात्र है जिसे "डिफ्यूजन मॉडल" कहा जाता है। इस मॉडल को एक जादुई, अराजक कलाकार के रूप में सोचें जो आपके विवरणों के आधार पर चित्र बनाने में अविश्वसनीय रूप से कुशल है, लेकिन उसकी याददाश्त बहुत खराब है। यदि आप उससे "दाढ़ी वाला एक आदमी किताब पढ़ रहा है" का चित्र बनाने के लिए कहते हैं, तो वह एक सटीक आदमी बना सकता है। लेकिन यदि आप फिर से उसी आदमी को खड़ा होकर हाथ हिलाते हुए दिखाने के लिए कहते हैं, तो वह भ्रमित हो सकता है। दाढ़ी गायब हो सकती है, चेहरा अपना आकार बदल सकता है, या वह आदमी अचानक पूरी तरह से कोई अलग व्यक्ति लग सकता है। यह "आइडेंटिटी ड्रिफ्ट" (पहचान का भटकना) की समस्या है। AI वीडियो जनरेशन की दुनिया में, किसी पात्र को बिल्कुल वैसा ही बनाए रखना जबकि वह हिलता-डुलता और क्रियाएं बदलता है, एक गर्म फुटपाथ पर चलते समय बर्फ के टुकड़े (स्नोफ्लेक) को पिघलने से बचाने की कोशिश करने जैसा है।

अब, कल्पना कीजिए कि आप नहीं चाहते कि वह केवल एक काम करे; आप चाहते हैं कि वह एक पूरा स्क्रिप्ट निभाए। पहले वह एक किताब पढ़ता है। फिर वह आसमान की ओर देखता है। फिर वह वापस नीचे देखता है। इसे एक ही निरंतर प्रवाह में करना AI के लिए एक दुःस्वप्न है क्योंकि वीडियो जितना लंबा होता जाता है, पात्र का चेहरा बदलने या भटकने की संभावना उतनी ही अधिक होती जाती है। यह शोध पत्र एक विशिष्ट चुनौती को संबोधित करता है जहाँ लक्ष्य एक विशिष्ट व्यक्ति के विभिन्न कार्यों के अनुक्रम को प्रदर्शित करने वाला वीडियो बनाना है, और यह भी सुनिश्चित करना है कि वीडियो में दिखने वाला व्यक्ति बिल्कुल उस संदर्भ फोटो (reference photo) जैसा ही दिखे जिससे आपने शुरुआत की थी। यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी ऑफ चाइना के शोधकर्ताओं ने पूरे मूवी को एक ही टेक में फिल्माने की कोशिश करने के बजाय, एक चतुर तरीका निकाला: उन्होंने मूवी को प्रबंधनीय दृश्यों (scenes) में तोड़ने, प्रत्येक दृश्य के अंत में पात्र के चेहरे को स्थिर करने और फिर उन टुकड़ों को इस तरह से जोड़ने का निर्णय लिया ताकि अभिनेता कभी अपनी पहचान न भूले।

तीन चरणों वाला जादू का खेल

लेखकों ने एक "ट्रेनिंग-फ्री" पाइपलाइन प्रस्तावित की है, जो एक फैंसी तरीका है यह कहने का कि उन्हें AI को फिर से चित्र बनाना सिखाने की आवश्यकता नहीं थी; उन्हें बस उसे बेहतर निर्देश और एक बेहतर कार्यप्रवाह (workflow) देने की आवश्यकता थी। वे अपने तरीके को "कीफ्रेम-एंकोर्ड आइडेंटिटी प्रिजर्वेशन" (Keyframe-Anchored Identity Preservation) कहते हैं, जो सुनने में जटिल लगता है लेकिन वास्तव में काफी तार्किक है। इसे एक नदी के ऊपर पुल बनाने जैसा समझें। एक साथ पूरी सड़क बिछाने के बजाय (जो शायद ढह जाए), आप विशिष्ट बिंदुओं पर मजबूत, ठोस स्तंभ (keyframes) बनाते हैं और फिर उनके बीच सड़क भरते हैं।

चरण 1: स्क्रिप्ट डॉक्टर (एक्शन-अवेयर प्रॉम्प्ट पॉलिशिंग)
सबसे पहले, टीम ने महसूस किया कि AI को दिए गए निर्देश बहुत अस्पष्ट थे। मूल प्रॉम्प्ट ऐसे थे जैसे कोई निर्देशक कलाकार को चिल्लाकर कह रहा हो, "ठीक है, अब वह पढ़ता है, फिर वह ऊपर देखता है!"—जबकि कलाकार को प्रत्येक क्रिया के अंत परिणाम की स्पष्ट तस्वीर की आवश्यकता होती है। AI इस बात को लेकर भ्रमित हो रहा था कि पढ़ना कब बंद करना है और ऊपर कैसे देखना है।

इसे ठीक करने के लिए, शोधकर्ताओं ने एक स्मार्ट AI सहायक (एक लार्ज लैंग्वेज मॉडल) का उपयोग करके स्क्रिप्ट को फिर से लिखा। केवल क्रिया का वर्णन करने के बजाय, सहायक ने प्रॉम्प्ट को क्रिया के बाद की "अवस्था" (state) का वर्णन करने के लिए फिर से लिखा। यह "वह अपना सिर घुमा रहा है" और "वह अब बाईं ओर देख रहा है" कहने के बीच का अंतर है। प्रत्येक क्रिया की "टर्मिनल स्टेट" (अंतिम मुद्रा) पर ध्यान केंद्रित करके, AI को एक स्पष्ट लक्ष्य मिलता है। यह सुनिश्चित करता है कि जब AI "कीफ्रेम" (एंकर पॉइंट) उत्पन्न करता है, तो उसे पता होता है कि उस विशिष्ट क्षण में पात्र को कैसा दिखना चाहिए।

चरण 2: चेन रिएक्शन (ID-प्रिजर्विंग कीफ्रेम जनरेशन)
इसके बाद एंकर पॉइंट्स का वास्तविक चित्रण आता है। शोधकर्ताओं ने AI को एक साथ पूरा वीडियो बनाने के लिए नहीं कहा। इसके बजाय, उन्होंने उससे एक के बाद एक, छवियों की एक श्रृंखला बनाने के लिए कहा।

पहला चित्र बनाने के लिए, उन्होंने AI को संदर्भ फोटो (मूल व्यक्ति) और पहला पुनर्गठित प्रॉम्प्ट दिखाया।
दूसरा चित्र बनाने के लिए, उन्होंने AI को वही संदर्भ फोटो (चेहरे को समान रखने के लिए) और पहली छवि (शरीर की स्थिति को निरंतर रखने के लिए) जो उन्होंने अभी बनाई थी, दोनों दिखाए।
उन्होंने प्रत्येक क्रिया के लिए इस प्रक्रिया को दोहराया।

यही "चेन्ड" (श्रृंखला) वाला हिस्सा है। पिछले चित्र को अगले चरण में फीड करके, AI यह जानता है कि मूल चेहरे से संबंध खोए बिना शरीर को स्वाभाविक रूप से कैसे हिलाना है। यह "टेलीफोन" के खेल जैसा है जहाँ आप निर्देश फुसफुसाते हैं, लेकिन संदेश बिगड़ने के बजाय, आप एक भौतिक स्केच पास कर रहे होते हैं जो यह सुनिश्चित करता है कि अगला कलाकार जानता है कि पिछला वाला कहाँ छोड़ा था। यह "आइडेंटिटी" (चेहरा, जो समान रहता है) को "पोज़" (शरीर, जो बदलता है) से अलग करता है, जिससे ड्रिफ्ट की समस्या हल हो जाती है।

चरण 3: सेफ्टी नेट (ID-अवेयर इन्फरेंस एन्हांसमेंट)
अंत में, AI के पास स्थिर छवियों (कीफ्रेम) की एक श्रृंखला है, लेकिन उसे उनके बीच की गति को भरने की आवश्यकता है ताकि एक सुचारू वीडियो बन सके। यहीं पर जादू होता है। शोधकर्ताओं ने वीडियो जनरेशन प्रक्रिया में दो विशेष तरकीबें जोड़ीं ताकि यह सुनिश्चित हो सके कि पात्र चलते समय गलती न करे।

मल्टी-रेफरेंस गाइडेंस: कल्पना कीजिए कि आप एक चित्र बनाने की कोशिश कर रहे हैं जबकि कोई आपके कान में तीन चीजें फुसफुसा रहा है: पाठ विवरण, पिछला फ्रेम और मूल फोटो। AI आमतौर पर टेक्स्ट और पिछले फ्रेम को सुनता है। शोधकर्ताओं ने AI को मूल फोटो को विशेष रूप से सुनने के लिए मजबूर किया। उन्होंने गणित को इस तरह से ट्यून किया कि "आइडेंटिटी" सिग्नल को बढ़ा दिया गया, जिससे AI के लिए शरीर हिलाते समय गलती से पात्र का चेहरा बदलना बहुत कठिन हो गया।
नॉइज़ सर्चिंग: जब AI वीडियो बनाता है, तो वह स्टैटिक नॉइज़ (जैसे टीवी का शोर) से भरी स्क्रीन से शुरू होता है और धीरे-धीरे छवि प्रकट करने के लिए उसे साफ करता है। आमतौर पर, AI बस शोर के एक यादृच्छिक पैच को शुरुआती बिंदु के रूप में चुन लेता है। शोधकर्ताओं ने बहुत चयनात्मक होने का निर्णय लिया। उन्होंने कई अलग-अलग "शोर के पैच" उत्पन्न किए और यह परीक्षण करने के लिए उनका तेजी से परीक्षण किया कि कौन सा सबसे अच्छा दिखने वाला चेहरा दिखाएगा। उन्होंने विजेता को चुना और उसे शुरुआती बिंदु के रूप में उपयोग किया। यह यह देखने के लिए अलग-अलग बीजों को आज़माने जैसा है कि कौन सा फूल सबसे अच्छा उगता है, इससे पहले कि आप पूरा बगीचा लगा दें।

परिणाम: क्या यह काम आया?

टीम ने IPVG26 (ट्रैक 2) नामक एक प्रतियोगिता में अपने तरीके का परीक्षण किया, जहाँ लक्ष्य विशिष्ट लोगों के कार्यों के अनुक्रमों के वीडियो बनाना था। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने अन्य शीर्ष टीमों के मुकाबले अपने परिणामों को मापा।

उनका दृष्टिकोण आधिकारिक लीडरबोर्ड पर तीसरे स्थान पर रहा। हालांकि वे पहले स्थान पर नहीं आए, लेकिन परिणाम प्रभावशाली थे, विशेष रूप से उन क्षेत्रों में जो सबसे अधिक मायने रखते हैं: व्यक्ति को पहचानने योग्य बनाए रखना (आइडेंटिटी प्रिजर्वेशन) और यह सुनिश्चित करना कि क्रियाएं सही समय पर हों (टेम्पोरल एलाइनमेंट)।

जब उन्होंने अपने सिस्टम का परीक्षण किया, तो उन्होंने पाया कि "मल्टी-रेफरेंस गाइडेंस" सबसे महत्वपूर्ण कारक था। जब उन्होंने इस फीचर को हटा दिया, तो पहचान बनाए रखने (identity consistency) का स्कोर काफी गिर गया (0.4055 से 0.3520)। इससे यह सिद्ध हुआ कि AI को संदर्भ फोटो पर ध्यान केंद्रित करने के लिए स्पष्ट रूप से कहना ही चेहरे को भटकने से रोकने की कुंजी थी। "नॉइज़ सर्चिंग" ने भी मदद की, लेकिन यह एक छोटा सा सुधार था।

शोध पत्र ने दो अलग-अलग "बैकबोन" (जिन अंडरलाइंग वीडियो इंजन का उन्होंने उपयोग किया) की तुलना भी की। उन्होंने पाया कि LTX-2.3 नामक मॉडल लगभग हर मीट्रिक में Wan2.1-VACE की तुलना में बेहतर प्रदर्शन करता है। LTX-2.3 मॉडल ने 0.4971 का समग्र स्कोर प्राप्त किया, जबकि दूसरे मॉडल का स्कोर 0.4818 था।

इसका क्या अर्थ है

यह शोध पत्र यह दावा नहीं करता है कि उसने AI वीडियो जनरेशन की समस्या को हमेशा के लिए हल कर दिया है। यह यह नहीं कहता कि पात्र कभी नहीं बदलेगा, या यह तरीका हर एक संभावित परिदृश्य के लिए पूरी तरह काम करता है। इसके बजाय, यह सुझाव देता है कि एक जटिल वीडियो कार्य को छोटे, एंकोर्ड (anchored) चरणों में तोड़ना इसे संभालने का एक बहुत प्रभावी तरीका है।

वीडियो को एक निरंतर, बहते हुए प्रवाह के बजाय "टर्मिनल स्टेट्स" (प्रत्येक क्रिया के अंत) की एक श्रृंखला के रूप में मानकर, शोधकर्ता जटिल और क्रमिक क्रियाओं के बावजूद पात्र की पहचान को बरकरार रखने में सफल रहे। उन्होंने दिखाया है कि आपको हमेशा AI को शुरू से फिर से प्रशिक्षित करने की आवश्यकता नहीं होती है; कभी-कभी, आपको बस उसे एक बेहतर मानचित्र, एक मजबूत लंगर (anchor), और शुरुआत करने के लिए थोड़ा अतिरिक्त सहयोग देने की आवश्यकता होती है। जो कोई भी सुसंगत पात्रों के साथ डिजिटल कहानियाँ बनाने की कोशिश कर रहा है, उसके लिए यह "कीफ्रेम-एंकोर्ड" दृष्टिकोण एक विश्वसनीय तरीका प्रदान करता है ताकि अभिनेता अपनी भूमिका में बना रहे, चाहे उसके कितने भी दृश्य क्यों न हों।

तकनीकी सारांश: क्रमिक-एक्शन वीडियो जनरेशन के लिए कीफ्रेम-एंकरयुक्त पहचान संरक्षण (Keyframe-Anchored Identity Preservation)

समस्या परिभाषा

यह शोध पत्र IPVG26 चैलेंज ट्रैक 2 के संदर्भ में पहचान-संरक्षण टेक्स्ट-टू-वीडियो जनरेशन (IPVG) की चुनौती को संबोधित करता है। पारंपरिक IPVG कार्यों के विपरीत, जो एक एकल समग्र प्रॉम्प्ट पर निर्भर करते हैं, यह सेटिंग निम्नलिखित के आधार पर वीडियो उत्पन्न करने की आवश्यकता रखती है:

एक संदर्भ पहचान छवि ( $I_{ref}$ )।
एक वैश्विक दृश्य विवरण ( $P_{global}$ )।
एक समय-संरचित टाइमस्टैम्प वाले एक्शन कैपशन्स का अनुक्रम $\{(s_i, e_i, c_i)\}_{i=1}^N$ , जहाँ प्रत्येक $c_i$ एक विशिष्ट उप-एक्शन (sub-action) को उसके प्रारंभ और अंत के समय के साथ वर्णित करता है।

मुख्य कठिनाई विषय की पहचान योग्यता (identity) को बनाए रखते हुए एक स्क्रिप्टेड अनुक्रम के विविध कार्यों को निष्पादित करने में निहित है। मानक एंड-टू-एंड वीडियो जनरेटर अक्सर अपीयरेंस ड्रिफ्ट (appearance drift) से ग्रस्त होते हैं, क्योंकि मोशन संचित होता है और वर्णित क्रियाएं बदलती हैं, जिससे पूरे मल्टी-एक्शन सीक्वेंस के दौरान विषय अपनी समानता खो देता है।

कार्यप्रणाली (Methodology)

लेखक एक ट्रेनिंग-फ्री, तीन-चरणीय पाइपलाइन प्रस्तावित करते हैं जो वीडियो जनरेशन कार्य को पहचान-संरक्षण करने वाले कीफ्रेम की एक श्रृंखला में विभाजित करती है, जिससे संयुक्त अनुकूलन (joint optimization) के स्पैटियोटेम्पोरल ट्रेड-ऑफ से बचा जा सके।

1. एक्शन-अवेयर प्रॉम्प्ट पॉलिशमेंट (Action-Aware Prompt Polishment)

कच्चे टेक्स्ट इनपुट (ग्लोबल डिस्क्रिप्शन और टेम्पोरल कैपशन्स) अक्सर वर्णनात्मक होते हैं और उनमें इमेज जनरेशन मॉडल के लिए आवश्यक स्थानिक सटीकता (spatial precision) की कमी होती है।

प्रक्रिया: एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल (LLM), विशेष रूप से Qwen3.6-27B, इन इनपुट्स को फिर से लिखता है।
प्रथम फ्रेम: ग्लोबल प्रॉम्प्ट को एक ऐसे प्रॉम्प्ट ( $\hat{P}_{global}$ ) में पुनर्गठित किया जाता है जो विषय के पहचान गुणों (चेहरे का आकार, त्वचा का रंग, आदि) को एंकर करता है और दृश्य स्थापित करता है, जिससे एक तर्कसंगत शुरुआती क्षण सुनिश्चित होता है।
टर्मिनल स्टेट्स (Terminal States): प्रत्येक टेम्पोरल कैप्शन $c_i$ को एक एंड-फ्रेम प्रॉम्प्ट ( $\hat{c}_i$ ) में पुनर्गठित किया जाता है। महत्वपूर्ण रूप से, ये प्रॉम्प्ट मोशन की प्रगति के बजाय क्रिया के टर्मिनल स्टेट (अंतिम पोज़, हाथ की स्थिति, दृष्टि) का वर्णन करते हैं। यह आगामी कीफ्रेम जनरेशन के लिए स्पष्ट स्थानिक बाधाएं (spatial constraints) प्रदान करता है।

2. ID-संरक्षण श्रृंखलाबद्ध कीफ्रेम जनरेशन (ID-Preserving Chained Keyframe Generation)

पूरा वीडियो एक साथ जनरेट करने के बजाय, सिस्टम कीफ्रेमों का एक अनुक्रम $\{K_0, K_1, \dots, K_N\}$ उत्पन्न करता है, जहाँ प्रत्येक $K_i$ , $i$ -वें एक्शन सेगमेंट की टर्मिनल अवस्था का प्रतिनिधित्व करता है।

चेन्ड कंडीशनिंग (Chained Conditioning):
- $K_0$ को $I_{ref}$ और $\hat{P}_{global}$ के आधार पर जनरेट किया जाता है।
- आगामी कीफ्रेम $K_i$ $K_{i}$ को तीन इनपुट्स के आधार पर जनरेट किया जाता है:
  1. $I_{ref}$ : समय-अपरिवर्तनीय पहचान विशेषताओं (time-invariant identity features) को प्रदान करता है।
  2. $K_{i-1}$ : पूर्ववर्ती दृश्य अवस्था (पोज़, ओरिएंटेशन, सीन लेआउट) प्रदान करता है ताकि टेम्पोरल निरंतरता सुनिश्चित हो सके।
  3. $\hat{c}_i$ : वर्तमान क्रिया के लिए लक्षित टर्मिनल स्टेट को निर्दिष्ट करता है।
तंत्र (Mechanism): यह डिज़ाइन समय-अपरिवर्तनीय उपस्थिति (से $I_{ref}$ से) को समय-परिवर्तनीय पोज़ (से $K_{i-1}$ से) से अलग करता है, जिससे मॉडल को केवल नए प्रॉम्प्ट द्वारा वर्णित पहलुओं को संशोधित करने और बाकी को विरासत में लेने की अनुमति मिलती है।

3. ID-अवेयर इन्फरेंस एन्हांसमेंट (ID-Aware Inference Enhancement)

एक बार कीफ्रेम स्थापित हो जाने के बाद, उनके बीच के वीडियो सेगमेंट को डिफ्यूजन-आधारित वीडियो मॉडल (विशेष रूप से कीफ्रेम-इंटरपोलेशन मोड में LTX-2.3) का उपयोग करके सिंथेसाइज किया जाता है। इन्फरेंस के दौरान दो ट्रेनिंग-फ्री एन्हांसमेंट्स लागू किए जाते हैं:

मल्टी-रेफरेंस गाइडेंस (Multi-Reference Guidance): विशिष्ट गाइडेंस टर्म्स जोड़कर मानक क्लासिफायर-फ्री गाइडेंस (CFG) का विस्तार करता है। सैंपलिंग ट्रेजेक्टरी को निम्नलिखित द्वारा निर्देशित किया जाता है:
- $\Delta_{cfg}$ : मानक टेक्स्ट अलाइनमेंट।
- $\Delta_{stg}$ : टेम्पोरल कोहेरेंस के लिए स्पैटियोटेम्पोरल गाइडेंस (अटेंशन परटर्बेशन के माध्यम से)।
- $\Delta_{mod}$ : मोडैलिटी गाइडेंस जो पहचान निरंतरता को लागू करने के लिए विजुअल कंडीशंस (बाउंड्री कीफ्रेम) के प्रभाव को स्पष्ट रूप से बढ़ाता है।
आइडेंटिटी-ड्रिवन नॉइज़ सर्चिंग (Identity-Driven Noise Searching): प्रारंभिक डिफ्यूजन नॉइज़ $z_T$ को एक रैंडम ड्रा के बजाय एक ऑप्टिमाइज़ेशन वेरिएबल के रूप में मानता है। प्रत्येक सेगमेंट के लिए, $K$ कैंडिडेट नॉइज़ टेंसर सैंपल किए जाते हैं, और एक शॉर्ट लुकअहेड डिनोइजिंग की जाती है। वह कैंडिडेट yielding उच्चतम रिवॉर्ड (डिकोडेड पहले फ्रेम के फेस एम्बेडिंग और $I_{ref}$ के बीच कोसाइन सिमिलैरिटी) को पूर्ण डिनोइजिंग के लिए चुना जाता है।
वेरिएबल-लेंथ एलोकेशन: सेगमेंट को उनके ड्यूरेशन के अनुपात में फ्रेम काउंट आवंटित किया जाता है, जिसे VAE बाधाओं ( $8k+1$ ) को पूरा करने के लिए राउंड किया जाता है।

मुख्य योगदान

एक्शन-अवेयर प्रॉम्प्ट पॉलिशमेंट मॉड्यूल: ग्लोबल और टेम्पोरल कैपशन्स को टर्मिनल-स्टेट इमेज प्रॉम्प्ट्स में फिर से लिखने की एक विधि, जो कीफ्रेम सिंथेसिस के लिए स्पष्ट स्थानिक लक्ष्य प्रदान करती है।
ID-संरक्षण श्रृंखलाबद्ध कीफ्रेम जनरेशन: एक जनरेशन रणनीति जो प्रत्येक कीफ्रेम को संदर्भ पहचान और पिछले कीफ्रेम दोनों पर कंडीशन करती है, जिससे पहचान को पोज़ से प्रभावी ढंग से अलग किया जाता है ताकि पहचान योग्यता और मोशन निरंतरता बनी रहे।
ID-अवेयर इन्फरेंस एन्हांसमेंट: एक ट्रेनिंग-फ्री स्टेज जो सैंपलिंग के दौरान पहचान की शुद्धता को सुदृढ़ करने के लिए मल्टी-रेफरेंस गाइडेंस और आइडेंटिटी-ड्रिववन नॉइज़ सर्चिंग को एकीकृत करता है।
कीफ्रेम-एंकरयुक्त अपघटन (Keyframe-Anchored Decomposition): एंड-टू-एंड जनरेशन से कीफ्रेम-एंकरयुक्त एंडपॉइंट्स के बीच इंटरपोलेशन की ओर एक पैराडाइम शिफ्ट, जो क्रमिक-एक्शन कार्यों की विशिष्ट चुनौतियों का समाधान करता है।

परिणाम

प्रस्तावित पद्धति का मूल्यांकन IPVG26 ट्रैक 2 टेस्ट सेट (ReactID डेटासेट से 200 नमूने) पर किया गया।

लीडरबोर्ड प्रदर्शन: यह विधि आधिकारिक लीडरबोर्ड पर तीसरे (3rd) स्थान पर रही (स्कोर: 2.9375), जो USTC-CMI और WislabGDUT के पीछे है।
बैकबोन तुलना: लेखकों ने LTX-2.3 (कीफ्रेम-इंटरपोलेशन मोड) की तुलना Wan2.1-VACE (फर्स्ट/लास्ट-फ्रेम मोड) से की। LTX-2.3 ने सभी मेट्रिक्स में, विशेष रूप से पहचान संरक्षण और अलाइनमेंट में, Wan2.1-VACE से बेहतर प्रदर्शन किया, जिसके कारण इसे अंतिम बैकबोन के रूप में चुना गया।
एब्लेशन स्टडीज (Ablation Studies):
- मल्टी-रेफरेंस गाइडेंस को हटाने से पहचान स्कोर में सबसे महत्वपूर्ण गिरावट आई (0.4055 से 0.3520), जो पुष्टि करता है कि यह विषय निरंतरता के लिए प्राथमिक चालक है।
- नॉइज़ सर्चिंग को हटाने से पहचान और समग्र स्कोर में मध्यम लेकिन निरंतर गिरावट आई।
- दोनों एन्हांसमेंट्स ने मोशन स्मूथनेस या इमेज क्वालिटी को महत्वपूर्ण रूप से प्रभावित किए बिना पहचान मेट्रिक्स में सुधार किया।

महत्व और दावे

यह पेपर दावा करता है कि कीफ्रेम-एंकरयुक्त अपघटन क्रमिक-एक्शन पहचान संरक्षण की विशिष्ट चुनौती के लिए एक प्रभावी समाधान है। समय-अपरिवर्तनीय पहचान लेआउट को टेम्पोरल मोशन से अलग करके, यह विधि एंड-टू-एंड जनरेटर्स में सामान्य अपीयरेंस ड्रिफ्ट से बचती है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण ट्रेनिंग-फ्री है, जिसमें ऑफ-द-शेल्फ मॉडल्स को बिना किसी फाइन-ट्यूनिंग के उपयोग करने की आवश्यकता है, फिर भी यह एक चुनौतीपूर्ण बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन प्राप्त करता है। परिणाम बताते हैं कि टर्मिनल स्टेट्स (कीफ्रेम) के जनरेशन को मोशन के इंटरपोलेशन से स्पष्ट रूप से अलग करना, इन्फरेंस-टाइम आइडेंटिटी सुदृढीकरण के साथ मिलकर, नियंत्रणीय, मल्टी-एक्शन वीडियो सिंथेसिस के लिए एक व्यवहार्य रणनीति है।