PersonaShot: Benchmarking Person-Centric Narrative Continuity in Multi-Shot Video Generation

चलते चित्रों के साथ कहानी कहने की कला लंबे समय से स्क्रीन और दर्शक के बीच एक सरल, अदृश्य अनुबंध पर टिकी रही है: यदि एक दृश्य में कोई पात्र कप उठाता है, तो अगले कोण पर कैमरा कट होने पर वह कप उसके हाथ में ही होना चाहिए। यदि क्लोज-अप में कोई व्यक्ति क्रोधित है, तो शॉट चौड़ा होने पर वह क्रोध एक खाली शून्य दृष्टि में गायब नहीं होना चाहिए। दशकों तक, फिल्म निर्माताओं ने निरंतरता (कंटिन्यूटी) बनाए रखने के लिए सख्त नियमों का उपयोग किया है, जिससे यह सुनिश्चित हो सके कि भौतिक दुनिया और पात्र की भावनात्मक यात्रा वास्तविक और अटूट महसूस हो। आज, कृत्रिम बुद्धिमत्ता (AI) की एक नई पीढ़ी इन वीडियो को शून्य से बनाने सीख रही है, अपने स्वयं के स्क्रिप्ट लिख रही है और अपने स्वयं के फ्रेम बना रही है। लेकिन जैसे-जैसे ये मशीनें शानदार, एकल क्षणों को उत्पन्न करने में अधिक सक्षम हो रही हैं, एक महत्वपूर्ण प्रश्न अनुत्तरित रह जाता है: क्या वे कहानी को सही रख सकती हैं जब कैमरा कट होता है?

शोधकर्ताओं की एक टीम ने इस प्रश्न का उत्तर देने के लिए एक विशेष परीक्षण स्थल बनाया है, जो केवल दृश्य सुंदरता के सरल परीक्षणों से आगे बढ़कर संपूर्ण आख्यानों की सुसंगतता को मापने की ओर बढ़ रहा है। वे अपने नए बेंचमार्क को 'पर्सोना शॉट' (PersonaShot) कहते हैं। इसे मल्टी-शॉट वीडियो जनरेशन का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो एक ऐसी प्रक्रिया है जहाँ AI केवल एक एकल, अलग क्लिप के बजाय जुड़े हुए दृश्यों का एक क्रम बनाता है। शोधकर्ताओं ने पाया कि जबकि वर्तमान AI मॉडल एकल शॉट को दृश्य रूप से पूर्ण दिखा सकते हैं, वे अक्सर उस तार्किक और भावनात्मक सूत्र को बनाए रखने में विफल रहते हैं जो उन शॉट्स को एक साथ जोड़ता है। एक पात्र कमरे में टेलीपोर्ट (एक स्थान से दूसरे स्थान पर अचानक पहुंचना) हो सकता है, कोई वस्तु बिना किसी कारण के अपनी अवस्था बदल सकती है, या बिना किसी कथात्मक कारण के अचानक भावनाओं में बदलाव आ सकता है। ये त्रुटियां दर्शक के विसर्जन (इमर्शन) को तोड़ देती हैं, जिससे एक संभावित कहानी बिखरे हुए चित्रों की एक असंबद्ध श्रृंखला में बदल जाती है।

यह समझने के लिए कि यह क्यों महत्वपूर्ण है, पहले एक सुंदर चित्र बनाने और एक सुसंगत कहानी बताने के बीच के अंतर को समझना होगा। पारंपरिक फिल्म निर्माण में, एक निर्देशक यह सुनिश्चित करता है कि यदि एक शॉट में पात्र बाईं ओर देख रहा है, तो वह रिवर्स शॉट में दाईं ओर देख रहा हो, जिसे 180-डिग्री नियम कहा जाता है, जो दर्शकों को स्थान के प्रति उन्मुख रखता है। इसी तरह, एक पात्र का भावनात्मक ग्राफ स्वाभाविक रूप से विकसित होना चाहिए; कोई व्यक्ति तब तक तुरंत रोने से हंसने में नहीं बदल जाता जब तक कि कहानी इसका कारण न दे। AI वीडियो जनरेशन के मौजूदा परीक्षण मुख्य रूप से इस बात पर केंद्रित रहे हैं कि क्या एक एकल फ्रेम स्पष्ट दिखता है या क्या एक छोटा क्लिप सुचारू रूप से चलता है। उन्होंने शायद ही कभी यह जांचा है कि जब वीडियो एक कोण से दूसरे कोण पर कटता है, तो पात्र की स्थिति, उनके द्वारा छुई गई वस्तुओं की अवस्था, या उनकी भावनात्मक यात्रा सुसंगत रहती है या नहीं। पर्सोना शॉट के पीछे के शोधकर्ता तर्क देते हैं कि इन कनेक्शनों की जांच किए बिना, हम वास्तव में यह नहीं जान सकते कि क्या एक AI कहानी कहने में सक्षम है।

टीम ने एक कठोर परीक्षण के रूप में लगभग 1,000 मल्टी-शॉट खंडों का एक डेटासेट तैयार किया। उन्होंने AI को केवल यादृच्छिक (रैंडम) वीडियो बनाने के लिए नहीं कहा; इसके बजाय, उन्होंने ऐसे उदाहरणों को क्यूरेट किया जिनमें विशिष्ट प्रकार की निरंतरता की आवश्यकता थी। उन्होंने ऐसे दृश्य देखे जहाँ एक पात्र एक वस्तु के साथ बातचीत करता है, जहाँ दो लोगों के बीच बातचीत चलती है, या जहाँ कैमरा एक नया परिप्रेक्ष्य दिखाने के लिए घूमता है। यह सुनिश्चित करने के लिए कि ये परीक्षण निष्पक्ष और सटीक हों, शोधकर्ताओं ने अपने डेटा को फ़िल्टर किया ताकि यह गारंटी दी जा सके कि चेहरे स्पष्ट रूप से दिखाई दें, वही पात्र कई शॉट्स में दिखाई दे, और वस्तुओं के बीच स्थानिक संबंध स्पष्ट हों। इस सावधानीपूर्वक क्यूरेशन ने लगभग 5,000 एनोटेटेड शॉट्स का एक पुस्तकालय बनाया, जिसमें महिला के एक गंभीर पुरुष के साथ संवाद करने से लेकर खाना पकाने और परोसने के अनुक्रम जैसे विविध कथात्मक विषयों को शामिल किया गया।

एक बार जब टेस्ट डेटा तैयार हो गया, तो शोधकर्ताओं ने AI के प्रदर्शन को ग्रेड करने का एक नया तरीका विकसित किया। एक सामान्य-उद्देश्य वाले AI पर निर्भर रहने के बजाय, उन्होंने विशेषज्ञ मूल्यांकनकर्ताओं की एक टीम बनाई। इसे विशेषज्ञों की एक टीम के रूप में सोचें, जहाँ एक व्यक्ति भौतिकी का विशेषज्ञ है, दूसरा अभिनय और भावना का, और तीसरा फिल्म संपादन का। पहला विशेषज्ञ 'कॉज़ल फिजिकल कंटीन्यूटी' (कारण संबंधी भौतिक निरंतरता) की जांच करता है, जैसे: क्या वह बर्तन जिसे महिला ने पहले शॉट में मेज पर रखा था, वह दूसरे शॉट में भी वहीं था? क्या कमरे के सापेक्ष पात्र का आकार समान रहा? दूसरा विशेषज्ञ 'अफेक्टिव डायनेमिक्स' (भावनात्मक गतिशीलता), या पात्र के भावनात्मक जीवन पर ध्यान केंद्रित करता है। यह मूल्यांकनकर्ता चेहरे के भावों में सूक्ष्म परिवर्तनों की जांच करता है, यह सुनिश्चित करता है कि मुस्कान अस्वाभाविक रूप से न झपके और पात्र का मूड कहानी के अनुरूप बदले। तीसरा विशेषज्ञ 'सिनेमैटिक ग्रामर' (सिनेमैटिक व्याकरण) का विश्लेषण करता है, जो उन नियमों का समूह है जिनका उपयोग फिल्म निर्माता दर्शक की दृष्टि और समझ को निर्देशित करने के लिए करते हैं। इसमें यह जांचना शामिल है कि क्या कैमरा कट्स तार्किक पैटर्न का पालन करते हैं, क्या पात्र एक-दूसरे की ओर सही ढंग से देख रहे हैं, और क्या कट्स की लय क्रिया की गति से मेल खाती है।

इस मूल्यांकन के परिणामों ने यह खुलासा किया कि ये वीडियो कितने अच्छे दिखते हैं और वे कितनी अच्छी कहानी बताते हैं, इसके बीच एक बड़ा अंतर है। शोधकर्ताओं ने कई अत्याधुनिक वीडियो जनरेशन सिस्टम का परीक्षण किया और पाया कि सबसे दृश्य रूप से प्रभावशाली मॉडल भी कथात्मक निरंतरता के बुनियादी सिद्धांतों के लिए संघर्ष करते हैं। उदाहरण के लिए, एक मॉडल ने उच्च 'विजुअल फिडेलिटी' (दृश्य सटीकता) वाले वीडियो बनाए, जिसका अर्थ है कि चित्र स्पष्ट और रंग जीवंत थे, फिर भी वह कट्स के दौरान पात्र की भावनात्मक स्थिति को सुसंगत बनाए रखने में विफल रहा। एक अन्य मॉडल ने पात्र की पहचान को स्थिर रखने में सफलता पाई, लेकिन अक्सर स्थानिक लेआउट के नियमों को तोड़ दिया, जिससे ऐसा लगा जैसे पात्र बिना कैमरे के पीछा किए किसी अलग स्थान पर चला गया हो। अध्ययन ने दिखाया कि वर्तमान AI सिस्टम व्यक्तिगत फ्रेम को संश्लेषित करने में उत्कृष्ट हैं लेकिन वे कई शॉट्स में पात्र की स्थिति या भौतिक दुनिया की निरंतर स्मृति बनाए रखने में अभी तक सक्षम नहीं हैं।

शायद सबसे उल्लेखनीय निष्कर्ष यह था कि उच्च-स्तरीय प्रॉम्प्ट से कहानी की योजना बनाने की क्षमता का बेहतर निरंतरता में स्वतः अनुवाद नहीं हुआ। कुछ सिस्टम जिन्हें एक विस्तृत, शॉट-दर-शॉट योजना दी गई थी, वे भौतिक दुनिया को सुसंगत बनाए रखने में बेहतर प्रदर्शन करते थे, क्योंकि स्पष्ट मार्गदर्शन आमतौर पर क्रॉस-शॉट सुसंगतता को मजबूत करता है। हालाँकि, यहाँ तक कि ये मॉडल भी भावनाओं के सूक्ष्म प्रवाह के लिए संघर्ष करते रहे, क्योंकि 'अफेक्टिव इवैल्यूएशन' (भावनात्मक मूल्यांकन) मल्टी-शॉट अनुक्रमों के दौरान अस्थिर चेहरे की गतिशीलता और कमजोर भावनात्मक प्रक्षेपवक्र को उजागर करता है। इसके विपरीत, जिन्हें एक एकल, व्यापक कहानी प्रॉम्प्ट दिया गया था, वे कभी-कभी अधिक सुसंगत भावनात्मक प्रक्षेपवक्र बनाने में सफल रहे, लेकिन LTX-2.3 जैसे ग्लोबल-प्रॉम्प्ट सिस्टम को विशेष रूप से सिनेमैटिक ग्रामर और पहचान में प्रतिस्पर्धी पाया गया, न कि भावनात्मक निरंतरता में उत्कृष्टता प्राप्त करने में। यह सुझाव देता है कि चुनौती केवल निर्देशों का पालन करने के बारे में नहीं है, बल्कि समय, कारण और मानव व्यवहार के बारे में तर्क करने की मौलिक क्षमता के बारे में है। शोधकर्ताओं ने नोट किया कि जबकि मॉडल उदास दिखने वाले व्यक्ति का एक एकल शॉट बना सकते थे, वे अक्सर यह समझने में विफल रहे कि यह उदासी अगले शॉट में बनी रहनी चाहिए या विकसित होनी चाहिए, जिससे अभिव्यक्ति में अचानक और झटकेदार बदलाव आते हैं।

यह सुनिश्चित करने के लिए कि उनकी नई परीक्षण पद्धति विश्वसनीय है, शोधकर्ताओं ने अपने स्वचालित मूल्यांकनकर्ताओं की तुलना मानव विशेषज्ञों के निर्णयों से की। उन्होंने दस डोमेन विशेषज्ञों से उन्हीं मानदंडों के आधार पर उत्पन्न वीडियो को रेट करने के लिए कहा जिनका उपयोग AI मूल्यांकनकर्ताओं द्वारा किया गया था। परिणामों ने मानव विशेषज्ञों और विशेष AI मूल्यांकनकर्ताओं के बीच एक मजबूत सहमति दिखाई। जब मनुषियों ने कहा कि किसी वीडियो ने आंखों के संपर्क के नियमों को तोड़ा है या किसी वस्तु की स्थिति बनाए रखने में विफल रहा है, तो AI मूल्यांकनकर्ता भी सहमत थे। यह संरेखण इस विश्वास को पुख्ता करता है कि बेंचमार्क उसी को माप रहा है जिसे वह मापने का दावा करता है: एक व्यक्ति-केंद्रित आख्यान की वास्तविक निरंतरता। यह यह भी सुझाव देता है कि विशेष मूल्यांकनकर्ता डेवलपर्स के लिए अपने मॉडलों का निदान करने और सुधारने के लिए एक विश्वसनीय उपकरण के रूप में कार्य कर सकते हैं, बिना हर परीक्षण के लिए मानव आलोचकों की टीम को नियुक्त किए।

अध्ययन इस निष्कर्ष पर पहुँचता है कि वीडियो जनरेशन के लिए अगला कदम केवल छवियों को सुंदर बनाना नहीं है, बल्कि ऐसे सिस्टम बनाना है जो कहानी के तर्क को समझते हों। वर्तमान पीढ़ी के मॉडल प्रत्येक शॉट को एक अलग घटना मानते हैं, जिससे वे उन संबंधों को चूक जाते हैं जो उन्हें एक आख्यान में बांधते हैं। शोधकर्ता सुझाव देते हैं कि भविष्य की प्रगति उन मॉडलों पर निर्भर करेगी जो समय के साथ भौतिक अवस्थाओं, भावनात्मक प्रक्षेपवक्रों और सिनेमाई संरचनाओं को ट्रैक कर सकें। इन क्षमताओं का परीक्षण करने का एक स्पष्ट, मापने योग्य तरीका प्रदान करके, पर्सोना शॉट इस क्षेत्र के लिए एक रोडमैप प्रदान करता है। यह बातचीत को "क्या AI वीडियो बना सकता है?" से बदलकर "क्या AI कहानी सुना सकता है?" पर ले जाता है। उत्तर, फिलहाल, यह है कि जबकि तकनीक तेजी से आगे बढ़ रही है, कई शॉट्स में एक सुसंगत, मानव-केंद्रित आख्यान बुनने की क्षमता एक महत्वपूर्ण चुनौती बनी हुई है। आगे का रास्ता व्यक्तिगत सुंदरता के क्षणों को उत्पन्न करने से हटकर निरंतर, तार्किक दुनिया का निर्माण करने की ओर बढ़ने की आवश्यकता है जहाँ पात्र और उनकी कहानियाँ निरंतरता और गहराई के साथ विकसित होती हैं।