NarrLV: Towards a Comprehensive Narrative-Centric Evaluation for Long Video Generation

यहाँ शोध पत्र "NARRLV: TOWARDS A COMPREHENSIVE NARRATIVE-CENTRIC EVALUATION FOR LONG VIDEO GENERATION" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि फाउंडेशन वीडियो जनरेशन मॉडलों ने महत्वपूर्ण प्रगति की है, लेकिन लंबे वीडियो जनरेशन (long video generation) में अभी भी एक गंभीर चुनौती बनी हुई है। मौजूदा मॉडल अक्सर केवल वीडियो की अवधि बढ़ाने पर ध्यान केंद्रित करते हैं, न कि समय के साथ समृद्ध नैरेटिव सामग्री (rich narrative content) को सटीक रूप से संप्रेषित करने पर।

• मूल्यांकन अंतराल (Evaluation Gap): वर्तमान बेंचमार्क (जैसे, VBench, TC-Bench) सरल प्रॉम्प्ट्स पर निर्भर करते हैं जिनमें नैरेटिव तत्व कम होते हैं, जिससे वे जटिल और विकसित होती कहानियों को संभालने की मॉडल की क्षमता का परीक्षण करने में विफल रहते हैं। वे अक्सर ऐसे मेट्रिक्स (FID, FVD) का उपयोग करते हैं जिनका नैरेटिव गुणवत्ता के प्रति मानवीय धारणा के साथ सहसंबंध बहुत कम होता है।
• आवश्यकता: लंबे वीडियो जनरेशन मॉडलों की नैरेटिव अभिव्यक्ति क्षमताओं (narrative expression capabilities) का मूल्यांकन करने के लिए विशेष रूप से डिज़ाइन किए गए एक मानकीकृत बेंचमार्क की कमी है, विशेष रूप से इस संबंध में कि वे कई नैरेटिव इकाइयों (narrative units) के माध्यम से निरंतरता और समृद्धि को कितनी अच्छी तरह बनाए रखते हैं।

2. कार्यप्रणाली: NarrLV फ्रेमवर्क (Methodology: The NarrLV Framework)

लेखक फिल्म नैरेटिव थ्योरी से प्रेरित होकर NarrLV का प्रस्ताव करते हैं। यह फ्रेमवर्क तीन मुख्य घटकों से बना है:

A. सैद्धांतिक आधार: टेम्पोरल नैरेटिव एटम (Temporal Narrative Atom - TNA)

• परिभाषा: शोध पत्र में टेम्पोरल नैरेटिव एटम (TNA) को नैरेटिव सामग्री की सबसे छोटी इकाई के रूप में पेश किया गया है जो निरंतर दृश्य प्रस्तुति बनाए रखती है।
• परिमाणीकरण (Quantification): नैरेटिव की समृद्धि को TNAs की संख्या द्वारा मापा जाता है। एक प्रॉम्प्ट जिसमें एक निरंतर क्रिया है उसमें 1 TNA है; एक प्रॉम्प्ट जिसमें अलग-अलग क्रियाओं या अवस्था परिवर्तनों का क्रम है, उसमें कई TNAs होते हैं।
• TNA परिवर्तन के चालक: फिल्म नैरेटोलॉजी (6D सिद्धांतों) के आधार पर, लेखक तीन कारकों की पहचान करते हैं जो TNA की संख्या बढ़ाते हैं:
  1. सीन एट्रिब्यूट्स ($s_{att}$): वातावरण में परिवर्तन (जैसे, दिन से रात)।
  2. ऑब्जेक्ट एट्रिब्यूट्स ($t_{att}$): वस्तुओं के गुणों में परिवर्तन (जैसे, रंग बदलना)।
  3. ऑब्जेक्ट एक्शन्स ($t_{act}$): वस्तुएं क्या कर रही हैं इसमें परिवर्तन (जैसे, चलना $\to$ दौड़ना)।

B. विस्तार योग्य TNA-संचालित प्रॉम्प्ट सूट (Extensible TNA-Driven Prompt Suite)

स्थिर प्रॉम्प्ट्स की सीमाओं को दूर करने के लिए, NarrLV एक स्वचालित प्रॉम्प्ट जनरेशन पाइपलाइन का उपयोग करता है:

• डेटा स्रोत: व्यापक सीन-ऑब्जेक्ट पेयर सेट (Scene-Object Pair Set) बनाने के लिए VideoUFO और DropletVideo जैसे डेटासेट्स से 200k टेक्स्ट प्रॉम्प्ट्स को एकत्रित करता है।
• जनरेशन प्रक्रिया: लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करके, सिस्टम सीन-ऑब्जेक्ट पेयर्स को सैंपल करता है और विशिष्ट TNA परिवर्तन कारकों को लागू करता है ताकि लचीले रूप से विस्तार योग्य संख्या में TNAs वाले प्रॉम्प्ट्स उत्पन्न किए जा सकें (जिसे $N=6$ तक टेस्ट किया गया है)।
• पैमाना (Scale): अंतिम सूट में 14 प्रमुख सीन श्रेणियों, 3 चेंज फैक्टर्स और विभिन्न TNA काउंट्स (1–6) को कवर करने वाले 360 मूल्यांकन प्रॉम्प्ट्स शामिल हैं।

C. प्रोग्रेसिव नैरेटिव-एक्सप्रेसिव इवैल्यूएशन मेट्रिक (Progressive Narrative-Expressive Evaluation Metric)

एक एकल स्कोर के बजाय, NarrLV तीन प्रगतिशील आयामों में वीडियो का मूल्यांकन करने के लिए एक मल्टी-मोडल लार्ज लैंग्वेज मॉडल (MLLM) आधारित प्रश्न निर्माण और उत्तर (QA) फ्रेमवर्क का उपयोग करता है:

1. नैरेटिव एलिमेंट फिडेलिटी ($R_{fid}$): क्या वीडियो प्रॉम्प्ट में वर्णित बुनियादी तत्वों (सीन प्रकार, ऑब्जेक्ट्स, प्रारंभिक लेआउट) को सही ढंग से उत्पन्न करता है?
2. नैरेटिव यूनिट कवरेज ($R_{cov}$): क्या वीडियो में प्रॉम्प्ट में वर्णित सभी विशिष्ट नैरेटिव इकाइयाँ (TNAs) मौजूद हैं?
3. नैरेटिव यूनिट कोहेरेंस ($R_{coh}$): क्या आस-पास के TNAs के बीच संक्रमण (transitions) समय के साथ तार्किक और सुचारू रूप से होते हैं?

• कार्यान्वयन: प्रत्येक प्रॉम्प्ट के लिए, सिस्टम MLLM के लिए विशिष्ट बाइनरी प्रश्न उत्पन्न करता है। अनिश्चितता को संभालने के लिए, MLLM प्रत्येक प्रश्न का 5 बार उत्तर देता है, और सकारात्मक उत्तरों के अनुपात का उपयोग स्कोर के रूप में किया जाता है।

3. मुख्य योगदान (Key Contributions)

1. नया बेंचमार्क (NarrLV): लंबे वीडियो जनरेशन मॉडलों की नैरेटिव अभिव्यक्ति क्षमताओं का व्यापक मूल्यांकन करने के लिए समर्पित पहला बेंचमार्क, जो केवल अवधि विस्तार से आगे बढ़ता है।
2. TNA अवधारणा और पाइपलाइन: "टेम्पोरल नैरेटिव एटम" की शुरुआत और एक स्वचालित पाइपलाइन जो नियंत्रित नैरेटिव जटिलता (लचीले TNA काउंट्स) वाले प्रॉम्प्ट्स उत्पन्न करती है।
3. प्रोग्रेसिव मेट्रिक: फिल्म थ्योरी पर आधारित एक तीन-आयामी मूल्यांकन मेट्रिक ($R_{fid}, R_{cov}, R_{coh}$) जो MLLM-आधारित QA के माध्यम से कार्यान्वित है, और जो मानवीय निर्णय के साथ उच्च संरेखण (alignment) दिखाता है।
4. व्यापक मूल्यांकन: दोनों फाउंडेशन मॉडल्स (जैसे, Wan, HunyuanVideo) और विशेष लॉन्ग-वीडियो मॉडल्स (जैसे, FreeNoise, RIFLEx) का विस्तृत परीक्षण।

4. प्रयोगात्मक परिणाम और मुख्य निष्कर्ष (Experimental Results & Key Findings)

लेखकों ने NarrLV बेंचमार्क का उपयोग करके 11 मॉडल्स (5 फाउंडेशन, 6 लॉन्ग-वीडियो एक्सटेंशन) का मूल्यांकन किया।

• नैरेटिव जटिलता बनाम प्रदर्शन: जैसे-जैसे TNAs की संख्या बढ़ती है, नैरेटिव यूनिट कवरेज ($R_{cov}$) और कोहेरेंस ($R_{coh}$) काफी गिर जाते हैं, जबकि एलिमेंट फिडेलिटी ($R_{fid}$) अपेक्षाकृत स्थिर रहती है। यह इंगित करता है कि मॉडल बुनियादी तत्व तो उत्पन्न कर सकते हैं लेकिन विकसित होते नैरेटिव बनाने में संघर्ष करते हैं।
• सीमित क्षमता: वर्तमान मॉडल केवल बहुत सीमित संख्या में नैरेटिव इकाइयों (आमतौर पर $\le 2$ TNAs) को प्रभावी ढंग से व्यक्त कर सकते हैं। जैसे-जैसे प्रॉम्प्ट की जटिलता बढ़ती है, "प्रभावी अभिव्यक्ति गणना" ($N_{exp}$) तेजी से स्थिर (plateau) हो जाती है।
• फाउंडेशन मॉडल निर्भरता: एक ही फाउंडेशन मॉडल (VideoCraft) से प्राप्त लॉन्ग वीडियो जनरेशन मॉडल (जैसे, FreeNoise, FreeLong) समान नैरेटिव क्षमताएं दिखाते हैं। हालांकि वे यूनिट कवरेज में बेस मॉडल से बेहतर प्रदर्शन करते हैं, लेकिन उनकी सीमा काफी हद तक फाउंडेशन मॉडल द्वारा निर्धारित होती है।
• फैक्टर सेंसिटिविटी: मॉडल बुनियादी तत्व जनरेशन के लिए ऑब्जेक्ट एक्शन्स पर सबसे अच्छा प्रदर्शन करते हैं, लेकिन कई क्रियाओं के बीच सुसंगत संक्रमण बनाए रखने के मामले में ऑब्जेक्ट एक्शन्स के साथ सबसे अधिक संघर्ष करते हैं।
• मानवीय संरेखण (Human Alignment): प्रस्तावित मेट्रिक VBench-2.0 और StoryEval जैसे मौजूदा बेंचमार्क की तुलना में मानवीय प्राथमिकताओं के साथ काफी बेहतर संरेखण (~0.80 का Consist-3/3 समझौता) दिखाता है।

5. महत्व (Significance)

• मानकीकरण: NarrLV लंबे वीडियो जनरेशन के लिए एक मानकीकृत, नैरेटिव-केंद्रित मूल्यांकन प्रोटोकॉल प्रदान करके इस क्षेत्र में एक महत्वपूर्ण अंतर को भरता है।
• डायग्नोस्टिक टूल: यह बेंचमार्क विशिष्ट विफलता मोड (जैसे, मल्टी-स्टेप नैरेटिव में कोहेरेंस की हानि) को प्रकट करता है, जो भविष्य के अनुसंधान को बेहतर टेम्पोरल मॉडलिंग और लॉन्ग-रेंज डिपेंडेंसी हैंडलिंग की ओर निर्देशित करता है।
• विश्वसनीयता: MLLMs का उपयोग करके सूक्ष्म-स्तरीय स्वचालन के माध्यम से, यह महंगे और व्यक्तिपरक मानवीय एनोटेशन के लिए एक स्केलेबल विकल्प प्रदान करता है, जबकि मानवीय निर्णय के साथ उच्च सहसंबंध बनाए रखता है।
• भविष्य की दिशा: परिणाम बताते हैं कि केवल वीडियो की अवधि बढ़ाना पर्याप्त नहीं है; भविष्य के मॉडलों को वास्तव में लंबे, कहानी-संचालित वीडियो उत्पन्न करने के लिए नैरेटिव रीजनिंग और टेम्पोरल कंसिस्टेंसी पर ध्यान केंद्रित करना चाहिए।