LogiStory: A Logic-Aware Framework for Multi-Image Story Visualization

यहाँ ICLR 2026 में प्रकाशित शोध पत्र "LogiStory: A Logic-Aware Framework for Multi-Image Story Visualization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा

यह शोध पत्र बहु-छवि कहानी दृश्यीकरण (multi-image story visualization) में एक महत्वपूर्ण चुनौती को संबोधित करता है: छवियों का एक ऐसा अनुक्रम उत्पन्न करना जो न केवल उच्च दृश्य निष्ठा (visual fidelity) रखता हो, बल्कि तार्किक सुसंगतता (logical coherence) और कथात्मक कार्य-कारण संबंध (narrative causality) भी बनाए रखता हो।

• वर्तमान सीमाएँ: मौजूदा मल्टीमॉडल मॉडल (डिफ्यूजन मॉडल और LLM-संचालित एजेंटों सहित) अक्सर विखंडित अनुक्रम उत्पन्न करते हैं जहाँ पात्रों का स्वरूप बदल जाता है, क्रियाओं में कारण संबंधी जुड़ाव की कमी होती है, या कहानी खंडित हो जाती है। वे छवि निर्माण को एक निरंतर, कारण-संबंधी जुड़े हुए नैरेटिव के बजाय अलग-थलग घटनाओं के रूप में देखते हैं।
• अंतराल (The Gap): जबकि दृश्य गुणवत्ता और इकाई स्थिरता (entity consistency) में सुधार हुआ है, दृश्य तर्क (Visual Logic) की ओर ध्यान की कमी है, जिसे समय के साथ पात्रों, क्रियाओं और दृश्यों के बीच संवेदी और कारण संबंधी सुसंगतता के रूप में परिभाषित किया गया है। वर्तमान बेंचमार्क और मूल्यांकन मेट्रिक्स एकल-छवि गुणवत्ता या सतही स्तर की स्थिरता पर ध्यान केंद्रित करते हैं, यह आकलन करने में विफल रहते हैं कि क्या अनुक्रम एक तार्किक रूप से सुदृढ़ कहानी बताता है।

2. कार्यप्रणाली: LogiStory फ्रेमवर्क

लेखक LogiStory प्रस्तावित करते हैं, जो एक संरचित, बहु-चरणीय पाइपलाइन के माध्यम से दृश्य तर्क को स्पष्ट रूप से मॉडल करता है। यह प्रणाली इनपुट कहानी को एक तार्किक रूप से सुसंगत छवि अनुक्रम में बदलने के लिए दो मुख्य घटकों का उपयोग करती है:

A. लॉजिक-अवेयर मल्टी-एजेंट सिस्टम

यह प्रणाली पीढ़ी शुरू होने से पहले इनपुट कहानी को संरचित मध्यवर्ती निरूपणों में विभाजित करती है। इसमें तीन सहयोगी एजेंट शामिल हैं:

1. SceneCrafter: एक इकाई और संदर्भ परिभाषा एजेंट। यह अर्थपूर्ण संस्थाओं (पात्रों, वस्तुओं, दृश्यों) को विस्तृत दृश्य गुणों (रूप, पहनावा, बनावट) के साथ निकालता और परिभाषित करता है ताकि सभी पैनलों में एक सुसंगत "दृश्य ग्राउंडिंग शब्दावली" सुनिश्चित की जा सके।
2. LogicMiner: एक प्रमुख घटना निष्कर्षण एजेंट। यह कहानी में कारण संबंधी रूप से प्रासंगिक या अवस्था-परिवर्तित क्षणों की पहचान करता है, और उन्हें टुपल्स के रूप में प्रस्तुत करता है: (अभिनेता, क्रिया, लक्ष्य, परिणाम)। यह स्पष्ट कथा संकेतों और अंतर्निहित अवस्था संक्रमणों (जैसे, यह निष्कर्ष निकालना कि कंकड़ गिरने पर पानी का स्तर बढ़ जाता है) दोनों को कैप्चर करता है।
3. ShotPlanner: एक शॉट-स्तरीय योजना एजेंट। यह घटनाओं को पैनल विशिष्टताओं के एक अनुक्रम में व्यवस्थित करता है, जिसमें दृश्य कहानी कहने की परंपराओं (पेसिंग, फ्रेमिंग, कैमरा एंगल) को शामिल किया जाता है ताकि अनुक्रम दृश्य रूप से आकर्षक और कथात्मक रूप से लयबद्ध हो।

B. विजुअल लॉजिक एन्हांसमेंट मॉड्यूल

यह मॉड्यूल जनरेटेड छवियों को वास्तविक समय में सत्यापित और परिष्कृत करके अर्थपूर्ण योजना और दृश्य वास्तविकता के बीच के अंतर को पाटता है। यह दो-स्तरीय सत्यापन रणनीति का उपयोग करता है:

1. लोकल कॉज़ल मॉनिटर (Local Causal Monitor): यह एक मानव पाठक की रैखिक समझ का अनुकरण करता है। यह पिछली अवस्थाओं और क्रियाओं का एक मेमोरी बफर ($M_{t-1}$) बनाए रखता है और वर्तमान छवि ($I_t$) का कथात्मक संभाव्यता के लिए मूल्यांकन करता है। यह एक कॉज़ल प्लॉसिबिलिटी स्कोर ($\psi_t$) असाइन करता है। यदि स्कोर कम है, तो छवि को पुन: जनरेशन के लिए चिह्नित किया जाता है; यदि मध्यम है, तो यह परिशोधन (refinement) को ट्रिगर करता है।
2. ग्लोबल कॉज़ल वेरिफायर (Global Causal Verifier): यह निकाले गए प्रमुख घटनाओं के आधार पर एक निर्देशित कॉज़ल ग्राफ ($G_{causal}$) का निर्माण करता है। यह पूरी कहानी के दौरान सभी इंस्टेंस (पात्रों, वस्तुओं) की स्थिति को ट्रैक करता है। प्रत्येक उत्पन्न छवि के लिए, यह सत्यापित करता है कि दृश्यमान अवस्था परिवर्तन ग्राफ में अपेक्षित कारण संबंधों से मेल खाते हैं या नहीं। विसंगतियों को चिह्नित किया जाता है और लक्षित सुधार के लिए इमेज एडिटिंग टूल्स (जैसे, इनपेंटिंग मॉडल) को भेजा जाता है।

परिशोधन तर्क (Refinement Logic): सिस्टम लॉजिक कॉन्फिडेंस स्कोर पर थ्रेसहोल्ड ($\tau_1, \tau_2$) का उपयोग करके निर्णय लेता है:

• $\psi < \tau_1$: छवि को पुन: जनरेट करें।
• $\tau_1 \le \psi < \tau_2$: ग्लोबल वेरिफायर को कॉल करें और छवि को एडिट करें।
• $\psi \ge \tau_2$: छवि को स्वीकार करें।

3. मुख्य योगदान

1. विजुअल लॉजिक की परिभाषा: यह पेपर "विजुअल लॉजिक" को जनरेटिव मॉडलिंग के एक महत्वपूर्ण आयाम के रूप में औपचारिक रूप से पेश करता है, जो इसे केवल दृश्य निरंतरता से अलग करता है। यह दृश्य अनुक्रमों में कारण संबंधी सुदृढ़ता और अर्थपूर्ण संभाव्यता की आवश्यकता पर जोर देता है।
2. LogiStory फ्रेमवर्क: एक नवीन आर्किटेक्चर जो कहानी दृश्यीकरण को एक लॉजिक-अवेयर रीजनिंग समस्या के रूप में पुनर्गठित करता है। यह कथात्मक सुसंगतता को लागू करने के लिए संरचित मल्टी-एजेंट प्लानिंग को दो-स्तरीय (लोकल/ग्लोबल) कॉज़ल वेरिफिकेशन सिस्टम के साथ एकीकृत करता है।
3. LogicTale बेंचमार्क: लेखकों ने 60 सावधानीपूर्वक एनोटेट की गई कहानियों (क्लासिक और ओरिजिनल का मिश्रण) वाला एक नया बेंचमार्क डेटासेट बनाया।
   • एनोटेशन: इसमें कॉज़ल चेन, एक्शन-स्टेट फ्लो और कठिनाई स्तर शामिल हैं।
   • मूल्यांकन: यह मानक इमेज क्वालिटी मेट्रिक्स जैसे FID या CLIPScore से आगे बढ़कर विशेष रूप से इंस्टेंस कंसिस्टेंसी, नैरेटिव कॉजलिटी और स्टोरी रीडेबिलिटी के लिए नए मेट्रिक्स पेश करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने क्लोज्ड-सोर्स मॉडल्स (GPT-4o, Gemini 2.0, Nano Banana) और ओपन-सोर्स मेथड्स (StoryDiffusion, MM-StoryAgent, Flux) सहित अत्याधुनिक बेसलाइन्स के विरुद्ध Log-Story का मूल्यांकन किया।

• स्वचालित मूल्यांकन: Logically, LogiStory ने नैरेटिव कॉजलिटी (4.45), स्टोरी रीडेबिलिटी (0.8267), और कैरेक्टर एक्सप्रेसिवनेस (4.32) में उच्चतम स्कोर प्राप्त किया। इसने तार्किक प्रवाह बनाए रखने में बेसलाइन्स को काफी पीछे छोड़ दिया, हालांकि यह इंस्टेंस कंसिस्टेंसी में GPT-4o से थोड़ा पीछे रहा (GPT-4o की मजबूत इमेज एडिटिंग क्षमताओं के कारण)।
• मानवीय मूल्यांकन: 30 प्रतिभागियों के एक यूजर स्टडी ने स्वचालित परिणामों की पुष्टि की। Logically, LogiStory को इसकी तार्किक स्पष्टता और कथात्मक सुसंगतता के लिए पसंद किया गया। मानवीय रेटिंग और स्वचालित लॉजिक मेट्रिक्स के बीच एक मजबूत पियर्सन सहसंबंध (0.959–0.978) पाया गया।
• एब्लेशन स्टडीज (Ablation Studies):
  • मल्टी-एजेंट प्लानर को सीधे LLM प्रॉम्प्ट से बदलने पर कम लॉजिक स्कोर प्राप्त हुआ, जो संरचित अपघटन (decomposition) के मूल्य को सिद्ध करता है।
  • ग्लोबल कॉज़ल वेरिफायर को हटाने से नैरेटिव कॉजलिटी स्कोर में भारी गिरावट आई, जो दीर्घकालिक निरंतरता को लागू करने में इसकी भूमिका को उजागर करता है।
  • लोकल कॉज़ल मॉनिटर को हटाने से स्टोरी रीडेबिलिटी कम हो गई, जो चरण-दर-चरण सुसंगतता में इसके महत्व की पुष्टि करती है।
• जटिल मामले: फ्रेमवर्क ने फ्लैशबैक और सूक्ष्म भावनात्मक बदलावों वाली जटिल कथाओं को संभालने में मजबूती प्रदर्शित की, जहाँ बेसलाइन्स अक्सर पात्र की पहचान या कथानक की निरंतरता बनाए रखने में विफल रहे।

5. महत्व और प्रभाव

• मौलिक कदम: यह कार्य सामान्य इमेज सीक्वेंस और वीडियो जनरेशन कार्यों में विजुअल लॉजिक को मॉडल करने और लागू करने के लिए एक मौलिक दृष्टिकोण प्रदान करता है, जो क्षेत्र को "सुंदर चित्र बनाने" से "सुसंगत कहानियाँ बनाने" की ओर ले जाता है।
• प्लानिंग और जनरेशन के बीच सेतु: संरचित प्लानिंग (लॉजिक) को विजुअल सिंथेसिस से स्पष्ट रूप से अलग करके, LogiStory सिम्बोलिक रीजनिंग को न्यूरल जनरेशन के साथ एकीकृत करने का एक ब्लूप्रिंट प्रदान करता है।
• नया मूल्यांकन मानक: LogicTale और इसके संबंधित मेट्रिक्स का परिचय कहानी दृश्यीकरण के मूल्यांकन के लिए एक नया मानक स्थापित करता है, जिससे ध्यान पिक्सेल-लेवल फिडेलिटी से हटकर कथात्मक व्याख्यात्मकता और कारण संबंधी तर्क पर केंद्रित होता है।
• व्यापक प्रयोज्यता: विजुअल लॉजिक मॉडलिंग के सिद्धांत वीडियो जनरेशन, इंटरैक्टिव नैरेटिव सिस्टम और रोबोटिक्स में लागू किए जा सकते हैं, जहाँ समय के साथ तार्किक निरंतरता सर्वोपरि है।

संक्षेप में, LogiStory यह प्रदर्शित करता है कि मल्टी-एजेंट प्लानिंग और कॉज़ल वेरिफिकेशन के माध्यम से विजुअल लॉजिक को स्पष्ट रूप से मॉडल करना AI-जनरेटेड विजुअल स्टोरीज की गुणवत्ता और व्याख्यात्मकता को काफी बढ़ाता है, जो वर्तमान मल्टीमॉडल जनरेशन सिस्टम की एक बड़ी बाधा को दूर करता है।