💬 NLP

Lacuna Inc. at SemEval-2026 Task 4: Structurally Gated State-Space Models for Disentangling Narrative Similarity

यह शोध पत्र इनवेरिएंट-वेरिएंट डिसेंटैंगल्ड स्टेट-स्पेस मॉडल (IVD-SSM) को प्रस्तुत करता है, जो SemEval-2026 टास्क 4 के लिए बेहतर कहानी समानता मूल्यांकन हेतु अमूर्त कथा संरचनाओं को सतही शाब्दिक विवरणों से प्रभावी ढंग से अलग करने के लिए एक हाइब्रिड स्टेट-स्पेस बैकबोन को एक नवीन स्ट्रक्चरली गेटेड एलाइनमेंट हेड के साथ जोड़ता है।

मूल लेखक: Aleksey Kudelya, Rafif Alshawi, Alexander Shirnin

प्रकाशित 2026-07-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aleksey Kudelya, Rafif Alshawi, Alexander Shirnin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।

बड़ी समस्या: "वही शब्द, अलग कहानी"

कल्पte हैं कि आप यह तय करने की कोशिश कर रहे हैं कि क्या दो कहानियाँ मूल रूप से एक ही कथानक (plot) हैं, जिन्हें बस अलग-अलग पात्रों के साथ बताया गया है।

कहानी A: एक डराया-धमकाया गया बच्चा बदला लेने और लोकप्रिय होने के लिए एक "ज़ोंबी वायरस" का उपयोग करता है।
कहानी B: एक वैज्ञानिक गलती से लैब में एक "ज़ोंबी वायरस" छोड़ देता है, और हर कोई चिल्लाते हुए इधर-उधर भागता है।

एक मानक कंप्यूटर प्रोग्राम इन दोनों को देख सकता है और कह सकता है, "ये 90% समान हैं!" क्योंकि दोनों में "ज़ोंबी" शब्द है। लेकिन एक इंसान जानता है कि ये बिल्कुल अलग कहानियाँ हैं। एक कहानी बदले और सामाजिक उत्थान के बारे में है; दूसरी एक उत्तरजीविता हॉरर आपदा (survival horror disaster) के बारे में है।

लेखकों को जिस चुनौती का सामना करना पड़ा (SemEval-2026 Task 4), वह एक ऐसा कंप्यूटर बनाना था जो "ज़ोंबी" कीवर्ड को अनदेखा करे और इसके बजाय कारण-और-प्रभाव की श्रृंखला (cause-and-effect chain) पर ध्यान दे: किसने क्या किया, और क्यों?

समाधान: "कंकाल बनाम त्वचा" (Skeleton vs. Skin) दृष्टिकोण

HSE यूनिवर्सिटी की टीम ने IVD-SSM नामक एक सिस्टम बनाया। इस सिस्टम को एक जासूस के रूप में समझें जो एक कहानी को दो परतों में विभाजित करता है:

कंकाल (Skeleton - अपरिवर्तनीय): मूल संरचना। घटनाओं का क्रम (जैसे, "बाहर किया गया व्यक्ति" $\rightarrow$ "कठोर कदम उठाना" $\rightarrow$ "स्थिति बदलना")। नाम बदलने पर भी यह कभी नहीं बदलता।
त्वचा (Skin - परिवर्तनशील): सतही विवरण। नाम, विशिष्ट वस्तुएं, परिवेश और शैली के लक्षण (जैसे "ज़ोंबी," "अंतरिक्ष यान," या "महल")।

उनका लक्ष्य कंप्यूटर को पूरी तरह से कंकाल पर ध्यान केंद्रित करने और त्वचा को अनदेखा करने के लिए बनाना था।

यह कैसे काम करता है: "बड़ी तस्वीर" और "सूक्ष्मदर्शी"

यह सिस्टम एक विशेष प्रकार के AI इंजन का उपयोग करता है (जो Jamba नामक मॉडल पर आधारित है), जो लंबी टेक्स्ट को बिना थके या शुरुआत को भूले पढ़े में माहिर है। लेकिन असली जादू एक नए हिस्से में होता है जिसे उन्होंने स्ट्रक्चरली गेटेड अलाइनमेंट (SGA) हेड कहा है।

कल्पना करें कि SGA हेड के पास मिलकर काम करने वाली दो जोड़ी आँखें हैं:

"मैक्रो" आँख (वाइड-एंगल लेंस):
- यह आँख कहानी को दूर से देखती है। यह विवरणों को छोड़ देती है और केवल बड़े मील के पत्थरों को देखती है: शुरुआत, संघर्ष, चरमोत्कर्ष (climax), समाधान।
- यह कहानी के आकार का एक मोटा नक्शा तैयार करती है। इसे इस बात की परवाह नहीं है कि नायक का नाम "जॉन" है या "जेन", या हथियार "बंदूक" है या "लेज़र"। यह बस कथानक के आकार को देखती है।
"माइक्रो" आँख (सूक्ष्मदर्शी):
- यह आँख हर एक शब्द पर ज़ूम करती है। यह नोटिस करती है कि दोनों कहानियों में "ज़ोंबी" का उल्लेख है।
- खतरा: यदि कंप्यूटर केवल इस आँख का उपयोग करता, तो वह "ज़ोंबी" शब्द से धोखा खा जाता और सोचता कि कहानियाँ समान हैं।
"गेटकीपर" (गेटिंग मैकेनिज्म):
- यह सबसे महत्वपूर्ण हिस्सा है। मैक्रो आँख एक बाउंसर या गेटकीपर के रूप में कार्य करती है।
- यह पहले मोटे नक्शे को देखती है। यदि मैक्रो आँख कहती है, "हे, इन दोनों कहानियों का आकार पूरी तरह से अलग है," तो वह माइक्रो आँख पर गेट बंद कर देती है।
- भले ही माइक्रो आँख चिल्लाकर कहे, "लेकिन दोनों में ज़ोंबी हैं!", गेटकीपर कहता है, "मुझे परवाह नहीं है। कथानक की संरचना मेल नहीं खाती, इसलिए 'ज़ोंबी' शब्द को अनदेखा करें।"
- गेटकीपर माइक्रो आँख के विवरणों को तभी गुजरने देता है जब बड़ी तस्वीर वाली संरचनाएँ वास्तव में मेल खाती हों।

उन्होंने क्या पाया

टीम ने अपने सिस्टम का परीक्षण अन्य मानक AI मॉडलों और यहाँ तक कि एक बहुत ही स्मार्ट, प्री-ट्रेंड AI (GPT-4o-mini) के विरुद्ध किया।

मानक मॉडल: "ज़ोंबी" शब्दों से धोखा खा गए और कथानक के अंतर को देखने में विफल रहे।
उनका सिस्टम (IVD-SSM): इसने भटकाने वाले शब्दों को सफलतापूर्वक अनदेखा किया और सही ढंग से पहचाना कि "बदले" वाली कहानी और "उत्तरजीविता" वाली कहानी अलग थीं, जबकि उस कहानी को चुना जो वास्तव में एक ही "बाहर किए गए व्यक्ति द्वारा कार्रवाई करने" की संरचना साझा करती थी।
परिणाम: उनका सिस्टम रैंडम अनुमान लगाने और साधारण शब्द-मिलान से बेहतर था, जिससे यह सिद्ध हुआ कि आप कंप्यूटर को सतही विवरणों से परे देखकर वास्तविक कहानी की संरचना खोजने के लिए सिखा सकते हैं।

कमी (सीमाएँ)

लेखक ईमानदार हैं कि उनका सिस्टम अभी कहाँ पूर्ण नहीं है:

गेट एक दीवार नहीं है: गेट "सॉफ्ट" (कोमल) है। यदि गलत कहानी में बहुत अधिक मेल खाने वाले विशिष्ट शब्द (जैसे कोई बहुत विशिष्ट नाम या दुर्लभ वस्तु) हैं, तो उस "शोर" का एक छोटा सा हिस्सा अभी भी गेट से लीक होकर सिस्टम को भ्रमित कर सकता है।
मेमोरी संबंधी समस्याएँ: हालांकि मुख्य इंजन कुशल है, लेकिन हर शब्द की हर शब्द से तुलना करने का अंतिम चरण (विवरणों की जाँच करने के लिए) अभी भी कंप्यूटर मेमोरी पर भारी पड़ता है। यह छोटे सारांशों के लिए ठीक काम करता है लेकिन पूरी लंबाई के उपन्यासों के लिए संघर्ष कर सकता है।
प्रशिक्षण डेटा: उन्हें अपने सिस्टम को मुख्य रूप से अन्य कंप्यूटरों द्वारा उत्पन्न कहानियों पर प्रशिक्षित करना पड़ा क्योंकि मानव-लिखित उदाहरणों की कमी थी। इसका मतलब है कि सिस्टम मानक कहानी पैटर्न को पहचानने में बहुत अच्छा है, लेकिन बहुत अजीब, प्रयोगात्मक या गैर-रेखीय (non-linear) मानवीय कहानियों से भ्रमित हो सकता है।

संक्षेप में

यह शोध पत्र कंप्यूटर को कहानियाँ समझने का एक नया तरीका प्रस्तुत करता है। केवल यह गिनने के बजाय कि दो कहानियाँ कितने शब्द साझा करती हैं, उन्होंने एक ऐसा सिस्टम बनाया जो पहले यह जाँचता है कि कथानक का कंकाल मेल खाता है या नहीं। केवल तभी जब कंकाल मेल खाते हैं, वह विवरणों को अंतिम निर्णय को प्रभावित करने की अनुमति देता है। यह कंप्यूटर को साझा कीवर्ड जैसी सतही समानताओं से धोखा खाने से रोकता है।

तकनीकी सारांश: नैरेटिव समानता के लिए IVD-SSM

समस्या की परिभाषा
यह शोध पत्र नैरेटिव समानता (narrative similarity) के मूल्यांकन की कम्प्यूटेशनल चुनौती को संबोधित करता है, जिसे SemEval-2026 टास्क 4 द्वारा एक ऐसे कार्य के रूप में परिभाषित किया गया है जहाँ कथानक के "गहरे ढांचे" (कारणता और प्रगति के अमूर्त पैटर्न) को उसके सतही स्तर के प्रकटीकरण (विशिष्ट नाम, परिवेश और वस्तुएं) से अलग करना होता है। मानक ट्रांसफॉर्मर आर्किटेक्चर अक्सर इसमें विफल रहते हैं क्योंकि उनमें लेक्सिकल (शब्दकोश संबंधी) और सिमेंटिक (अर्थ संबंधी) ओवरलैप के प्रति एक पूर्वाग्रह होता है, जिससे "भ्रामक सहसंबंध" (spurious correlations) उत्पन्न होते हैं जहाँ समान शैली-विशिष्ट शब्दावली (जैसे, "ज़ोंबी") वाले कथानकों को मौलिक रूप से भिन्न कारण श्रृंखलाओं के बावजूद समान मान लिया जाता है। इसके अलावा, मानक ट्रांसफॉर्मर विस्तारित आख्यानों में निहित दीर्घ-दूरी की निर्भरताओं (long-range dependencies) को संसाधित करते समय द्विघात मेमोरी और कम्प्यूटेशनल बाधाओं ( $O(N^2)$ ) का सामना करते हैं।

कार्यप्रणाली: IVD-SSM
लेखक इन्वेरिएंट-वैरिएंट डिसेंटैंगल्ड स्टेट-स्पेस मॉडल (IVD-SSM) का प्रस्ताव करते हैं, जो एक हाइब्रिड आर्किटेक्चर है जिसे इनवेरिएंट प्लॉट संरचनाओं को वैरिएंट सिमेंटिक विवरणों से स्पष्ट रूप से अलग करने के लिए डिज़ाइन किया गया है। यह प्रणाली दो प्राथमिक घटकों से बनी है:

बैकबोन एनकोडर (Jamba-1.5-Mini):
- सिस्टम एक Jamba-1.5-Mini मॉडल का उपयोग करता है, जो मंबा (स्टेट-स्पेस मॉडल) परतों को ट्रांसफॉर्मर अटेंशन के साथ संयोजित करने वाला एक हाइब्रिड आर्किटेक्चर है।
- मंबा परतों को अनुक्रम इतिहास को एक गतिशील रूप से अपडेट होने वाली हिडन स्टेट में संपीड़ित करने की क्षमता के लिए चुना गया है, जिसकी समय जटिलता रैखिक ( $O(N)$ ) है, जो की-वैल्यू कैश के मेमोरी ओवरहेड के बिना दीर्घ-दूरी की कारण श्रृंखलाओं को पकड़ने के लिए आदर्श है।
- कम्प्यूटेशनल बाधाओं के तहत 12-बिलियन पैरामीटर मॉडल को अनुकूलित करने के लिए, बैकबोन को 4-bit NormalFloat (NF4) क्वांटाइजेशन में लोड किया गया है। लेखक केवल प्रोजेक्शन और एम्बेडिंग मॉड्यूल को लक्षित करते हुए QLoRA (पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग) का उपयोग करते हैं, जबकि प्री-ट्रेंड वर्ल्ड नॉलेज को बनाए रखने के लिए शेष नेटवर्क को फ्रीज रखते हैं।
स्ट्रक्चरली गेटेड एलाइनमेंट (SGA) हेड:
- यह मुख्य नवीन योगदान है, जो स्मिथ-वाटरमैन एल्गोरिदम से प्रेरित एक डिफरेंशिएबल ड्यूल-स्केल एलाइनमेंट मैकेनिज्म है। यह एक एंकर नैरेटिव और एक कैंडिडेट नैरेटिव को दो समानांतर पथों के माध्यम से प्रोसेस करता है:
  - मैक्रो-पाथ (इनवेरिएंट स्ट्रक्चर): इनपुट अनुक्रमों को मोटे संरचनात्मक कंकाल (जैसे, परिचय, संघर्ष, समाधान) को पकड़ने के लिए भारी रूप से डाउनसैंपल (स्ट्राइड $k=4$ ) किया जाता है। यह पथ विशिष्ट टोकन-स्तरीय संस्थाओं के प्रति अंधा है।
  - माइक्रो-पाथ (वैरिएंट डिटेल्स): सूक्ष्म, एंटिटी-लेवल मिलान (जैसे, विशिष्ट पात्रों के नाम या वस्तुएं) को पकड़ने के लिए पूर्ण-रिज़ॉल्यूशन अनुक्रमों को प्रोसेस किया जाता है।
- गेटिंग मैकेनिज्म: मैक्रो-पाथ एक स्ट्रक्चरल सिमिलरिटी मैट्रिक्स ( $M_{macro}$ ) उत्पन्न करता है, जिसे एक टेम्परेचर-स्केलड सिग्मॉइड एक्टिवेशन के माध्यम से अपसैंपल किया जाता है ताकि एक सॉफ्ट स्ट्रक्चरल मास्क ( $G$ ) बनाया जा सके। यह मास्क माइक्रो-पाथ सिमिलरिटी मैट्रिक्स ( $M_{micro}$ ) को एलिमेंट-वाइज मल्टीप्लिकेशन ( $M_{filtered} = M_{micro} \odot G$ ) के माध्यम से गेट करता है।
- यह तंत्र सक्रिय रूप से सिमेंटिक शोर और सतही कीवर्ड ओवरलैप को दबा देता है, यह सुनिश्चित करता है कि उच्च समानता स्कोर केवल तभी दिए जाएं जब सूक्ष्म विवरण संरचनात्मक रूप से वैध क्षेत्रों के भीतर संरेखित हों।

प्रशिक्षण और मूल्यांकन

डेटा: सीमित मानव-एनोटेटेड डेटा (200 डेवलपमेंट, 400 टेस्ट ट्रिपल्स) के कारण, मॉडल को विशेष रूप से टास्क आयोजकों द्वारा प्रदान किए गए 1,900 सिंथेटिक स्टोरी ट्रिपल्स पर प्रशिक्षित किया गया था, जिसे वैलिडेशन के लिए मानव-एनोटेटेड सेट के साथ बढ़ाया गया।
ट्रैक A (पेयरवाइज क्लासिफिकेशन): मॉडल यह निर्धारित करने के लिए एक कंट्रास्टिव ऑब्जेक्टिव का उपयोग करता है कि दो उम्मीदवारों में से कौन सा एंकर के संरचनात्मक रूप से अधिक करीब है।
ट्रैक B (रिप्रेजेंटेशन लर्निंग): मॉडल प्रोजेक्टेड बैकबोन आउटपुट्स के मीन-पूलिंग के माध्यम से डेंस वेक्टर एम्बेडिंग्स जेनरेट करता है, जिसके बाद कोसाइन डिस्टेंस तुलना को सुगम बनाने के लिए सख्त L2 नॉर्मलाइजेशन किया जाता है।

प्रमुख परिणाम

ट्रैक A (पेयरवाइज क्लासिफिकेशन): IVD-SSM (गेटेड) ने 57.25% सटीकता प्राप्त की, जिसने रैंडम बेसलाइन (50.00%) और लेक्सिकल जैकार्ड सिमिलरिटी बेसलाइन (56.25%) को पीछे छोड़ दिया। हालांकि, यह ज़ीरो-शॉट GPT-4o-mini प्रॉम्प्ट (67.00%) से पीछे रह गया।
ट्रैक B (एम्बेडिंग सिमिलरिटी): मॉडल ने 54.50% सटीकता प्राप्त की, जो all-MiniLM-L6-v2 सेंटेंस एनकोडर (58.50%) और story-emb (63.25%) से कम रही।
एब्लेशन स्टडीज:
- केवल माइक्रो-पाथ (55.75%) जैकार्ड बेसलाइन से कम प्रदर्शन कर गया, जो पुष्टि करता है कि स्ट्रक्चरल फिल्टरिंग के बिना सूक्ष्म टोकन समानता लेक्सिकल डिस्ट्रैक्टर्स के प्रति संवेदनशील है।
- केवल मैक्रो-पाथ (57.00%) ने जैकार्ड से काफी बेहतर प्रदर्शन किया, जो यह दर्शाता है कि मोटा संरचनात्मक कंकाल नैरेटिव इक्विवेलेंस के लिए अधिकांश सिग्नल ले जाता है।
- गेटिंग मैकेनिज्म ने मैक्रो-ओनली वेरिएंट की तुलना में मामूली लेकिन निरंतर सुधार (+0.25%) प्रदान किया, जो अवशिष्ट सिमेंटिक शोर को फ़िल्टर करने में इसकी भूमिका को प्रमाणित करता है।

महत्व और दावे
लेखक का दावा है कि कम्प्यूटेशनल नैरेटिव मूल्यांकन में प्राथमिक बाधा इनवेरिएंट प्लॉट स्ट्रक्चर और वैरिएंट सिमेंटिक डिटेल्स का मिश्रण है। लेखक तर्क देते हैं कि उनके परिणाम दर्शाते हैं कि नैरेटिव समानता को "बैग-ऑफ-वर्ड्स" या जेनेरिक सेंटेंस एम्बेडिंग्स के माध्यम से विश्वसनीय रूप से नहीं मापा जा सकता है। इसके बजाय, इसके लिए ऐसे आर्किटेक्चर की आवश्यकता है जो स्पष्ट रूप से क्रिया के क्रमिक प्रवाह (sequential course of action) को मॉडल करते हों।

इस कार्य का महत्व इनवेरिएंट स्ट्रक्चरल तत्वों को लेक्सिकल वैरिएंट्स से अलग करने की IVD-SSM की क्षमता में निहित है, जो गहरे नैरेटिव अंडरस्टैंडिंग के लिए एक सिद्धांतपूर्ण ढांचा प्रदान करता है। लेखक नोट करते हैं कि हालांकि उनका दृष्टिकोण अभी तक बड़े ज़ीरो-शॉट LLMs के प्रदर्शन से मेल नहीं खाता है (जो संभवतः नैरेटिव स्ट्रक्चर और निहित तर्क क्षमताओं पर उनके व्यापक प्री-ट्रेनिंग के कारण है), SGA आर्किटेक्चर सफलतापूर्वक उन "भ्रामक सहसंबंधों" को कम करता है जो मानक मॉडलों को कठिन नेगेटिव सैंपल्स पर विफल होने के लिए मजबूर करते हैं।

सीमाएं
लेखक ने कई सीमाओं को स्वीकार किया है:

सॉफ्ट गेटिंग: सिग्मॉइड-आधारित गेट निरंतर (continuous) है और कभी शून्य तक नहीं पहुँचता है, जिससे कुछ "लीकेज" की अनुमति मिलती है जहाँ मजबूत लेक्सिकल डिस्ट्रैक्टर्स (जैसे, समान नामित संस्थाएं) संरचनात्मक मिसअलाइनमेंट को ओवरराइड कर सकते हैं।
कम्प्यूटेशनल कॉम्प्लेक्सिटी: हालांकि बैकबोन रैखिक है, लेकिन SGA हेड फुल क्रॉस-सीक्वेंस सिमिलरिटी मैट्रिसेस को कंप्यूट करने के दौरान एक द्विघात ( $O(L_a \times L_c)$ ) बाधा को फिर से पेश करता है, जो स्पार्स एलाइनमेंट संशोधनों के बिना पूर्ण-लंबाई के उपन्यासों या पटकथाओं तक स्केल नहीं हो सकता है।
डेटा बायस: मॉडल मुख्य रूप से LLMs द्वारा जेनरेट किए गए सिंथेटिक डेटा पर प्रशिक्षित किया गया था, जिससे संभावित रूप से प्रेडिक्टेबल नैरेटिव पेसिंग और मानक आर्कटाइप्स पर ओवरफिटिंग हुई है, जिससे वेंगार्ड या नॉन-लीनियर ह्यूमन-ऑथर्ड नैरेटिव्स पर इसके प्रदर्शन का पता लगाना अनएक्सप्लोर्ड रहा है।