Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives
यह शोधपत्र NCP-Bench प्रस्तुत करता है, जो इंटरैक्टिव स्टोरीटेलिंग में लॉन्ग-होरिज़न कंसिस्टेंसी (दीर्घकालिक निरंतरता) का मूल्यांकन करने के लिए डिज़ाइन किए गए 100 नैरेटिव वातावरणों का एक बेंचमार्क है, जो यह प्रकट करता है कि अत्याधुनिक LLMs भी अनियंत्रित उपयोगकर्ता हस्तक्षेपों के विरुद्ध तार्किक प्रतिबद्धता संरक्षण और नैरेटिव अखंडता बनाए रखने में काफी संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अनंत रोल-प्लेइंग गेम खेल रहे हैं जहाँ कहानी कभी खत्म नहीं होती, और आप जो चाहें वह कर सकते हैं। इस दुनिया में, आप एक ड्रैगन को मुक्का मारने, राजा का ताज चुराने, या किसी खलनायक को बेकर बनने के लिए मनाने का निर्णय ले सकते हैं। वह जादू जो इसे संभव बनाता है, एक प्रकार का सुपर-स्मार्ट कंप्यूटर दिमाग है जिसे 'लार्ज लैंग्वेज मॉडल' (LLM) कहा जाता है। इन मॉडल्स को अविश्वसनीय रूप से प्रतिभाशाली 'इम्प्रोवाइज़ेशनल एक्टर्स' (तत्काल अभिनय करने वाले कलाकार) के रूप में समझें जिन्होंने अब तक की लगभग हर किताब पढ़ रखी है। वे स्वाभाविक लगने, माहौल बनाने और बातचीत को प्रवाह में रखने में बहुत कुशल होते हैं। लेकिन इसमें एक पेंच है: हालांकि वे इस बात में माहिर हैं कि वे कहानी के बारे में जानते हुए कैसे दिखें, वे उस दुनिया के नियमों को वास्तव में याद रखने में संघर्ष करते हैं जिसे वे बना रहे हैं। यदि कंप्यूटर कहता है "दरवाजा बंद है," तो कुछ मिनटों बाद वह आपको उसके माध्यम से ऐसे ही गुजरने दे सकता है जैसे कि वह खुला हो, या वह भूल सकता है कि आप पहले ही चाबी पा चुके हैं। यह गेम डिजाइनरों और कहानीकारों के लिए एक बड़ी समस्या है जो एक ऐसी दुनिया बनाना चाहते हैं जो वास्तविक महसूस करे, चाहे खिलाड़ी कितना भी अजीब व्यवहार क्यों न करे।
यह शोध पत्र, जिसका शीर्षक है "क्या LLM एजेंट स्क्रिप्ट पर टिके रह सकते हैं?", इसी सटीक समस्या की गहराई में जाता है। शोधकर्ताओं ने एक विशेष परीक्षण क्षेत्र बनाया जिसे NCP-Bench (नैरेटिव कमिटमेंट प्रिजर्वेशन बेंचमार्क) कहा जाता है, ताकि यह देख सकें कि क्या ये AI कहानीकार एक लंबे, उलझे हुए गेम सत्र के दौरान अपने वादों को निभा पाते हैं। उन्होंने प्रसिद्ध फिल्म कथानकों, जैसे कि आयरन मैन या द बॉर्न आइडेंटिटी, पर आधारित 100 अलग-अलग कहानी की दुनिया बनाईं। प्रत्येक दुनिया में, AI "गेम मास्टर" के रूप में कार्य करता है, जो शो चलाने के लिए जिम्मेदार है, जबकि दूसरा AI एक "शरारती" खिलाड़ी के रूप में कार्य करता है, जो कहानी को आगे बढ़ाने, नियमों को तोड़ने, या कहानी को असंभव दिशाओं में ले जाने की कोशिश करता है। लक्ष्य यह देखना था कि क्या गेम मास्टर सुसंगत रह सकता है—तथ्यों का हिसाब रखना, क्या हुआ उसे याद रखना, और कहानी के आवश्यक पड़ावों पर टिके रहना—भले ही खिलाड़ी खेल को तोड़ने की कोशिश कर रहा हो।
परिणाम AI समुदाय के लिए एक वास्तविकता की जांच (रियलिटी चेक) की तरह थे। अध्ययन में पाया गया कि सबसे उन्नत, अत्याधुनिक AI मॉडल भी जटिल होने पर स्क्रिप्ट पर टिके रहने में आश्चर्यजनक रूप से खराब हैं। हालांकि ये मॉडल सुंदर, प्रवाहपूर्ण और रोमांचक कहानियाँ लिख सकते हैं, लेकिन जब खेल बहुत लंबा चलता है, तो वे अक्सर कहानी का सार खो देते हैं। परीक्षणों में, सबसे अच्छा प्रदर्शन करने वाला मॉडल (GPT-5.2 का एक संस्करण) केवल 42% समय तक बिना किसी तार्किक त्रुटि के जीवित रहने में सफल रहा, जो केवल 20 टर्न के संवाद के बाद था। जैसे-जैसे खेल आगे बढ़ा, जीवित रहने की दर तेजी से गिरती गई। जब तक खेल 100-टर्न की सीमा तक पहुँचा, लगभग कोई भी मॉडल खुद का खंडन किए बिना या किसी प्रमुख कथानक बिंदु को भूले बिना पूरी कहानी को पूरा नहीं कर सका।
शोधकर्ताओं ने पाया कि सबसे आम गलती यह नहीं थी कि AI निर्दयी था या खिलाड़ी को अनदेखा कर रहा था; बल्कि यह था कि AI उन तथ्यों को भूल गया जो उसने पहले स्थापित किए थे। लगभग 40% से 68% विफलताएं "तथ्य संघर्ष" (fact conflicts) थीं, जहाँ AI ने कुछ ऐसा कहा जो उसके दस मिनट पहले कही गई बात का सीधा खंडन करता था। उदाहरण के लिए, यदि कहानी ने स्थापित किया था कि एक पात्र घायल है, तो AI बाद में उसे बिना किसी खरोंच के मैराथन दौड़ते हुए वर्णित कर सकता है। भले ही AI मददगार होने की कोशिश करता था और खिलाड़ी को कहानी के उबाऊ हिस्सों को छोड़ने की अनुमति देता था, लेकिन वह अक्सर इतिहास को इस तरह से फिर से लिखकर करता था जिससे दुनिया का तर्क टूट जाता था।
दिलचस्प बात यह है कि शोध पत्र ने एक विशेष प्रकार के AI का भी परीक्षण किया जिसे बेहतर याददाश्त रखने के लिए एक "मेमोरी" सिस्टम के साथ डिजाइन किया गया था। हालांकि इस मेमोरी सिस्टम ने AI को खेल में थोड़ा अधिक समय तक टिकने में मदद की, लेकिन इसने समस्या का समाधान नहीं किया। वास्तव में, मेमोरी सिस्टम ने कभी-कभी AI को खिलाड़ी के विशिष्ट कार्यों को सुनने में और भी खराब बना दिया, क्योंकि वह कहानी को बड़े टुकड़ों में सारांशित करने में इतना व्यस्त था कि छोटे विवरणों को छोड़ देता था। अध्ययन सुझाव देता है कि केवल AI को स्मार्ट बनाना या उसे अधिक मेमोरी देना पर्याप्त नहीं है; हमें इन मॉडल्स को यह सिखाने के एक नए तरीके की आवश्यकता है कि वे कहानी के नियमों को अटूट कानूनों के रूप में कैसे मानें, न कि केवल सुझावों के रूप में।
संक्षेप में, शोध पत्र निष्कर्ष निकालता है कि हालांकि हमारे वर्तमान AI कहानीकार शानदार तरीके से तात्कालिक अभिनय करने और प्रभावशाली दिखने में माहिर हैं, लेकिन वे वर्तमान में 'लॉन्ग गेम' खेलने में बहुत खराब हैं। वे नियमों को तोड़ने की कोशिश करने पर स्क्रिप्ट पर विश्वसनीय रूप से टिक नहीं पाते हैं। लेखक आशा करते हैं कि यह बेंचमार्क प्रदान करके, अन्य शोधकर्ता इसे ठीक करने के लिए बेहतर उपकरण बना सकेंगे, ताकि एक दिन, हम वास्तव में अनंत, सुसंगत और जादुई इंटरैक्टिव कहानियों का अनुभव कर सकें जहाँ दुनिया तर्कसंगत बनी रहे, चाहे हम कुछ भी करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।