Persistent Computational State: A Session-Centric Runtime for Generative World Models
यह शोध पत्र यह तर्क देता है कि वर्तमान जनरेटिव वर्ल्ड मॉडल्स (generative world models) की स्टेटफुल सिमुलेशन कार्यों को सहारा देने में विफलता का कारण आर्किटेक्चरल सीमाएं नहीं, बल्कि रिक्वेस्ट-केंद्रित रनटाइम डिज़ाइन हैं जो निरंतर कंप्यूटेशनल स्टेट को त्याग देते हैं, और इसके बजाय एक सेशन-केंद्रित रनटाइम का प्रस्ताव देता है जो कुशल, बाइट-आइडेंटिकल वर्ल्ड मॉडल रोलआउट्स को सुगम बनाने के लिए नॉन-रीकंप्यूटेबल स्टेट के तत्काल चेकपॉइंटिंग और बहाली को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वीडियो गेम बना रहे हैं जहाँ दुनिया सिर्फ एक स्क्रिप्ट नहीं निभाती; वह वास्तव में जीती है। इस तरह के गेम में, यदि आप एक जलती हुई आग (campfire) से दूर जाते हैं, तो आग जलती रहती है। यदि आप एक गेंद को पहाड़ी से लुढ़कने के लिए छोड़ देते हैं, तो वह लुढ़कती रहती है। यह "जेनरेटिव वर्ल्ड मॉडल्स" (generative world models) का सपना है: ऐसे AI सिस्टम जो एक सुसंगत, जीवित वास्तविकता का अनुकरण कर सकते हैं, न कि केवल सुंदर चित्र बना सकते हैं। लेकिन यहाँ एक पेंच है: इस दुनिया को जीवित रखने के लिए, कंप्यूटर को ठीक वही याद रखने की आवश्यकता है जो हुआ था, यहाँ तक कि सूक्ष्म विवरण भी, तब भी जब खिलाड़ी नज़र हटा ले और फिर वापस देखे।
लंबे समय तक, वैज्ञानिकों ने सोचा कि ये AI मॉडल इसलिए विफल हो रहे हैं क्योंकि वे "भुलक्कड़" थे या "याद रखने में खराब" थे। उन्होंने माना कि AI का मस्तिष्क इतना बड़ा नहीं था कि पूरी कहानी को समा सके। लेकिन यह शोध पत्र एक अलग सवाल पूछता है: क्या होगा अगर समस्या AI की नहीं है? क्या होगा अगर समस्या उस कंप्यूटर सिस्टम की है जो गेम चला रहा है, जो हर बार जब खिलाड़ी ब्रेक लेता है, तो AI के नोट्स को फेंक देता है? लेखकों ने पाया कि जिस "स्मृति" (memory) की आवश्यकता AI को दुनिया को सुसंगत बनाए रखने के लिए होती है, वह कोई जादुई महाशक्ति नहीं है; यह बस कुछ विशिष्ट डेटा के टुकड़े हैं जिन्हें कंप्यूटर सिस्टम अनजाने में डिलीट कर रहा था।
महान "क्या आप भूल गए?" रहस्य
AI वीडियो जनरेशन की दुनिया में, एक निराशाजनक गड़बड़ी है। आप AI को एक बिल्ली के बिस्तर पर कूदने के लिए कहते हैं, फिर आप उसे बिल्ली के दूर जाने के लिए कहते हैं। फिर, आप उसे बिल्ली के वापस बिस्तर पर कूदने के लिए कहते हैं। एक आदर्श दुनिया में, बिल्ली को ठीक उसी जगह उतरना चाहिए, उसी तरह से जैसे उसके बाल बिखरे हुए थे। लेकिन 2026 में, जब शोधकर्ताओं ने 14 अलग-अलग मॉडलों के साथ (एक परीक्षण का उपयोग करके जिसे MBench कहा जाता है) और 23 अलग-अलग मॉडलों के साथ (एक परीक्षण का उपयोग करके जिसे WRBench कहा जाता है) इसका परीक्षण किया, तो उन्हें वही दुखद परिणाम मिला: बिल्ली सही ढंग से वापस नहीं आई। दुनिया "डिफ्ट" (drift) हो गई थी। बिस्तर अलग दिख रहा था, बिल्ली की स्थिति गलत थी, और भौतिकी (physics) टूटी हुई महसूस हो रही थी।
विशेषज्ञों ने इन टूटी हुई दुनियाओं को देखा और कहा, "AI मॉडल बहुत कमजोर हैं। उन्हें नए प्रशिक्षण, बड़े मस्तिष्क और याद रखने के लिए विशेष मेमोरी मॉड्यूल की आवश्यकता है।" उन्होंने सोचा कि समस्या मॉडल के मस्तिष्क के अंदर है।
लेकिन ज़ेन लिन के नेतृत्व में इस शोध पत्र के लेखकों ने एक जासूस की भूमिका निभाने का निर्णय लिया। उन्हें संदेह था कि अपराधी AI का मस्तिष्क नहीं, बल्कि उसे चलाने वाला कंप्यूटर सिस्टम—"रनटाइम" (runtime)—है।
जासूस का प्रयोग: "टाइम-ट्रैवल" टेस्ट
अपने सिद्धांत को सिद्ध करने के लिए, शोधकर्ताओं ने एक चतुर प्रयोग किया। उन्होंने एक काम करने वाले AI मॉडल को लिया और उसे एक दृश्य उत्पन्न करने दिया। फिर, दृश्य जटिल होने से ठीक पहले, उन्होंने उन दो विशिष्ट चीजों का एक "स्नैपशॉट" लिया जो कंप्यूटर पकड़े हुए था:
- अंतिम चित्र जो AI ने देखा था (संख्याओं की एक सरल सूची के रूप में संग्रहीत)।
- "रैंडम नंबर जेनरेटर" (RNG) स्टेट। इसे AI का आंतरिक पासा (dice roll) समझें। हर बार जब AI कोई निर्णय लेता है या कोई नया विवरण बनाता है, तो वह एक डिजिटल पासा फेंकता है। यदि आप उस सटीक संख्या को सहेजते नहीं हैं जिस पर पासा गिरा था, तो अगली बार रोल अलग होगा, और दुनिया बदल जाएगी।
इस स्नैपशॉट को लेने के बाद, शोधकर्ताओं ने AI को एक "यात्रा" पर जाने के लिए मजबूर किया। उन्होंने इसे घटनाओं का एक लंबा, जंगली क्रम उत्पन्न करने के लिए कहा—इतना लंबा कि AI के दिमाग में मौजूद किसी भी "निहित" (implicit) स्मृति को पूरी तरह से अस्त-व्यस्त कर दिया जाए। फिर, उन्होंने यात्रा को रोका, कंप्यूटर द्वारा पकड़ी गई हर चीज़ को फेंक दिया, और स्नैपशॉट को बहाल (restore) कर दिया।
परिणाम चौंकाने वाला था। जब AI ने स्नैपशॉट से आगे बढ़ना शुरू किया, तो उसके द्वारा उत्पन्न वीडियो उस वीडियो के बाइट-दर-बाइट समान (identical) था जहाँ AI कभी गया ही नहीं था। यह एकदम सही था। बिल्ली ठीक उसी स्थान पर उतरी। पिक्सेल समान थे।
इससे सिद्ध हुआ कि AI सब कुछ पूरी तरह से याद रख सकता है। समस्या यह नहीं थी कि AI भुलक्कड़ था; समस्या यह थी कि AI को चलाने वाला कंप्यूटर सिस्टम उन नोट्स (स्नैपशॉट) को फेंक रहा था जिनका उपयोग AI कर सकता था।
"रिक्वेस्ट" बनाम "सेशन" का भ्रम
कंप्यूटर ने नोट्स क्यों फेंक दिए? दरअसल, कंप्यूटर उन नियमों का पालन कर रहा था जो चैटबॉट्स (जैसे कि वे जिनसे आप होमवर्क के लिए बात करते हैं) के लिए डिज़ाइन किए गए हैं। चैटबॉट्स "रिक्वेस्ट" (requests) में काम करते हैं। आप एक प्रश्न पूछते हैं, कंप्यूटर उत्तर देता है, और फिर वह अगले व्यक्ति के लिए तैयार होने के लिए अपनी मेज साफ कर देता है। यह चैटबॉट्स के लिए बहुत अच्छा काम करता है क्योंकि यदि वे संदर्भ (context) भूल जाते हैं, तो कंप्यूटर आपके पिछले शब्दों को फिर से पढ़कर स्थिति को समझ सकता है।
लेकिन वर्ल्ड मॉडल्स अलग हैं। वे "सेशन्स" (sessions) में काम करते हैं। एक सेशन एक निरंतर कहानी है। यदि आप एक कहानी को रोकते हैं और बाद में वापस आते हैं, तो आप नहीं चाहते कि कंप्यूटर किताब को फिर से पढ़े; आप चाहते हैं कि वह ठीक वहीं से शुरू करे जहाँ उसने छोड़ा था।
लेखक इस गायब हिस्से को परसिस्टेंट कंप्यूटेशनल स्टेट (Persistent Computational State - PCS) कहते हैं। यह उन चीजों की एक छोटी, आवश्यक सूची है जिसे दुनिया को सुसंगत बनाए रखने के लिए सहेजना अनिवार्य है।
- एक साधारण मॉडल के लिए, PCS केवल अंतिम चित्र और पासा (लगभग 1.38 MB) है।
- एक अधिक जटिल मॉडल के लिए जिसमें "मेमोरी बैंक" है, यह बैंक और पासा (लगभग 185 KB) है।
- एक मॉडल के लिए जो पिछले डेटा के "विंडो" का उपयोग करता है, यह वह विंडो और पासा (लगभग 1.67 GB) है।
शोध पत्र दिखाता है कि आपको सब कुछ सहेजने की आवश्यकता नहीं है (जो बहुत बड़ा और धीमा होगा)। आपको बस PCS को सहेजना है। और सबसे अच्छी बात? इस डेटा को सहेजना और बहाल करना केवल 0.012 मिलीसेकंड लेता है। यह वीडियो के एक चरण को उत्पन्न करने में लगने वाले समय (1.85 सेकंड) से पांच गुना तेज़ है। यह लगभग मुफ्त जैसा है।
"प्रासंगिकता" (Relevance) बनाम "नवीनता" (Recency) का मोड़
शोध पत्र ने यह भी पाया कि जब कंप्यूटर भर जाता है, तो इस मेमोरी को प्रबंधित करने के बारे में क्या किया जाए। चैटबॉट्स में, कंप्यूटर आमतौर पर "नवीनता" (Recency) नियम का उपयोग करते हैं: वे नए संदेशों के लिए जगह बनाने के लिए सबसे पुराने संदेशों को फेंक देते हैं। लेकिन वर्ल्ड मॉडल्स के लिए, यह एक आपदा है।
कल्पना कीजिए कि आप एक फिल्म देख रहे हैं, और कंप्यूटर यह तय करता है कि 10 मिनट पहले का दृश्य "पुराना" होने के कारण उसे फेंक दिया जाए, और केवल 1 मिनट पहले का दृश्य रखे। यदि फिल्म को समझने के लिए आपको यह याद रखने की आवश्यकता है कि 10 मिनट पहले क्या हुआ था, तो फिल्म टूट जाएगी।
लेखकों ने मेमोरी को प्रबंधित करने के विभिन्न तरीकों का परीक्षण किया। उन्होंने पाया कि वर्ल्ड मॉडल्स के लिए, आपको प्रासंगिकता (Relevance) नियम की आवश्यकता है। आपको मेमोरी के उन हिस्सों को रखना चाहिए जो वापसी (उस क्षण जब कैमरा वापस आता है) के लिए महत्वपूर्ण हैं, भले ही वे पुराने हों।
- जब कंप्यूटर को बहुत कम मेमोरी (केवल 2 MB उपलब्ध) के साथ काम करने के लिए मजबूर किया गया, तो "नवीनता" नियम ने केवल 16 में से 6 दुनियाओं को बचाया।
- "प्रासंगिकता" नियम ने सभी 16 दुनियाओं को बचाया।
यह एक बड़ा बदलाव है। इसका मतलब है कि दुनिया को जीवित रखने के लिए, आपको चैटबॉट की तरह सोचना बंद करना होगा और एक ऐसे कहानीकार की तरह सोचना शुरू करना होगा जो जानता है कि कौन से कथानक (plot points) सबसे महत्वपूर्ण हैं।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि AI वर्ल्ड मॉडल्स की "भुलक्कड़पन" AI के मस्तिष्क की खराबी नहीं है। यह कंप्यूटर सिस्टम के हाउसकीपिंग (housekeeping) की खराबी है। AI याद रखने के लिए तैयार था; सिस्टम बस नोट्स को कचरे में फेंक रहा था।
"परसिस्टेंट कंप्यूटेशनल स्टेट" (स्नैपशॉट और पासा) को सहेजकर और मेमोरी कम होने पर इसे प्रबंधित करने के लिए एक स्मार्ट तरीके का उपयोग करके, शोधकर्ताओं ने दिखाया कि:
- दुनिया को पूरी तरह से बहाल किया जा सकता है। AI ठीक उसी स्थिति में वापस आ सकता है जहाँ वह पहले था, एक लंबी यात्रा के बाद भी।
- इसमें लगभग कुछ भी खर्च नहीं होता। इस स्थिति को सहेजने में माइक्रोसेकंड लगते हैं।
- आप बहुत अधिक सेशन्स चला सकते हैं। क्योंकि कंप्यूटर को सारा भारी मेमोरी सुपर-फास्ट ग्राफिक्स कार्ड पर रखने की आवश्यकता नहीं है, यह "नोट्स" को नियमित हार्ड ड्राइव पर स्टोर कर सकता है। इसका मतलब है कि एक सिंगल ग्राफिक्स कार्ड पहले की तुलना में लगभग 2,300 गुना अधिक सक्रिय सेशन्स को संभाल सकता है।
लेखकों ने केवल यह नहीं बताया कि मेमोरी को कैसे ठीक किया जाए; उन्होंने यह भी खोजा कि "फिक्स" वास्तव में कंप्यूटर के समय और स्थान के प्रबंधन में एक सरल परिवर्तन था। दुनिया खोई नहीं थी; वह बस उठाए जाने का इंतज़ार कर रही थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।